raw数据噪声标定(AISP_NR: 2D AI-Noise Reduction for RAW Images)

无名好人嘻嘻 2024-07-10 14:31:02 阅读 55

刚开始接触RAW数据去噪方向,有任何错误欢迎指正。

过程参考GitHub文章AISP_NR: 2D AI-Noise Reduction for RAW Images:GitHub - HuiiJi/AISP: 2D AI-NR model for raw images, including dataset、training、infer.

除此外,对比整理了讨论度很高的ELD方法:A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

GitHub - Vandermode/ELD: Physics-based Noise Modeling for Extreme Low-light Photography (CVPR 2020 Oral & TPAMI 2021)

噪声参数标定的意义:根据噪声模型合成数据,不需要大量真实配对模型。(如用ELD训练的模型结果和配对真实数据训练结果相当)

大体过程总结为:提出噪声模型  --> 对噪声参数进行标定


AISP_NR噪声标定过程:

准备目标相机采集数据。AISP_NR需要采集黑帧和灰度帧。一般标定需要黑帧、平场帧(即灰度帧)、偏置帧和多次重复拍摄的科学帧

黑帧:是在相机传感器完全没有光照的情况下拍摄的图像,用于测量和校正相机传感器的暗电流噪声(thermal noise)。

                获取方法:

                        在与科学图像相同的曝光时间和温度条件下拍摄。

                        盖上镜头盖或遮光罩,确保没有光进入传感器。

                        拍摄多张这样的图像,以便后续进行平均处理。

                2.平场帧:是在均匀光照条件下拍摄的图像,主要用于校正由于光学系统和传感器不均匀性引起的亮度差异。

                 获取方法:

                        将相机或望远镜对准均匀光源,如均匀发光的屏幕、白色的日光或天空。

                        拍摄一系列曝光,使图像中每个像素都接收到大致相同的光量。

                3.偏置帧:是在曝光时间为零的情况下拍摄的图像,目的是测量和校正相机传感器的读出噪声。

                获取方法:

                        设置相机的曝光时间为零(或最短曝光时间)。

                        盖上镜头盖或遮光罩,确保没有光进入传感器。

                        拍摄多张这样的图像,以便后续进行平均处理。

                4.多次重复拍摄的科学帧:为了更好地理解和标定噪声特性,通常需要在相同条件下拍摄多张科学图像。这些图像用于分析不同曝光时间、不同光照条件下的噪声特性。

                获取方法:在相同的拍摄条件下(例如相同的曝光时间、光源、环境温度等)拍摄多张科学图像。

通过黑帧计算黑电平,灰度帧减去黑电平得到归一化的RAW。选定噪声区域。标定灰度帧的ROI区域,并且记录该区域的详细坐标,作为噪声分布的采样区域。不同ISO下的ROI均值作横轴,方差作纵轴,拟合一次函数得到斜率和截距,得到Poisson-Gaussian噪声模型中参数K(系统增益)和sigma。(本文采用泊松-高斯噪声模型)

拟合ISO和k及ISO和sigma的关系,得到噪声模型参数配置文件。通过噪声模型参数配置文件,可以得到任意ISO下的噪声模型参数,从而合成匹配数据。


ELD噪声标定过程:

准备目标相机采集数据。ELD需要采集平场帧和偏置帧。(ELD采用泊松-TL模型,TL可以看作更为general的高斯)

拟合参数K。ELD中同样认为方差和真实信号值满足线性函数,其斜率就是在对应ISO值下的K。其中 KI 由平场帧计算得到。

使用偏置帧计算μc计算σr,从偏置帧中去除估计的行噪声计算λ和σTL联合参数分布建模。

这一步是为了在不同ISO设置下为噪声形成模型选择噪声参数,以便以耦合的方式对噪声参数进行采样。而其中K和ISO有密切的关系,因此选择K和其他参数进行联合建模。



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。