机器视觉算法与应用：2.3 摄像机

心已赠人 2023-02-13 03:36 69阅读 0赞

# 2.3 摄像机 #

摄像机作用：将通过镜头聚焦于像平面的光线生成图像。  
数字传感器技术：  
1、电荷耦合器件CCD（charge coupled device）  
2、互补金属氧化半导体CMOS（complementary metal oxide semiconductor）  
3、CCD与CMOS主要区别：读出结构（从芯片中读取数据的方式）不同。

## 2.3.1 CCD传感器 ##

![format_png_pic_center][]

**线阵传感器**  
功能：只能生成一个像素高度的图像。  
要求：  
1、为获取二维图像，线阵传感器必须相对于被测物运动。  
2、为获取矩形像素，传感器必须与被测物平面平行，与运动方向垂直。  
3、为获得方形像素，线采集频率必须与传感器分辨率，摄像机和被测物间相对运动匹配。  
4、若运动速度是变化的，则需要通过编码器触发传感器采集每行图像。  
5、若传感器与运动方向不匹配，则需要使用摄像机标定来确保测量精度。  
6、要求非常强的照明，线读出时间在10~200kHz之间，每行的曝光时间被限制。  
7、要求镜头光圈使用较小f值，景深被严重限制。

![format_png_pic_center 1][]

**全帧转移面阵传感器**  
优点：  
1、全帧转移面帧传感器填充因子（像素光敏感区域与整个靶面之比）达100%，可使像素的光灵敏度最大化，图像失真最小化。  
缺点：  
1、存在拖影现象，需加上机械快门或利用闪光灯来避免。下层像素读出时传感器还在曝光并产生电荷，而上层像素读出时会经过下层像素，多出的电荷会造成场景信息的积累，从而产生拖影。

![format_png_pic_center 2][]

**帧转移传感器**  
优点：  
1、填充因子可达100%，而且不需要机械快门或闪光灯。  
缺点：  
1、存在残留的拖影。虽然从光敏感传感器到光疲敝存储阵列，电荷转移速度快，时间短，但传感器依然在曝光。  
2、成本高，需要两个传感器。

![format_png_pic_center 3][]

**行间转移传感器**  
优点：  
1、无拖影，不需要机械快门和闪光灯。  
缺点：  
1、填充因子可能低至20%，图像失真会增加，需在加上微镜头。移位寄存器会在传感器上占据空间，使得填充因子过低。

CCD传感器存在的问题：  
1、高光溢出效应。当积累的电荷超出光电探测器的容量时，电荷会溢出到相邻的光电探测器中，使得图像中亮的区域被显著放大。  
解决方法：  
1、在传感器上增加溢流沟道（测溢流沟道和垂直溢流沟道）。

模拟CCD摄像机常用读出模式：  
1、隔行扫描。CCD传感器读出时需两次曝光，若被测物在两次曝光之间移动，图像会出现锯齿  
2、逐行扫描。采集运动物体图像时必须用逐行扫描。

## 2.3.2 CMOS传感器 ##

![format_png_pic_center 4][]

缺点：  
1、填充因子很低，需使用微镜。放大器和行列选择电路占据像素的大部分面积。  
优点：  
1、容易读出图像的矩形感兴趣区域。  
2、可在传感器上实现并行模数转换。  
3、读出速度快。  
曝光方式：  
1、行曝光。第一行与最后一行存在很大采集时差，采集运动物体图像时会变形。  
2、全局曝光。传感器对应的每个像素都需要一个存储区，会降低填充因子。采集运动物体图像时需使用全局曝光。

## 2.3.3 彩色摄像机 ##

1、**灰度**是入射光（传感器可响应的所有波长的光）积累后按传感器光谱响应的结果。  
2、**单芯片摄像机**在传感器前加上彩色滤镜阵列（CFA）使得一定范围内的到达每个光电探测器。  
3、**Bayer滤镜阵列**采样1/4红色、1/2绿色、1/4蓝色。加上抗图像失真滤光片避免由于红绿蓝颜色不均造成严重图像失真，通过颜色插值（如双线性或双三次插值）重建少采样部分以得到传感器全分辨率下的彩色图像。  
4、**三芯片摄像机**利用分光器或棱镜将通过镜头的光线分成三束，在三个传感器前加上对应红绿蓝滤光片。三芯片摄像机可以克服单芯片摄像机图像失真问题，但成本高，需要三个传感器。  
5、典型彩色CCD传感器对近红外敏感，需加上红外滤光片防止图像产生不希望看到的颜色。

## 2.3.4 传感器尺寸 ##

![format_png_pic_center 5][]

1、传感器的尺寸大约是传感器标称尺寸的2/3，传感器的宽度大约是传感器标称尺寸的1/2。  
2、镜头尺寸不能小于传感器实际使用大小，否则传感器外围没有光线到达。  
3、图像大小一定，传感器分辨率越高，像素间距越小。  
4、分辨率常用百万像素表示，分辨率越高，帧率和行频越低。

## 2.3.5 摄像机性能 ##

图像灰度值产生过程：  
1、曝光时， μ p \\mu\_p μp个光子落到传感器的区域内；  
2、对于CCD产生 μ e \\mu\_e μe个电子-空穴对，对于CMOS消灭 μ e \\mu\_e μe个电子-空穴对；  
3、电子-空穴对形成电荷转化为电压；  
4、电压放大后通过模数转换数字化产生灰度值 y y y。

随机噪声：  
1、光子噪声（光子的随时间不一致性）。光子不是等时间间隔到达传感器，而是按泊松分布模型的随机分布到达。  
2、复位噪声。读出时像素电荷不能完成复位，可使用双采样（读出的电压-读出后像素中的电压）去除。  
3、暗电流噪声。热也会产生电子-空穴，可对摄像机制冷来消除。  
4、本底噪声（暗噪声）。即使没有光线也会有的噪声。  
5、入量化噪声。电压通过模数转换器转化为数字引起的噪声。

信噪比：  
 S N R ( μ p ) = η μ p σ d 2 + σ q 2 / K 2 + η μ p 低 光 照 水 平 ( η μ p < < σ d 2 + σ q 2 / K 2 ) ： S N R ( μ p ) ≈ η μ p σ d 2 + σ q 2 / K 2 高 光 照 水 平 ( η μ p > > σ d 2 + σ q 2 / K 2 ) ： S N R ( μ p ) ≈ η μ p S N R ： 信 噪 比 μ p ： 光 子 数 μ e ： 电 子 数 η = μ e μ p ： 量 子 效 率 σ d 2 ： 暗 噪 声 的 方 差 σ q 2 ： 入 量 化 噪 声 的 方 差 理 想 传 感 器 ( η = 1 σ d = 0 σ q / K = 0 ) ： S N R ( μ p ) = μ p 分 贝 表 示 ： S N R d B = 20 l o g S N R 有 效 位 数 表 示 ： S N R b i t = l g S N R SNR(\\mu\_p)=\\frac\{\\eta \\mu\_p\}\{\\sqrt \{\\sigma\_d^2+\\sigma\_q^2/K^2+\\eta \\mu\_p\}\} \\\\ 低光照水平(\\eta \\mu\_p << \\sigma\_d^2+\\sigma\_q^2/K^2)：SNR(\\mu\_p) \\approx \\frac\{\\eta \\mu\_p\}\{\\sqrt \{\\sigma\_d^2+\\sigma\_q^2/K^2\}\} \\\\ 高光照水平(\\eta \\mu\_p >> \\sigma\_d^2+\\sigma\_q^2/K^2)：SNR(\\mu\_p) \\approx \\sqrt \{\\eta \\mu\_p\} \\\\ SNR：信噪比 \\quad \\mu\_p：光子数 \\quad \\mu\_e：电子数 \\quad \\eta=\\frac\{\\mu\_e\}\{\\mu\_p\}：量子效率 \\quad \\sigma\_d^2：暗噪声的方差 \\quad \\sigma\_q^2：入量化噪声的方差 \\quad \\\\ 理想传感器(\\eta =1 \\quad \\sigma\_d=0 \\quad \\sigma\_q/K=0)：SNR(\\mu\_p)=\\sqrt \{\\mu\_p\} \\\\ 分贝表示：SNR\_\{dB\}=20logSNR \\\\ 有效位数表示：SNR\_\{bit\}=lgSNR SNR(μp)=σd2\+σq2/K2\+ημpημp低光照水平(ημp<<σd2\+σq2/K2)：SNR(μp)≈σd2\+σq2/K2ημp高光照水平(ημp>>σd2\+σq2/K2)：SNR(μp)≈ημpSNR：信噪比μp：光子数μe：电子数η=μpμe：量子效率σd2：暗噪声的方差σq2：入量化噪声的方差理想传感器(η=1σd=0σq/K=0)：SNR(μp)=μp分贝表示：SNRdB=20logSNR有效位数表示：SNRbit=lgSNR

动态范围：  
 D R = μ p . s a t μ p . m i n D R ： 动 态 范 围 μ p . s a t ： 饱 和 照 明 （ 噪 声 仍 能 无 裁 剪 表 示 的 灰 度 值 ） μ p . m i n ： 绝 对 灵 敏 度 阈 值 （ 可 检 测 的 最 小 光 照 量 ） DR=\\frac\{\\mu\_\{p.sat\}\}\{\\mu\_\{p.min\}\} \\\\ DR：动态范围 \\\\ \\mu\_\{p.sat\}：饱和照明（噪声仍能无裁剪表示的灰度值） \\\\ \\mu\_\{p.min\}：绝对灵敏度阈值（可检测的最小光照量） DR=μp.minμp.satDR：动态范围μp.sat：饱和照明（噪声仍能无裁剪表示的灰度值）μp.min：绝对灵敏度阈值（可检测的最小光照量）

不均匀性：  
1、不均匀性属于系统误差，有时也称空间噪声或模式噪声，与随机噪声相比不能通过时间平均来消除。  
2、暗信号不均匀性：暗信号对于每个像素可能不一致。  
3、光响应不均匀性：像素对于光的响应对于每个像素来说是不同的。  
4、CMOS传感器比CCD传感器经常表现出明显较大的不均匀性，因为CMOS传感器每个像素都有放大器，故需要不同的增益和补偿。  
 D S N U 1288 = s y . d a r k K P R N U 1288 = s y . 50 2 − s y . d a r k 2 μ y . 50 − μ y . d a r k D S N U ： 暗 信 号 不 均 匀 性 P R N U ： 光 响 应 不 均 匀 性 1288 ： E M V A 标 准 1288 y . d a r k ： 完 全 黑 暗 下 的 图 像 y . 50 ： 照 明 达 到 传 感 器 饱 和 度 的 50 % 的 图 像 s ： 图 像 的 空 间 差 异 μ ： 图 像 的 平 均 灰 度 值 DSNU\_\{1288\}=\\frac\{s\_\{y.dark\}\}\{K\} \\quad PRNU\_\{1288\}=\\frac\{\\sqrt \{s\_\{y.50\}^2-s\_\{y.dark\}^2\}\}\{\\mu\_\{y.50\} - \\mu\_\{y.dark\}\} \\\\ DSNU：暗信号不均匀性 \\quad PRNU：光响应不均匀性 \\\\ 1288：EMVA标准1288 \\quad y.dark：完全黑暗下的图像 \\quad y.50：照明达到传感器饱和度的50\\%的图像 \\\\ s：图像的空间差异 \\quad \\mu：图像的平均灰度值 DSNU1288=Ksy.darkPRNU1288=μy.50−μy.darksy.502−sy.dark2DSNU：暗信号不均匀性PRNU：光响应不均匀性1288：EMVA标准1288y.dark：完全黑暗下的图像y.50：照明达到传感器饱和度的50%的图像s：图像的空间差异μ：图像的平均灰度值

[format_png_pic_center]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8yMDMwMzQzNC1hMWNlYTk3Yzg2MWU4OGQzLlBORw?x-oss-process=image/format,png#pic_center
[format_png_pic_center 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8yMDMwMzQzNC1hN2MyYTEzYmQ1Mjc5OTVlLlBORw?x-oss-process=image/format,png#pic_center
[format_png_pic_center 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8yMDMwMzQzNC1lMWU4YjZkOTE3ZWY4Nzg0LlBORw?x-oss-process=image/format,png#pic_center
[format_png_pic_center 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8yMDMwMzQzNC00YzRlNDg1OTM1MWMwYjg5LlBORw?x-oss-process=image/format,png#pic_center
[format_png_pic_center 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8yMDMwMzQzNC1mOWU2Y2M4NmRiMzYyZTMzLlBORw?x-oss-process=image/format,png#pic_center
[format_png_pic_center 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8yMDMwMzQzNC01ZWRlMjIyNTk4Mjk2YzBkLlBORw?x-oss-process=image/format,png#pic_center