1. 攝影機模組簡介
相機模組,全名為Camera Compact Module,縮寫為CCM。 CCM包括幾大零件:鏡頭、音圈馬達(VCM)、感測器、柔性電路板(FPC)、影像處理晶片(DSP)。
工作原理:物體透過鏡頭聚集的光線透過CMOS或CCD積體電路轉換成電訊號,再透過內部影像處理器(ISP)轉換成數位影像訊號,輸出到數位訊號處理器( DSP)進行處理並轉換成標準的GRB、YUV等格式的影像訊號。
攝影機模組主要由以下幾個部分組成:
鏡頭:將光線聚焦到影像感光元件上。
音圈馬達 (VCM):完成相機和 #39; 的自動對焦。
紅外線截止濾光片:濾除人眼不可見的光。
影像感測器:將光訊號轉換為電訊號。
柔性印刷電路板(FPCB):將攝影機模組連接到主處理器並傳輸資料。
下圖是常見手機相機模組的幾個核心部件的結構圖。
2. 組成
1. 鏡頭
鏡頭的主要功能是將外界收集的光線會聚到影像感測器上。其原理是針孔成像。採用不同的鏡頭,光線聚焦在鏡頭底部的感光晶片(即感光元件)上形成
現代鏡頭一般由數片鏡片組成,以實現更複雜的成像效果。鏡片材質分為玻璃和塑膠。例如2G2P就是指這套鏡片由兩片玻璃鏡片和兩片塑膠鏡片組成。一般玻璃鏡片成像效果較好,價格也較貴。
2.VCM(音圈馬達)
全稱是音圈電機,是電子學中電機的一種。由於其原理與揚聲器類似,所以稱為音圈電機,具有頻率響應高、精度高的特性。其主要原理是透過改變永久磁場中馬達內線圈的直流電流來控制彈簧片的拉伸位置,從而驅動上下運動。手機相機廣泛採用VCM來實現自動對焦功能。可透過VCM調整鏡頭位置,呈現清晰的影像。
將線圈放置在永久磁場中。當線圈通電時,會產生磁場(安培定律),會與外圍永久磁鐵產生吸引力或排斥力,使線圈受力移動。如果將鏡頭放置在線圈上,透過改變電流大小即可驅動線圈前後移動,從而控制鏡頭的位置,完成對焦功能。
VCM通常與VCM Driver IC(VCM驅動晶片)和AF(自動對焦)演算法一起使用。首先,Sensor擷取的影像輸入到ISP,ISP中的AF演算法計算目前影像的對焦步長,並透過I2C傳輸到Driver IC。驅動IC計算將線圈移動到該位置所需的電流,從而精確控制鏡頭的行為以達到自動對焦的效果。當然,這種方法也可以達到光學影像穩定器(OIS)的效果,原理是一樣的。
VCM 效能指標
VCM的性能主要取決於電流與行程距離的比值。從啟動電流開始,電流上升必須與可驅動的行駛距離成正比。所需的上升電流越小,精度越高。同時,也取決於最大功耗、最大功率、尺寸。
VCM分類
從結構上可分為三類:(1)彈簧式結構; (2)球型結構; (3)摩擦式結構。
根據其功能,大致可分為五類:(1)開環馬達; (2)閉環馬達; (3) 交流馬達; (4)OIS光學防手震馬達(分為平移型、移軸型、記憶金屬型等); (5)OIS+閉環六軸馬達。
自動對焦原理
進入自動對焦模式後,Driver從0增加到最大值,導致鏡頭從原來的位置移動到最大位移。此時感測器成像面自動拍照並儲存於DSP中。 DSP透過這些圖片計算出每張圖片的MTF(調變傳遞函數)值,然後找到這條MTF曲線中的最大值。透過演算法得到該點對應的電流大小,並再次指示Driver向音圈提供這個電流,使鏡頭穩定在這個成像面上,從而實現自動對焦。
變焦和對焦
A:為了實現光學變焦,需要使用變焦馬達(ZOOM)
透過移動鏡頭內部的鏡頭來改變焦點的位置,改變鏡頭的焦距,改變鏡頭的視角,可以放大或縮小效果。
B:使用對焦馬達自動對焦(AF)
透過微距離移動整個鏡頭(而不是鏡頭內部的鏡頭)的位置,控制鏡頭的焦距,從而獲得清晰的影像。這是手機常用的方法。
光學對焦和光學變焦是不同的概念:
光學變焦是透過移動鏡頭內部的相對位置、改變鏡頭焦距的長短、改變鏡頭的視角來改變焦點位置,從而實現影像的放大和縮小;
光學對焦實際上是透過調整整個鏡頭(而不是鏡頭內部的鏡頭)的位置來控制像距,從而使影像最清晰。
3. 紅外線濾光片
紅外線截止濾光片的作用是濾除紅外線。人眼和電子感光元件所能感受到的光的波長範圍是不同的。電子感光元件能夠感知的光的波長範圍比人類感知的光的波長範圍大得多。因此,需要濾掉人眼無法感知的光線,以防止其造成偏色和波紋現象,提高色彩還原度。這將對後續的ISP調優工作產生很大的影響。
紅外線截止濾光片分為兩類:普通紅外線和藍玻璃紅外線。前者反射紅外線和紫外線,阻止它們進入感測器,而後者吸收紅外線和紫外線,阻止它們進入感測器。前者容易造成紅外光多次反射,產生陰影,導致最終成像效果色差較大。後者雖然不存在這個問題,效果更好,但其成本也是前者的十倍。
4. 影像感測器
影像感測器是整個模組的核心部件,也是本次介紹的重點。它是一種表面有數十萬到數百萬個光電二極體的半導體晶片。這些光電二極體在受到光照時會產生電荷,從而將鏡頭收集到的光訊號轉換為電訊號。因此,如果說水晶體的作用相當於人眼的水晶體,那麼感測器的作用就類似視網膜,感測器上的感光二極體就是視網膜上的視覺細胞。
感測器主要用於將採集到的外部光訊號轉換為電訊號,供後續電子系統處理和儲存。感測器的感光單元,即每個像素單元排列成像素陣列,其上分佈有感光二極體。這些二極體受到外界光的刺激後,會根據光強度產生不同強度的電訊號,然後透過內部A/D轉換離散成數位訊號。
光電二極體可以粗略地視為電容器。光線越強,同時電容器上累積的電荷就越多,產生的電壓就越大。如果透過A/D將電容兩端的電壓轉換為數位訊號,就可以得到數位化值,將所有像素組合起來就可以得到灰階影像。光線越強,該值越大,像素點越接近白色;光線越弱,數值越小,像素越接近黑色。這與我們通常的認知是一致的。
根據感光二極體類型的不同,市場上廣泛使用的感測器可分為兩類:CCD Sensor 和 CMOS Sensor。 CCD是Charge Coupled Device,即電荷耦合元件; CMOS 是互補金屬氧化物半導體。兩種半導體的具體感光原理不是本文的重點,不再詳細討論。目前,CMOS Sensor憑藉其功耗更低、處理速度更快、製造成本更低的優勢,基本上已經取代了過去CCD Sensor的地位,尤其是在手機和行動裝置領域。不過CCD Sensor的優點是在低光源條件下表現較好,不像CMOS那樣受到數位雜訊的影響,也不那麼依賴ISP的去雜訊工作。
影像感測器是一種表面有數百萬至數千萬個光電二極體的半導體晶片。當光電二極體暴露在光線下時,它們會產生電荷並將光轉換成電訊號。其功能與人眼相似,因此感光元件的性能將直接影響相機的性能。
4.1 感測器結構
4.2 分類
感光元件:CCD、CMOS(PPS和APS)
不同工藝:前照式FSI、背照式BSI、堆疊式
4.3 指標
1. 像素
感測器上有許多感光單元,可以將光轉換成電荷,形成與場景相對應的電子影像。在感測器中,每個感光單元對應一個像素。像素越多,它能感知到的物體細節越多,影像就越清晰。像素越高,成像效果越清晰。相機解析度的乘積就是像素值,例如:1280×960=1228800
2. 目標尺寸
影像感測器感光部分的尺寸一般以英吋表示。像電視一樣,這個數據通常是指影像感測器的對角線長度,例如1/3吋。目標面越大,透光性越好,而目標面越小,越容易獲得更大的景深。
3. 感光度
即透過CCD或CMOS及相關電子電路來感測入射光的強度。感光度越高,感光面對光線越敏感,快門速度也越高,這在拍攝移動車輛和夜間監視器時尤其重要。
4.電子快門
它是與相機的機械快門功能進行比較而提出的術語。它控制影像感測器的感光時間。由於影像感測器的感光值是訊號電荷的積累,感光度越長,訊號電荷積累時間越長,輸出訊號電流的振幅越大。電子快門速度越快,感光度越低,適合強光下拍攝。
5. 幀率
指單位時間內錄製或播放的圖片數量。連續播放一系列圖片會產生動畫效果。根據人的視覺系統,當圖片播放速度大於15張/秒(即15張)時,人眼幾乎看不到圖片跳躍;當達到24張/秒到30張/秒(即24幀到30幀)之間時,閃爍現象基本上無法察覺。
每秒幀數 (fps) 或幀速率表示圖形感測器在處理欄位時每秒可以更新多少次。更高的幀率帶來更流暢、更真實的視覺體驗。
6. 信噪比
是訊號電壓與雜訊電壓的比值,訊號雜訊比的單位是dB。一般相機給出的訊號雜訊比值是關閉AGC(自動增益控制)時的值,因為開啟AGC時,會增強小訊號,使得雜訊程度也會增加因此。
訊號雜訊比的典型值為45-55dB。若為50dB,則影像有少量噪聲,但影像品質好;如果是60dB,則影像品質優良,沒有雜訊。訊號雜訊比越大,對雜訊的控制越好。此參數與影像中雜訊點的數量有關。訊號雜訊比越高,畫面感覺越乾淨,夜視畫面中點狀雜訊點也越少。
4.4 ISP
4.4.1 原始數據
感光元件將從鏡頭傳送過來的光線轉換成電訊號,然後透過內部AD轉換成數位訊號。由於感測器的每個像素只能感應R光、B光或G光,因此此時每個像素儲存的是單色數據,我們稱之為RAW DATA數據。要將每個像素點的RAW DATA資料還原為三基色,需要ISP進行處理。
4.4.2 ISP 處理
ISP(影像訊號處理)主要負責處理數位影像,將感測器擷取到的原始資料轉換成演算法支援的格式。
具體流程:
1.外界光線經過鏡頭後,經過彩色濾光片過濾後照射到感光元件表面;
2.感測器將鏡頭傳來的光線轉換成電訊號,再透過內部AD轉換成數位訊號。
3.1.如果感測器沒有整合ISP,則直接透過傳輸線傳輸基頻(基頻為基本頻段,詳見《通訊原理》;另一種為模式調變傳輸),此時的資料格式為RAW資料。
3.2.如果整合ISP,RAW DATA資料經過AWB(自動白平衡)、色彩矩陣、鏡頭陰影、伽瑪、銳利度、AE(自動曝光控制)和去噪等處理,然後以YUV或RGB格式輸出資料。
4.4.3「通訊原理」—基帶
基頻的英文全名為Baseband,也可以翻譯為「訊號源」(訊息源,也稱為發射端)發出的原始電訊號所固有的頻帶(頻帶寬),未經調變(頻譜)移位和變換),稱為基本頻帶,簡稱基帶。基頻對應頻帶,頻帶:調變前基頻訊號所佔用的頻率頻寬(訊號所佔用的最低頻率與最高頻率的差值)。
5、DSP
數位訊號處理器DSP(DIGITAL SIGNAL PROCESSING)功能:主要透過一系列複雜的數學演算法,將數位影像訊號的參數進行最佳化,並將處理後的訊號透過USB等介面傳輸至PC等設備
DSP 與 ISP 之間的區別
詞彙表:
ISP是Image Signal Processor的縮寫,也就是影像訊號處理器。
DSP是Digital Signal Processor的縮寫,即數位訊號處理器。
功能說明:
ISP一般用於處理Image Sensor的輸出數據,如AEC(自動曝光控制)、AGC(自動增益控制)、AWB(自動白平衡)、色彩校正、Lens Shading、Gamma校正、壞像素去除、Auto黑電平、自動白電平等(詳細請參閱:https://blog.csdn.net/djfjkj52/article/details/115324741「相機自動曝光、自動對焦、自動白平衡、ISP、影像處理和色彩模型、色彩空間”)
DSP有更多的功能。它可以拍攝照片並顯示(JPEG編解碼)、錄製和回放(影片編解碼)、H.264編解碼等多種處理功能。簡而言之,它處理數位訊號。
6、柔性印刷電路板
柔性印刷電路板(FPCB)的主要功能是將元件與主處理器連接,完成感測器與主處理器之間的原始資料傳輸功能。
7.手機相機的影像過程
手機相機連結
我們先來看看手機相機的整體環節。總共有5個步驟。本文將說明前3部分(硬體部分):
相機鏡頭:手機的相機鏡頭。光線穿過鏡頭到達 COMS 影像感測器。
影像感測器:CMOS影像感測器將光訊號轉換為電訊號,然後透過內部ADC轉換為數位訊號。
ISP:數位訊號傳輸到ISP處理,主要進行校正、白平衡、曝光控制等。
SOC:這一步是在應用層(如App)。影像資料由CPU和GPU進行後處理,例如添加濾鏡等。
顯示:最後將影像資料顯示在螢幕上