【什么是攝像機(jī)標(biāo)定】攝像機(jī)標(biāo)定原理 攝像機(jī)標(biāo)定的作用

一、 概述

計(jì)算機(jī)視覺的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計(jì)算三維空間中物體的幾何信息，并由此重建和識(shí)別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大數(shù)條件下，這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過程被稱為攝像機(jī)定標(biāo)（或稱為標(biāo)定）。標(biāo)定過程就是確定攝像機(jī)的幾何和光學(xué)參數(shù)，攝像機(jī)相對于世界坐標(biāo)系的方位。標(biāo)定精度的大小，直接影響著計(jì)算機(jī)視覺（機(jī)器視覺）的精度。迄今為止，對于攝像機(jī)標(biāo)定問題已提出了很多方法，攝像機(jī)標(biāo)定的理論問題已得到較好的解決，對攝像機(jī)標(biāo)定的研究來說，當(dāng)前的研究工作應(yīng)該集中在如何針對具體的實(shí)際應(yīng)用問題，采用特定的簡便、實(shí)用、快速、準(zhǔn)確的標(biāo)定方法。

二、 攝像機(jī)標(biāo)定分類

1.根據(jù)是否需要標(biāo)定參照物來看，可分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法。傳統(tǒng)的攝像機(jī)標(biāo)定是在一定的攝像機(jī)模型下，基于特定的實(shí)驗(yàn)條件，如形狀、尺寸已知的標(biāo)定物，經(jīng)過對其進(jìn)行圖像處理，利用一系列數(shù)學(xué)變換和計(jì)算方法，求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)（分為最優(yōu)化算法的標(biāo)定方法、利用攝像機(jī)透視變換矩陣的標(biāo)定方法、進(jìn)一步考慮畸變補(bǔ)償?shù)膬刹椒ê筒捎酶鼮楹侠淼臄z像機(jī)模型的雙平面標(biāo)定法）；不依賴于標(biāo)定參照物的攝像機(jī)標(biāo)定方法，僅利用攝像機(jī)在運(yùn)動(dòng)過程中周圍環(huán)境的圖像與圖像之間的對應(yīng)關(guān)系對攝像機(jī)進(jìn)行的標(biāo)定稱為攝像機(jī)自標(biāo)定方法，它又分為：基于自動(dòng)視覺的攝像機(jī)自標(biāo)定技術(shù)（基于平移運(yùn)動(dòng)的自標(biāo)定技術(shù)和基于旋轉(zhuǎn)運(yùn)動(dòng)的自標(biāo)定技術(shù)）、利用本質(zhì)矩陣和基本矩陣的自標(biāo)定技術(shù)、利用多幅圖像之間的直線對應(yīng)關(guān)系的攝像機(jī)自標(biāo)定方以及利用滅點(diǎn)和通過弱透視投影或平行透視投影進(jìn)行攝像機(jī)標(biāo)定等。自標(biāo)定方法非常地靈活,但它并不是很成熟。因?yàn)槲粗獏?shù)太多,很難得到穩(wěn)定的結(jié)果。一般來說，當(dāng)應(yīng)用場合所要求的精度很高且攝像機(jī)的參數(shù)不經(jīng)常變化時(shí)，傳統(tǒng)標(biāo)定方法為首選。而自標(biāo)定方法主要應(yīng)用于精度要求不高的場合，如通訊、虛擬現(xiàn)實(shí)等。

2.從所用模型不同來分有線性和非線性。

所謂攝像機(jī)的線性模型，是指經(jīng)典的小孔模型。成像過程不服從小孔模型的稱為攝像機(jī)的非線性模型。線性模型攝像機(jī)標(biāo)定, 用線性方程求解，簡單快速，已成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，目前已有大量研究成果。但線性模型不考慮鏡頭畸變，準(zhǔn)確性欠佳；對于非線性模型攝像機(jī)標(biāo)定，考慮了畸變參數(shù)，引入了非線性優(yōu)化，但方法較繁，速度慢，對初值選擇和噪聲比較敏感，而且非線性搜索并不能保證參數(shù)收斂到全局最優(yōu)解。

3.從視覺系統(tǒng)所用的攝像機(jī)個(gè)數(shù)不同分為單攝像機(jī)和多攝像機(jī)在雙目立體視覺中，還要確定兩個(gè)攝像機(jī)之間的相對位置和方向。

4.從求解參數(shù)的結(jié)果來分有顯式和隱式。

隱參數(shù)定標(biāo)是以一個(gè)轉(zhuǎn)換矩陣表示空間物點(diǎn)與二維像點(diǎn)的對應(yīng)關(guān)系，并以轉(zhuǎn)換矩陣元素作為定標(biāo)參數(shù)，由于這些參數(shù)沒有具體的物理意義，所以稱為隱參數(shù)定標(biāo)。在精度要求不高的情況下，因?yàn)橹恍枰蠼饩€性方程，此可以獲得較高的效率。比較典型的是直接線性定標(biāo)（DLT）。DLT 定標(biāo)以最基本的針孔成像模型為研究對象，忽略具體的中間成像過程，用一個(gè)3×4 階矩陣表示空間物點(diǎn)與二維像點(diǎn)的直接對應(yīng)關(guān)系。為了提高定標(biāo)精度，就需要通過精確分析攝像機(jī)成像的中間過程，構(gòu)造精密的幾何模型，設(shè)置具有物理意義的參數(shù)（一般包括鏡頭畸變參數(shù)、圖像中心偏差、幀存掃描水平比例因子和有效焦距偏差），然后確定這些未知參數(shù)，實(shí)現(xiàn)攝像機(jī)的顯參數(shù)定標(biāo)。

5.從解題方法來分有解析法、神經(jīng)網(wǎng)絡(luò)法和遺傳算法。

空間點(diǎn)與其圖像對應(yīng)點(diǎn)之間是一種復(fù)雜的非線性關(guān)系。用圖像中的像元位置難以準(zhǔn)確計(jì)算實(shí)際空間點(diǎn)間的實(shí)際尺寸。企圖用一種線性方法來找到這種對應(yīng)關(guān)系幾乎是不可能的。解析方法是用足夠多的點(diǎn)的世界坐標(biāo)和相應(yīng)的圖像坐標(biāo)，通過解析公式來確定攝像機(jī)的內(nèi)參數(shù)、外參數(shù)以及畸變參數(shù)，然后根據(jù)得到的內(nèi)外參數(shù)及畸變系數(shù)，再將圖像中的點(diǎn)通過幾何關(guān)系得到空間點(diǎn)的世界坐標(biāo)。解析方法不能不能囊括上述的所有非線性因素，只能選擇幾種主要的畸變，而忽略其它不確定因素。神經(jīng)網(wǎng)絡(luò)法能夠以任意的精度逼近任何非線性關(guān)系，跳過求取各參數(shù)的繁瑣過程，利用圖像坐標(biāo)點(diǎn)和相應(yīng)的空間點(diǎn)作為輸入輸出樣本集進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系，對于不是樣本集中的圖像坐標(biāo)點(diǎn)也能得到合適的空間點(diǎn)的世界坐標(biāo)。

6.根據(jù)標(biāo)定塊的不同有立體和平面之分。

定標(biāo)通過拍攝一個(gè)事先已經(jīng)確定了三維幾何形狀的物體來進(jìn)行，也就是在一定的攝像機(jī)模型下，基于特定的實(shí)驗(yàn)條件如形狀、尺寸已知的定標(biāo)參照物（標(biāo)定物），經(jīng)過對其圖像進(jìn)行處理，利用一系列數(shù)學(xué)變換和計(jì)算方法，求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)。這種定標(biāo)方法的精度很高。用于定標(biāo)的物體一般是由兩到三個(gè)相互正交的平面組成。但這些方法需要昂貴的標(biāo)定設(shè)備，而且事前要精確地設(shè)置。平面模板（作為標(biāo)定物），對于每個(gè)視點(diǎn)獲得圖像,提取圖像上的網(wǎng)格角點(diǎn)，平面模板與圖像間的網(wǎng)格角點(diǎn)對應(yīng)關(guān)系，確定了單應(yīng)性矩陣（Homography），平面模板可以用硬紙板，上面張貼激光打印機(jī)打印的棋盤格。模板圖案常采用矩形和二次曲線（圓和橢圓）。

7.從定標(biāo)步驟來看，可以分為兩步法、三步法、四步法等；

8.從內(nèi)部參數(shù)是否可變的角度來看，可以分為可變內(nèi)部參數(shù)的定標(biāo)和不可變內(nèi)部參數(shù)的定標(biāo)；

9.從攝像機(jī)運(yùn)動(dòng)方式上看，定標(biāo)可以分為非限定運(yùn)動(dòng)方式的攝像機(jī)定標(biāo)和限定運(yùn)動(dòng)；方式的攝像機(jī)定標(biāo)，后者根據(jù)攝像機(jī)的運(yùn)動(dòng)形式不同又可以純旋轉(zhuǎn)的定標(biāo)方式、正交平移運(yùn)動(dòng)的定標(biāo)方式等。不管怎樣分類，定標(biāo)的最終目的是要從圖像點(diǎn)中求出物體的待識(shí)別參數(shù)，即攝像機(jī)內(nèi)外參數(shù)或者投影矩陣。然而，不同應(yīng)用領(lǐng)域的問題對攝像機(jī)定標(biāo)的精度要求也不同，也就要求應(yīng)使用不同的定標(biāo)方法來確定攝像機(jī)的參數(shù)。例如，在物體識(shí)別應(yīng)用系統(tǒng)中和視覺精密測量中，物體特征的相對位置必須要精確計(jì)算，而其絕對位置的定標(biāo)就不要求特別高；而在自主車輛導(dǎo)航系統(tǒng)中，機(jī)器人的空間位置的絕對坐標(biāo)就要高精度測量，并且工作空間中障礙物的位置也要高度測量，這樣才能安全導(dǎo)航。

三、 攝像機(jī)成像模型

在計(jì)算機(jī)視覺中，利用所拍攝的圖像來計(jì)算出三維空間中被測物體幾何參數(shù)。圖像是空間物體通過成像系統(tǒng)在像平面上的反映，即空間物體在像平面上的投影。圖像上每一個(gè)像素點(diǎn)的灰度反映了空間物體表面某點(diǎn)的反射光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面對應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機(jī)成像系統(tǒng)的幾何投影模型所決定。計(jì)算機(jī)視覺研究中，三維空間中的物體到像平面的投影關(guān)系即為成像模型，理想的投影成像模型是光學(xué)中的中心投影，也稱為針孔模型。針孔模型假設(shè)物體表面的反射光都經(jīng)過一個(gè)針孔而投影到像平面上，即滿足光的直線傳播條件。針孔模型主要有光心（投影中心）、成像面和光軸組成。小孔成像由于透光量太小，因此需要很長的曝光時(shí)間，并且很難得到清晰的圖像。實(shí)際攝像系統(tǒng)通常都由透鏡或者透鏡組組成。兩種模型具有相同的成像關(guān)系，即像點(diǎn)是物點(diǎn)和光心的連線與圖像平面的交點(diǎn)。因此，可以用針孔模型作為攝像機(jī)成像模型。當(dāng)然，由于透鏡設(shè)計(jì)的復(fù)雜性和工藝水平等因素的影響，實(shí)際透鏡城鄉(xiāng)系統(tǒng)不可能嚴(yán)格滿足針孔模型，產(chǎn)生所謂的鏡頭畸變，常見的如徑向畸變、切向畸變、薄棱鏡畸變等，因而在遠(yuǎn)離圖像中心處會(huì)有較大的畸變，在精密視覺測量等應(yīng)用方面，應(yīng)該盡量采用非線性模型來描述成像關(guān)系。

四、 常用坐標(biāo)系及其關(guān)系

計(jì)算機(jī)視覺常用坐標(biāo)系采用右手準(zhǔn)則來定義，圖1 表示了三個(gè)不同層次的坐標(biāo)系統(tǒng)：世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系（圖像像素坐標(biāo)系和圖像物理坐標(biāo)

系）。世界坐標(biāo)系：也稱真實(shí)或現(xiàn)實(shí)世界坐標(biāo)系,它是客觀世界的絕對坐標(biāo)。一般的3Ｄ場景都用這個(gè)坐標(biāo)系來表示。

三個(gè)層次的坐標(biāo)系統(tǒng)

（1）世界坐標(biāo)系（xw,yw,zw）：也稱真實(shí)或現(xiàn)實(shí)世界坐標(biāo)系，或全局坐標(biāo)系。它是客觀世界的絕對坐標(biāo)，由用戶任意定義的三維空間坐標(biāo)系。一般的3Ｄ場景都用這個(gè)坐標(biāo)系來表示。

（2）攝像機(jī)坐標(biāo)系（xoy）：以小孔攝像機(jī)模型的聚焦中心為原點(diǎn)，以攝像機(jī)光軸為zc 軸建立的三維直角坐標(biāo)系。x，y 一般與圖像物理坐標(biāo)系的xf,yf 平行，且采取前投影模型。

（3）圖像坐標(biāo)系，分為圖像像素坐標(biāo)系和圖像物理坐標(biāo)系兩種：圖像物理坐標(biāo)系：其原點(diǎn)為透鏡光軸與成像平面的交點(diǎn)，X 與Y 軸分別平行于攝像機(jī)坐標(biāo)系的x 與y 軸，是平面直角坐標(biāo)系，單位為毫米。圖像像素坐標(biāo)系[計(jì)算機(jī)圖像（幀存）坐標(biāo)系]：固定在圖像上的以像素為單位的平面直角坐標(biāo)系，其原點(diǎn)位于圖像左上角, xf,yf 平行于圖像物理坐標(biāo)系的X 和Y軸。對于數(shù)字圖像，分別為行列方向。

坐標(biāo)系變換關(guān)系

定義了上述各種空間坐標(biāo)系后，就可以建立兩兩不同坐標(biāo)變換之間的關(guān)系。

（1） 世界坐標(biāo)系與攝像機(jī)坐標(biāo)系變換關(guān)系

世界坐標(biāo)系中的點(diǎn)到攝像機(jī)坐標(biāo)系的變換可由一個(gè)正交變換矩陣R 和一個(gè)平移變換矩陣T 表示為：

攝像機(jī)標(biāo)定技術(shù)

正交旋轉(zhuǎn)矩陣實(shí)際上只含有3 個(gè)獨(dú)立變量，再加上x y z t ,t ,和t ，總工有6 個(gè)參數(shù)決定了攝像機(jī)光軸在世界坐標(biāo)系中空間位置，因此這六個(gè)參數(shù)稱為攝像機(jī)外部參數(shù)。

（2） 圖像坐標(biāo)系與攝像機(jī)坐標(biāo)系變換關(guān)系

如圖 1 所示，攝像機(jī)坐標(biāo)系中的物點(diǎn)P 在圖像物理坐標(biāo)系中像點(diǎn)u P 坐標(biāo)為上式就是攝影測量學(xué)中最基本的共線方程。說明物點(diǎn)、光心和像點(diǎn)這三點(diǎn)必須在同意條直線上。這是針孔模型或者中心投影的數(shù)學(xué)表達(dá)式。根據(jù)共線方程，在攝像機(jī)內(nèi)部參數(shù)確定的條件下，利用若干個(gè)已知的物點(diǎn)和相應(yīng)的像點(diǎn)坐標(biāo)，就可以求解出攝像機(jī)的六個(gè)外部參數(shù)，即攝像機(jī)的光心坐標(biāo)和光軸方位的信息。

攝像機(jī)鏡頭的畸變

由于攝像機(jī)光學(xué)系統(tǒng)并不是精確地按理想化的小孔成像原理工作，存在有透鏡畸變，物體點(diǎn)在攝像機(jī)成像面上實(shí)際所成的像與理想成像之間存在有光學(xué)畸變誤差。主要的畸變誤差分為三類：徑向畸變、偏心畸變和薄棱鏡畸變。第一類只產(chǎn)生徑向位置的偏差，后兩類則既產(chǎn)生徑向偏差，又產(chǎn)生切向偏差，下圖2 為無畸變理想圖像點(diǎn)位置與有畸變實(shí)際圖像點(diǎn)位置之間的關(guān)系。

（1）徑向變形（徑向畸變） 光學(xué)鏡頭徑向曲率的變化是引起徑向變形的主要原因。這種變形會(huì)引起圖像點(diǎn)沿徑向移動(dòng)，離中心點(diǎn)越遠(yuǎn)，其變形量越大。正的徑向變形量會(huì)引起點(diǎn)向遠(yuǎn)離圖像中心的方向移動(dòng)，其比例系數(shù)增大；負(fù)的徑向變形量會(huì)引起點(diǎn)向靠近圖像中心的方向移動(dòng)，其比例系數(shù)減小。見下圖3，數(shù)學(xué)模型如下

（2）偏心變形由于裝配誤差，組成光學(xué)系統(tǒng)的多個(gè)光學(xué)鏡頭的光軸不可能完全共線，從而引起偏心變形，這種變形是由徑向變形分量和切向變形分量共同構(gòu)成，見圖4，其數(shù)學(xué)模型為：