360°全景拼接技術(shù)簡(jiǎn)介本文為技術(shù)簡(jiǎn)介，詳細(xì)算法可以參考后面的參考資料1.概述? ? ? ? 全景圖像(Panorama)通常是指大于雙眼正常有效視角(大約水平90度，垂直70度)或雙眼余光視角(大約水平180度，垂直90度)，在一個(gè)固定的觀察點(diǎn)，能夠提供水平方向上方位角360度，垂直方向上180度的自由瀏覽 （簡(jiǎn)化的全景只能提供水平方向360度的瀏覽），乃至360度完整場(chǎng)景范圍拍攝的照片? ? ? ? 生成全景圖的方法，通常有三種：一是利用專用照相設(shè)備，例如全景相機(jī)，帶魚眼透鏡的廣角相機(jī)等其優(yōu)點(diǎn)是容易得到全景圖像且不需要復(fù)雜的建模過程，但是由于這些專用設(shè)備價(jià)格昂貴，不宜普遍適用二是計(jì)算機(jī)繪制方法，該方法利用計(jì)算機(jī)圖形學(xué)技術(shù)建立場(chǎng)景模型，然后繪制虛擬環(huán)境的全景圖其優(yōu)點(diǎn)是繪制全景圖的過程不需要實(shí)時(shí)控制，而且可以繪制出復(fù)雜的場(chǎng)景和真實(shí)感較強(qiáng)的光照模型，但缺點(diǎn)是建模過程相當(dāng)繁瑣和費(fèi)時(shí)三是利用普通數(shù)碼相機(jī)和固定三腳架拍攝一系列的相互重疊的照片，并利用一定的算法將這些照片拼接起來，從而生成全景圖? ? ? ? 近年來隨著圖像處理技術(shù)的研究和發(fā)展，圖像拼接技術(shù)已經(jīng)成為計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的研究焦點(diǎn)。

目前出現(xiàn)的關(guān)于圖像拼接的商業(yè)軟件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，這些商業(yè)軟件多是半自動(dòng)過程，需要排列好圖像順序，或手動(dòng)點(diǎn)取特征點(diǎn)2.全景圖類型：? ? ? ? 1)柱面全景圖? ? ? ? 柱面全景圖技術(shù)較為簡(jiǎn)單，發(fā)展也較為成熟，成為大多數(shù)構(gòu)建全景圖虛擬場(chǎng)景的基礎(chǔ)這種方式是將全景圖像投影到一個(gè)以相機(jī)視點(diǎn)為中心的圓柱體內(nèi)表面，視線的旋轉(zhuǎn)運(yùn)動(dòng)即轉(zhuǎn)化為柱面上的坐標(biāo)平移運(yùn)動(dòng)這種全景圖可以實(shí)現(xiàn)水平方向360度連續(xù)旋轉(zhuǎn)，而垂直方向的俯仰角度則由于圓柱體的限制要小于180度柱面全景圖有兩個(gè)顯著優(yōu)點(diǎn)：一是圓柱面可以展開成一個(gè)矩形平面，所以可以把柱面全景圖展開成一個(gè)矩形圖像，而且直接利用其在計(jì)算機(jī)內(nèi)的圖像格式進(jìn)行存取；二是數(shù)據(jù)的采集要比立方體和球體都簡(jiǎn)單在大多數(shù)實(shí)際應(yīng)用中，360度的環(huán)視環(huán)境即可較好地表達(dá)出空間信息，所以柱面全景圖模型是較為理想的一種選擇? ? ? ? 2)立方體全景圖? ? ? ? 立方體全景圖由六個(gè)平面投影圖像組成，即將全景圖投影到一個(gè)立方體的內(nèi)表面上這種方式下圖像的采集和相機(jī)的標(biāo)定難度較大，需要使用特殊的拍攝裝置，依次在水平、垂直方向每隔90度拍攝一張照片，獲得六張可以無縫拼接于一個(gè)立方體的六個(gè)面上的照片。

這種方法可以實(shí)現(xiàn)水平方向360度旋轉(zhuǎn)、垂直方向180度俯仰的視線觀察? ? ? ? 3)球面全景圖? ? ? ? 球面全景圖是指將源圖像拼接成一個(gè)球體的形狀，以相機(jī)視點(diǎn)為球心，將圖像投影到球體的內(nèi)表面與立方體全景圖類似，球面全景圖也可以實(shí)現(xiàn)水平方向360度旋轉(zhuǎn)、垂直方向180度俯仰的視線觀察球面全景圖的拼接過程及存儲(chǔ)方式較柱面全景圖大為復(fù)雜，這是因?yàn)樯汕蛎嫒皥D的過程中需要將平面圖像投影成球面圖像，而球面為不可展曲面因此這是一個(gè)平面圖像水平和垂直方向的非線性投影過程，同時(shí)也很難找到與球面對(duì)應(yīng)且易于存取的數(shù)據(jù)結(jié)構(gòu)來存放球面圖像目前國(guó)內(nèi)外在這方面提出的研究算法較其他類型全景圖少，而且在可靠性和效率方面也存在一些問題3.主要內(nèi)容3.1 圖像獲取? ? ? ? 由于魚眼鏡頭和常規(guī)鏡頭在生成全景圖方面存在很大差異，其校正算法完全不同，因此需分開討論但是校正后的圖像進(jìn)行拼接步驟時(shí)的處理方法一定程度上可通用? ? ? ? A．單常規(guī)鏡頭拍攝多張圖片方式（手持）? ? ? ? 該方式很常見，在目前多種手機(jī)上均有相關(guān)全景功能? ? ? ? B．多個(gè)常規(guī)鏡頭組成的相機(jī)（或單鏡頭旋轉(zhuǎn)掃描方式）圖1：三星的360度全景照相機(jī)Project Beyond，內(nèi)置16個(gè)攝像頭? ? ? ? C．魚眼鏡頭拍攝圖2：理光雙魚眼全景相機(jī)RICOH THETA3.2魚眼圖像矯正? ? ? ? 若為魚眼鏡頭采集的到的圖像，必須對(duì)圖像進(jìn)行矯正。

魚眼鏡頭圖像校正算法通常有兩種：一種是球面坐標(biāo)定位法，一種是經(jīng)緯映射法矯正效果如下圖所示：圖3：魚眼圖像及校正后的展開圖3.3?圖片匹配3.3.1與特征無關(guān)的匹配方式? ? ? ? 與特征無關(guān)的匹配方式常見的為相關(guān)性匹配，一般都用于沒有復(fù)雜變換的圖像拼接情況下該方式計(jì)算簡(jiǎn)單，僅為普通的灰度模板匹配圖4：模板匹配法示意圖3.3.2根據(jù)特征進(jìn)行匹配的方式? ? ? ? 基于特征的匹配首先從圖像上選取特征信息，然后識(shí)別出兩幅圖像對(duì)應(yīng)的特征信息常用的特征信息有特征輪廓，特征曲線，特征點(diǎn)，多采用特征點(diǎn)匹配法? ? ? ? 進(jìn)行特征點(diǎn)匹配的第一步是提取所有素材圖片的局部特征點(diǎn)普遍來講，一張圖片所包含的特征點(diǎn)通常就是周圍含有較大信息量的點(diǎn)，而僅通過這些富有特征的局部，基本就可以推測(cè)出整張圖片常見的特征點(diǎn)包括SIFT，F(xiàn)AST，SURF等圖5：SITF特征點(diǎn)檢測(cè)效果圖青色內(nèi)容為檢測(cè)到的SIFT特征點(diǎn)? ? ? ? 由于特征點(diǎn)由特征向量表示，所以圖中每個(gè)特征點(diǎn)顯示為一個(gè)箭頭? ? ? ? 形成特征向量之后下一個(gè)問題就是如何匹配了最基本的方式可以稱作“最鄰近搜索”（Nearest Neighbour），實(shí)際上也就是找在128維空間上直線距離最近的的特征向量，這個(gè)求直線距離的方式和2維無異，最近的特征向量也就被認(rèn)為是互相匹配。

SIFT原作者使用的方式是增加了k-d tree算法來高效率地完成高維度上的最鄰近搜索特征點(diǎn)匹配效果如下圖所示圖6：SITF特征點(diǎn)匹配效果圖3.4圖片拼接? ? ? ? 在以上步驟中得到了圖像間的匹配關(guān)系，就可以根據(jù)這些關(guān)系進(jìn)行圖像的拼接了按照?qǐng)D像匹配的不同方式，拼接處理也分兩大類：? ? ? ? A．根據(jù)模板匹配的方式，可得到圖片見的平移（或者包括縮放）參數(shù)，繼而根據(jù)參數(shù)進(jìn)行圖像拼接操作；? ? ? ? B．根據(jù)特征點(diǎn)匹配的方式，則利用這些匹配的點(diǎn)來估算”單應(yīng)矩陣” （Homography Estimation），也就是把其中一張通過個(gè)關(guān)聯(lián)性和另一張匹配的方法? ? ? ? 通過單應(yīng)矩陣H，可以將原圖像中任意像素點(diǎn)坐標(biāo)轉(zhuǎn)換為新坐標(biāo)點(diǎn)，轉(zhuǎn)換后的圖像即為適合拼接的結(jié)果圖像下圖即為找出符合幾何約束的特征點(diǎn)之后，通過單應(yīng)矩陣來對(duì)齊兩張圖片的內(nèi)容圖7：根據(jù)特征點(diǎn)進(jìn)行圖像拼接的效果圖圖8：多張圖像拼接效果3.5圖像融合? ? ? ? 圖像拼接后，需要對(duì)圖像重疊部分進(jìn)行融合處理圖像融合技術(shù)決定了最終圖像合成質(zhì)量，常用的有平均疊加法，線性法，加權(quán)法，多段融合法等3.5.1 平均疊加法? ? ? ? 平均疊加法是直接對(duì)圖像進(jìn)行平均疊加。

這是最簡(jiǎn)單的融合方法，會(huì)出現(xiàn)明顯的拼接縫隙3.5.2 線性法? ? ? ? 柱面圖像的拼接多采用簡(jiǎn)單的線性法圖像映射到柱面坐標(biāo)下，圖像間就是簡(jiǎn)單的純平面平移變換，局部對(duì)準(zhǔn)后，對(duì)重疊區(qū)域用線性法融合該方法適合柱面全景圖生成，或者僅具有平移變換的兩幅圖像融合3.5.3 加權(quán)函數(shù)法? ? ? ? 加權(quán)函數(shù)法與線性法類似，也是廣泛應(yīng)用的融合方法之一該方法能有效去除邊界縫隙，但在拼合區(qū)往往出現(xiàn)疊影模糊的現(xiàn)象3.5.4 多段融合法（多分辨率樣條）? ? ? ? 多段融合法是目前比較好的融合方法，拼接成的圖像既清晰又光滑無縫，能避免縫隙問題和疊影現(xiàn)象另外，如果選取好的最佳縫隙線，還能處理有輕微運(yùn)動(dòng)物體的圖像拼接但該方法運(yùn)算量大是其明顯缺陷3.6全景圖像投射3.6.1 柱面全景圖? ? ? ? 固定視點(diǎn)，使相機(jī)在水平面內(nèi)旋轉(zhuǎn)一周拍攝場(chǎng)景，得到一組具有重疊區(qū)域的連續(xù)環(huán)視圖像序列，將這組圖像序列無縫拼合，并投影到柱面空間坐標(biāo)，就得到了衣服柱面全景圖柱面投影就是講圖像投影到柱面上，它是一種透視投影而非平行投影，通俗的講就是要活的從投影中心這一點(diǎn)上觀察圖像在柱面上的成像下圖表示將三維空間上的點(diǎn)（X,Y,Z）映射到柱面模型上得到對(duì)應(yīng)于柱面模型上的點(diǎn)（x,y,z）的過程。

其中θ為觀察視域中心與X軸夾角，h為柱面模型高度，(x,y,z)為（X,Y,Z）在柱面模型上的投影圖9：柱面全景圖生成模型圖10：柱面全景圖效果圖3.6.2 球面全景圖? ? ? ? 球面全景圖是通過求取圖像映射到球面的參數(shù)，將圖像映射到球面模型上，然后得到的平面反展開圖就是球面全景圖或者部分球面全景圖圖11：球面投影變換結(jié)果圖圖12：球面全景圖拼接效果3.6.3 多面體全景圖? ? ? ? 以景物中心為固定視點(diǎn)來觀察整個(gè)場(chǎng)景，并將周圍場(chǎng)景的圖像記錄在以該點(diǎn)為中心的環(huán)境映射到多面體上，這樣環(huán)境映射以多面體全景圖像的方式來提高其中心視點(diǎn)的場(chǎng)景描述多面體全景圖中以立方體最為簡(jiǎn)單，立方體全景圖是由6幅廣角為90度的畫面組成圖13：立方體全景圖效果?4. 應(yīng)用? ? ? ? 隨著具有拍攝功能的便攜式數(shù)字終端產(chǎn)品的日益普及，使得采用手持普通數(shù)碼相機(jī)或手機(jī)的的方式可以直接獲取全景圖素材，通過拼接軟件可以制作各種360度的全景圖，可以為虛擬漫游、數(shù)字娛樂、旅游展示、遠(yuǎn)程教育、電子商務(wù)等領(lǐng)域提供更好的臨場(chǎng)感? ? ? ? 360度全景技術(shù)還可以實(shí)現(xiàn)場(chǎng)景中的熱點(diǎn)連接、多場(chǎng)景之間虛擬漫游、雷達(dá)方位導(dǎo)航等功能。

? ? ? ? 360度全景技術(shù)廣泛應(yīng)用于賓館酒店、旅游景點(diǎn)、房產(chǎn)家居、休閑會(huì)所、汽車展示、城市建筑規(guī)劃等網(wǎng)絡(luò)虛擬展示? ? ? ??360度全景圖技術(shù)已經(jīng)開始用于網(wǎng)站中，騰訊、新浪已經(jīng)把這種技術(shù)加入到自己的網(wǎng)站之中?? ? ? ??360度全景圖的一個(gè)展示如下：?? ? ? ?參考資料：1. 羅海風(fēng) ?《全景拼接算法簡(jiǎn)介》2. 利用普通數(shù)碼相機(jī)制作全景圖研究3. 魚眼照片生成全景圖算法的研究與實(shí)現(xiàn)，程菊明等，計(jì)算機(jī)工程與應(yīng)用，20074. 360度全景城市網(wǎng)站：http://www.360cities.net/5. 全景圖生成技術(shù)研究，李艷麗，山東大學(xué)碩士畢業(yè)論文，20076. 球面全景圖像生成技術(shù)的研究，楊燕等，20077. 全景圖像拼接技術(shù)研究現(xiàn)狀綜述，江鐵等，重慶工商大學(xué)學(xué)報(bào)，20128. 柱面全景圖拼接算法的研究，付金紅，哈爾濱理工大學(xué)碩士畢業(yè)論文，20059.合成全景圖中計(jì)算機(jī)視覺技術(shù)的知識(shí)和原理?10.SIFT特征提取分析11.?全景攝像機(jī)圖像矯正的核心算法12.?三星發(fā)布360度全景相機(jī)Project Beyond?13.?理光發(fā)布雙魚眼鏡頭全景相機(jī)。