本發(fā)明涉及視覺(jué)感知，尤其是涉及一種基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、環(huán)視相機(jī)標(biāo)定是實(shí)現(xiàn)無(wú)縫鳥瞰圖合成的關(guān)鍵技術(shù)，傳統(tǒng)基于單應(yīng)矩陣的2d標(biāo)定方法（單應(yīng)矩陣）存在以下缺陷：

2、1.視角調(diào)整僵化：2d標(biāo)定依賴固定的單應(yīng)矩陣映射關(guān)系，無(wú)法靈活調(diào)整虛擬鳥瞰相機(jī)的高度或視野參數(shù)。若需切換視角（例如從常規(guī)俯視切換至高位鳥瞰），必須重新執(zhí)行完整標(biāo)定流程，導(dǎo)致操作效率顯著降低，且無(wú)法滿足多視角動(dòng)態(tài)應(yīng)用需求。

3、2.姿態(tài)適應(yīng)性缺失：傳統(tǒng)2d方法無(wú)法融合車輛實(shí)時(shí)姿態(tài)數(shù)據(jù)（如俯仰角、橫滾角）。當(dāng)車輛行駛于坡道或顛簸路面時(shí)，車身傾斜會(huì)導(dǎo)致鳥瞰圖拼接錯(cuò)位，表現(xiàn)為邊緣重影和紋理撕裂。

4、現(xiàn)有標(biāo)定板技術(shù)的局限性：

5、棋盤格標(biāo)定板：需嚴(yán)格保證標(biāo)定板平面與相機(jī)光軸垂直，且對(duì)遮擋和光照變化極為敏感。部分遮擋或復(fù)雜背景干擾（如地面反光、陰影）易導(dǎo)致角點(diǎn)檢測(cè)失敗或定位偏差。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上問(wèn)題，本發(fā)明提供了一種基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的方法、系統(tǒng)及介質(zhì)，不僅實(shí)現(xiàn)鳥瞰相機(jī)高度與視野參數(shù)的靈活調(diào)整，避免重復(fù)標(biāo)定，而且通過(guò)融合車輛姿態(tài)傳感器數(shù)據(jù)動(dòng)態(tài)修正虛擬相機(jī)參數(shù)，實(shí)現(xiàn)車身傾斜狀態(tài)下的視角補(bǔ)償。

2、為了實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供的技術(shù)方案如下：

3、一種基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的方法，所述方法包括：

4、m1.獲取前、后、左、右四個(gè)車載魚眼相機(jī)的原始圖像，對(duì)每幅圖像進(jìn)行魚眼畸變校正，得到無(wú)畸變圖像的數(shù)據(jù)信息；

5、m2.基于所述無(wú)畸變圖像的數(shù)據(jù)信息，在每幅去畸變圖像中檢測(cè)apriltag標(biāo)記,并提取檢測(cè)到的角點(diǎn)坐標(biāo)作為圖像點(diǎn)集,查詢預(yù)定義的標(biāo)定板物理尺寸對(duì)應(yīng)的三維世界坐標(biāo)，構(gòu)建匹配的三維點(diǎn)集，得到圖像的匹配的三維點(diǎn)集的數(shù)據(jù)信息；

6、m3.基于所述圖像的匹配的三維點(diǎn)集的數(shù)據(jù)信息，結(jié)合相機(jī)的內(nèi)參矩陣，采用pnp算法求解初始旋轉(zhuǎn)向量和平移向量，并對(duì)相機(jī)到車身的剛體變換矩陣進(jìn)行表征，得到相機(jī)到車身的剛體變換矩陣的數(shù)據(jù)信息；

7、m4.基于所述相機(jī)到車身的剛體變換矩陣的數(shù)據(jù)信息，生成鳥瞰圖，采用距離加權(quán)融合算法對(duì)鳥瞰圖進(jìn)行拼接，得到環(huán)視相機(jī)的3d標(biāo)定結(jié)果的數(shù)據(jù)信息。

8、進(jìn)一步的，在步驟m1中，所述對(duì)每幅圖像進(jìn)行魚眼畸變校正的函數(shù)iundist為，

9、，

10、其中，為無(wú)畸變圖像的像素點(diǎn)坐標(biāo)，(x,y)為原始圖像的像素點(diǎn)的坐標(biāo)，r、k1、k2、p1和p2為畸變系數(shù)。

11、進(jìn)一步的，在步驟m3中，所述對(duì)相機(jī)到車身的剛體變換矩陣進(jìn)行表征包括：

12、m31.引入車輛姿態(tài)傳感器數(shù)據(jù)，構(gòu)造補(bǔ)償旋轉(zhuǎn)矩陣，

13、rcomp=eulertorotationmatrix(θpitch,θroll,0)，

14、其中，θpitch為俯仰角，θroll為橫滾角；

15、m32.將旋轉(zhuǎn)向量轉(zhuǎn)換為旋轉(zhuǎn)矩陣r0cam=rodrigues(rvec)，并融合姿態(tài)補(bǔ)償，

16、rcam=r0cam·rcomp，

17、其中，rvec為初始旋轉(zhuǎn)向量，得到融合后的姿態(tài)補(bǔ)償矩陣的數(shù)據(jù)信息；

18、m33.基于所述融合后的姿態(tài)補(bǔ)償矩陣的數(shù)據(jù)信息，建立相機(jī)到車身的剛體變換函數(shù)，

19、，

20、其中，tvec為平移向量，對(duì)相機(jī)到車身的剛體變換矩陣進(jìn)行表征，得到相機(jī)到車身的剛體變換矩陣的數(shù)據(jù)信息。

21、進(jìn)一步的，所述車輛姿態(tài)傳感器數(shù)據(jù)包括車輛的俯仰角的數(shù)據(jù)信息和車輛的橫滾角的數(shù)據(jù)信息。

22、進(jìn)一步的，在步驟m4中，所述生成鳥瞰圖包括：

23、m411.設(shè)定輸出鳥瞰圖的高度范圍[hmin,hmax]，對(duì)每個(gè)目標(biāo)高度h∈[hmin,hmax]，構(gòu)建鳥瞰視圖平面的網(wǎng)格點(diǎn)集grid∈r3×n，表示bev的坐標(biāo)系下的二維點(diǎn)；

24、m412.利用逆投影將網(wǎng)格點(diǎn)映射至三維世界坐標(biāo)，

25、pworld=k-1bev·grid·h，

26、其中，k-1bev為鳥瞰圖投影等效內(nèi)參矩陣；

27、m413.將世界坐標(biāo)點(diǎn)通過(guò)相機(jī)外參變換至相機(jī)坐標(biāo)系,

28、pcam=(tbodycam)-1·pworld，

29、其中，tbodycam為相機(jī)到車身的剛體變換矩陣的數(shù)據(jù)信息；

30、m414.投影到歸一化圖像平面，

31、，

32、其中，pcam為世界坐標(biāo)點(diǎn)通過(guò)相機(jī)外參變換至相機(jī)坐標(biāo)系的函數(shù),(x,y)為原始圖像的像素點(diǎn)的坐標(biāo)，z為原始圖像的像素點(diǎn)對(duì)應(yīng)的三維坐標(biāo)的z方向的距離；

33、m415.應(yīng)用魚眼畸變模型，計(jì)算其在原始圖像中的對(duì)應(yīng)像素位置，

34、pdist=fisheyedistort(pnorm,kcam,dcam)

35、其中，kcam為相機(jī)的內(nèi)參矩陣，dcam為相機(jī)的外參矩陣；

36、m416.使用雙線性插值重映射生成單視角鳥瞰圖像ibev_single，

37、ibev_single=remap(iundist,pdist,inter_linear)；

38、m417.將各高度層對(duì)應(yīng)的單視角bev圖像加入列表，生成鳥瞰圖。

39、進(jìn)一步的，所述inter_linear為雙線性插值的內(nèi)部插值點(diǎn)。

40、進(jìn)一步的，在步驟m4中，所述采用距離加權(quán)融合算法對(duì)鳥瞰圖進(jìn)行拼接包括：

41、m421.對(duì)每個(gè)重疊像素點(diǎn)，計(jì)算其到視圖邊緣的距離dist_to_edge，定義融合權(quán)重α，

42、，

43、其中，ω為預(yù)設(shè)的重疊融合閾值；

44、m422.融合當(dāng)前圖像與畫布已有像素值，

45、ipanorama[pixel]=α·ibev_single[pixel]+(1-α)·ipanorama[pixel]，

46、其中，pixel為像素值，ibev_single為單目視覺(jué)函數(shù)。

47、進(jìn)一步的，所述預(yù)設(shè)的重疊融合閾值ω的取值范圍為(0,1)。

48、為了實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明還提供了一種基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的系統(tǒng)，包括計(jì)算機(jī)設(shè)備，該計(jì)算機(jī)設(shè)備被編程或配置以執(zhí)行任意一項(xiàng)所述的基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的方法的步驟。

49、為了實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明還提供了一種基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的系統(tǒng)，包括計(jì)算機(jī)設(shè)備，該計(jì)算機(jī)設(shè)備被編程或配置以執(zhí)行任意一項(xiàng)所述的基于apriltag進(jìn)行環(huán)視相機(jī)3d標(biāo)定的方法的步驟。

50、本發(fā)明具有以下積極效果：

51、1.本發(fā)明通過(guò)突破傳統(tǒng)二維標(biāo)定限制，實(shí)現(xiàn)虛擬鳥瞰相機(jī)高度的實(shí)時(shí)動(dòng)態(tài)調(diào)節(jié)，無(wú)需重復(fù)執(zhí)行標(biāo)定流程，提升多視角應(yīng)用場(chǎng)景的操作效率。

52、2.本發(fā)明通過(guò)有效融合車輛實(shí)時(shí)姿態(tài)數(shù)據(jù)，修正車身傾斜導(dǎo)致的圖像錯(cuò)位問(wèn)題，消除坡道或顛簸路面下的拼接重影與紋理撕裂現(xiàn)象，與此同時(shí)，基于apriltag標(biāo)定板的抗干擾特性，在非垂直視角、部分遮擋或光照不均等復(fù)雜條件下保持穩(wěn)定識(shí)別，大幅提升標(biāo)定過(guò)程的可靠性與適用性。