本發(fā)明屬于智能建造領(lǐng)域,特別是涉及基于深度學(xué)習(xí)的施工機(jī)器人自主導(dǎo)航與避障方法及系統(tǒng)。
背景技術(shù):
1、隨著智能建造技術(shù)的發(fā)展,出現(xiàn)了施工機(jī)器人自主導(dǎo)航與避障技術(shù),該技術(shù)核心在于提升機(jī)器人在復(fù)雜環(huán)境下的自主作業(yè)能力,對(duì)于提高施工效率、保障施工現(xiàn)場(chǎng)安全具有不可替代的價(jià)值。
2、傳統(tǒng)技術(shù)中,主要依賴預(yù)設(shè)規(guī)則系統(tǒng)或單一傳感器數(shù)據(jù)處理來進(jìn)行自主導(dǎo)航與避障,通過預(yù)先設(shè)定安全距離閾值,結(jié)合基礎(chǔ)傳感器檢測(cè)障礙物,觸發(fā)簡(jiǎn)單的停止或轉(zhuǎn)向動(dòng)作,而對(duì)于環(huán)境變化的響應(yīng)則多采用離線更新地圖或人工干預(yù)調(diào)整策略。
3、然而,目前的傳統(tǒng)方法存在以下問題:無法區(qū)分施工現(xiàn)場(chǎng)的障礙物類型,且避障策略單一,無法根據(jù)障礙物的威脅等級(jí)動(dòng)態(tài)調(diào)整避障策略,同時(shí)響應(yīng)避障決策延遲,導(dǎo)致避障失敗,降低導(dǎo)航效率,難以滿足實(shí)際施工需求。
技術(shù)實(shí)現(xiàn)思路
1、基于此,有必要針對(duì)上述技術(shù)問題,提供一種基于深度學(xué)習(xí)的施工機(jī)器人自主導(dǎo)航與避障方法及系統(tǒng)。
2、第一方面,本技術(shù)提供了一種基于深度學(xué)習(xí)的施工機(jī)器人自主導(dǎo)航與避障方法,包括:
3、獲取施工機(jī)器人的當(dāng)前位置、施工目標(biāo)位置以及施工現(xiàn)場(chǎng)的平面地圖;
4、根據(jù)平面地圖和當(dāng)前位置、施工目標(biāo)位置,生成第一導(dǎo)航路徑;
5、當(dāng)施工機(jī)器人在第一導(dǎo)航路徑運(yùn)動(dòng)時(shí),實(shí)時(shí)獲取施工機(jī)器人周圍的環(huán)境數(shù)據(jù);
6、對(duì)環(huán)境數(shù)據(jù)進(jìn)行障礙物特征提取處理,獲取各障礙物信息、移動(dòng)軌跡預(yù)測(cè)結(jié)果和威脅等級(jí);
7、若各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果與第一導(dǎo)航路徑的最短距離低于安全距離閾值,則根據(jù)各障礙物的威脅等級(jí),生成臨時(shí)避障方案,并根據(jù)臨時(shí)避障方案生成避障指令;臨時(shí)避障方案包括不同威脅等級(jí)對(duì)應(yīng)的不同避障策略。
8、在其中一個(gè)實(shí)施例中,根據(jù)臨時(shí)避障方案生成避障指令之后,還包括:
9、當(dāng)施工機(jī)器人根據(jù)避障指令完成避障后,獲取施工機(jī)器人的定位;
10、若定位不在第一導(dǎo)航路徑內(nèi),獲取第一導(dǎo)航路徑距離定位最近的路徑點(diǎn);
11、根據(jù)定位和路徑點(diǎn),使用以下公式,計(jì)算定位與第一導(dǎo)航路徑的偏移量:
12、
13、其中,δd為偏移量,(xc,yc)為定位坐標(biāo),(xp,yp)為路徑點(diǎn)坐標(biāo),α為航向敏感系數(shù),θerr為當(dāng)前施工機(jī)器人的朝向與第一導(dǎo)航路徑的切線夾角;
14、若偏移量超過閾值,則根據(jù)定位、施工目標(biāo)位置及平面地圖,生成第二導(dǎo)航路徑;第二導(dǎo)航路徑用于表征施工機(jī)器人從避障后的位置到施工目標(biāo)位置的導(dǎo)航路徑。
15、在其中一個(gè)實(shí)施例中,計(jì)算定位與第一導(dǎo)航路徑的偏移量之后,還包括:
16、若偏移量處于閾值范圍內(nèi),則根據(jù)定位與第一導(dǎo)航路徑的各路徑點(diǎn),生成多條局部路徑;
17、計(jì)算局部路徑對(duì)應(yīng)的總代價(jià),確定總代價(jià)最小的局部路徑為回歸路徑;回歸路徑用于表征施工機(jī)器人從避障后的位置回歸到第一導(dǎo)航路徑的局部路徑。
18、在其中一個(gè)實(shí)施例中,根據(jù)臨時(shí)避障方案生成避障指令,包括:
19、從臨時(shí)避障方案中提取路徑特征;路徑特征包括路徑長(zhǎng)度、路徑最大威脅值、安全裕度和路徑曲率變化均值;
20、根據(jù)路徑特征與預(yù)設(shè)的基礎(chǔ)權(quán)重參數(shù),使用以下公式,計(jì)算路徑優(yōu)化權(quán)重參數(shù):
21、
22、
23、其中,α為路徑優(yōu)化效率權(quán)重,β為路徑優(yōu)化安全權(quán)重,γ為路徑優(yōu)化能耗權(quán)重,α0為基礎(chǔ)效率權(quán)重,rlen為相對(duì)路徑長(zhǎng)度,δk為路徑曲率變化均值,k1為長(zhǎng)度敏感系數(shù),k2、k3為平滑度補(bǔ)償系數(shù),β0為基礎(chǔ)安全權(quán)重,pmax為路徑最大威脅值,savg為路徑平均安全裕度,s0為基準(zhǔn)安全裕度,k4、k5為威脅放大系數(shù),γ0為基礎(chǔ)能耗權(quán)重,為路徑平均速度,k6為能耗敏感系數(shù);
24、根據(jù)路徑優(yōu)化權(quán)重參數(shù),生成多條可行路徑;
25、根據(jù)可行路徑,使用以下公式,計(jì)算對(duì)應(yīng)的路徑綜合總代價(jià):
26、f(n)=α·gl(n)+β·gs(n)+γ·ge(n)+α·h(n)
27、
28、其中,f(n)為路徑綜合總代價(jià),α為路徑優(yōu)化效率權(quán)重,β為路徑優(yōu)化安全權(quán)重,γ為路徑優(yōu)化能耗權(quán)重,gl(n)為路徑長(zhǎng)度代價(jià),gs(n)為安全威脅代價(jià),ge(n)為能量消耗代價(jià),h(n)為啟發(fā)函數(shù),pi為路徑上第i個(gè)節(jié)點(diǎn)的坐標(biāo),pi-1為路徑上第i-1個(gè)節(jié)點(diǎn)的坐標(biāo),di為路徑上第i個(gè)節(jié)點(diǎn)的威脅評(píng)分,dmin(n)為當(dāng)前節(jié)點(diǎn)到最近障礙物的最小距離,σ為安全敏感系數(shù),vi為節(jié)點(diǎn)速度,ki為路徑曲率,θi為坡度角,為能耗系數(shù),pn為當(dāng)前位置的坐標(biāo),pgoal為施工目標(biāo)位置的坐標(biāo),k為威脅修正系數(shù),為當(dāng)前位置到施工目標(biāo)位置的平均威脅值;
29、將路徑綜合總代價(jià)進(jìn)行優(yōu)先級(jí)升序排列,得到最短可行路徑序列;
30、根據(jù)最短可行路徑序列,生成避障路徑,并根據(jù)避障路徑,生成避障指令。
31、在其中一個(gè)實(shí)施例中,對(duì)環(huán)境數(shù)據(jù)進(jìn)行障礙物特征提取處理,獲取各障礙物信息、移動(dòng)軌跡預(yù)測(cè)結(jié)果和威脅等級(jí),包括:
32、對(duì)環(huán)境數(shù)據(jù)進(jìn)行處理,提取各障礙物特征;
33、根據(jù)各障礙物特征,得到各障礙物的信息,并對(duì)各障礙物進(jìn)行軌跡預(yù)測(cè),得到各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果;
34、根據(jù)各障礙物的信息和各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果,使用以下公式,得到各障礙物對(duì)應(yīng)的威脅指數(shù):
35、
36、其中,d為威脅指數(shù),r1為預(yù)設(shè)風(fēng)險(xiǎn)值,d為機(jī)器人與障礙物之間的相對(duì)距離,v為機(jī)器人與障礙物之間的相對(duì)速度,λ為衰減系數(shù),dmin為機(jī)器人與障礙物的最小預(yù)測(cè)距離,ω1為類別權(quán)重,ω2為動(dòng)態(tài)權(quán)重,ω3為距離權(quán)重;
37、根據(jù)威脅指數(shù),得到各障礙物的威脅等級(jí)。
38、在其中一個(gè)實(shí)施例中,對(duì)環(huán)境數(shù)據(jù)中進(jìn)行處理,提取各障礙物特征,包括:
39、將環(huán)境數(shù)據(jù)進(jìn)行時(shí)空對(duì)齊,生成多通道環(huán)境張量;
40、基于改進(jìn)的yolov4網(wǎng)絡(luò),通過卷積層對(duì)多通道環(huán)境張量提取空間特征,生成障礙物邊界框;其中,改進(jìn)的yolov4網(wǎng)絡(luò)為融合多通道時(shí)空輸入的動(dòng)態(tài)門控特征金字塔網(wǎng)絡(luò);
41、根據(jù)障礙物邊界框,提取各障礙物的靜態(tài)特征向量、動(dòng)態(tài)特征向量和上下文特征向量;
42、將靜態(tài)特征向量、動(dòng)態(tài)特征向量和上下文特征向量進(jìn)行融合,使用以下公式,得到各障礙物特征:
43、fobs=σ(β)·fs+(1-σ(β)·[γ·fd+(1-γ)·fc]
44、其中,fbos為各障礙物特征,fs為靜態(tài)特征向量,fd為動(dòng)態(tài)特征向量,fc為上下文特征向量,σ(β)為sigmoid門控權(quán)重,β為環(huán)境動(dòng)態(tài)因子,γ為運(yùn)動(dòng)顯著性系數(shù)。
45、在其中一個(gè)實(shí)施例中,根據(jù)各障礙物特征,得到各障礙物的信息,并對(duì)各障礙物進(jìn)行軌跡預(yù)測(cè),得到各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果,包括:
46、根據(jù)各障礙物特征,通過全連接分類網(wǎng)絡(luò)進(jìn)行障礙物分類處理,得到各障礙物的信息;
47、根據(jù)各障礙物特征,構(gòu)建時(shí)空特征序列;
48、將時(shí)空特征序列輸入改進(jìn)的軌跡預(yù)測(cè)子網(wǎng)絡(luò),通過編碼層提取時(shí)序特征,通過交互感知層建模障礙物間相互作用,通過解碼層預(yù)測(cè)軌跡點(diǎn);
49、根據(jù)時(shí)序特征、障礙物間相互作用和軌跡點(diǎn),輸出各障礙物初始軌跡預(yù)測(cè)結(jié)果;
50、對(duì)初始軌跡預(yù)測(cè)結(jié)果進(jìn)行物理約束修正,輸出各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果。
51、第二方面,本技術(shù)還提供了一種基于深度學(xué)習(xí)的施工機(jī)器人自主導(dǎo)航與避障系統(tǒng),包括:
52、位置與平面地圖獲取模塊,用于獲取施工機(jī)器人當(dāng)前位置、施工目標(biāo)位置以及施工現(xiàn)場(chǎng)的平面地圖;
53、第一導(dǎo)航路徑生成模塊,用于根據(jù)所述平面地圖和所述當(dāng)前位置、施工目標(biāo)位置,生成第一導(dǎo)航路徑;
54、環(huán)境數(shù)據(jù)獲取模塊,用于當(dāng)所述施工機(jī)器人在所述第一導(dǎo)航路徑運(yùn)動(dòng)時(shí),實(shí)時(shí)獲取所述施工機(jī)器人周圍的環(huán)境數(shù)據(jù);
55、障礙物特征提取處理模塊,用于對(duì)所述環(huán)境數(shù)據(jù)進(jìn)行障礙物特征提取處理,獲取各障礙物信息、移動(dòng)軌跡預(yù)測(cè)結(jié)果和威脅等級(jí);
56、避障指令生成模塊,用于若所述各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果與所述第一導(dǎo)航路徑的最短距離低于安全距離閾值,則根據(jù)所述各障礙物的威脅等級(jí),生成臨時(shí)避障方案,并根據(jù)所述臨時(shí)避障方案生成避障指令;所述臨時(shí)避障方案包括不同威脅等級(jí)對(duì)應(yīng)的不同避障策略。
57、第三方面,本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本技術(shù)第一方面的基于深度學(xué)習(xí)的施工機(jī)器人自主導(dǎo)航與避障方法的任一步驟。
58、第四方面,本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)第一方面的基于深度學(xué)習(xí)的施工機(jī)器人自主導(dǎo)航與避障方法的任一步驟。
59、本技術(shù)提供的技術(shù)方案至少包括以下有益效果:
60、獲取施工機(jī)器人的當(dāng)前位置、施工目標(biāo)位置和所處施工現(xiàn)場(chǎng)的平面地圖,并根據(jù)平面地圖和施工機(jī)器人的當(dāng)前位置、施工目標(biāo)位置,生成第一導(dǎo)航路徑,當(dāng)施工機(jī)器人在第一導(dǎo)航路徑上運(yùn)動(dòng)時(shí),同步實(shí)時(shí)獲取其周圍的環(huán)境數(shù)據(jù),然后對(duì)環(huán)境數(shù)據(jù)進(jìn)行障礙物特征提取處理,得到周圍的各障礙物信息、移動(dòng)軌跡的預(yù)測(cè)結(jié)果和對(duì)應(yīng)的威脅等級(jí),若各障礙物的移動(dòng)軌跡預(yù)測(cè)結(jié)果與第一導(dǎo)航路徑的最短距離低于安全距離閾值,則根據(jù)障礙物的威脅等級(jí),生成臨時(shí)避障方案,最后根據(jù)生成的臨時(shí)避障方案生成避障指令。該技術(shù)方案通過深度學(xué)習(xí)實(shí)現(xiàn)對(duì)障礙物的動(dòng)態(tài)評(píng)估,并根據(jù)障礙物的威脅等級(jí)動(dòng)態(tài)生成差異化的避障策略,提高施工機(jī)器人的避障成功率,同時(shí)提高施工效率。