養(yǎng)過(guò)寵物的人都知道，動(dòng)物是非常敏捷的。他們能夠做的一些事情非常令人印象深刻。伯克利伯克利人工智能研究 (BAIR) 實(shí)驗(yàn)室的一組研究人員正試圖教機(jī)器人像動(dòng)物一樣移動(dòng)?？茖W(xué)家們表示，他們已經(jīng)提出了一個(gè)通過(guò)模仿動(dòng)物來(lái)學(xué)習(xí)機(jī)器人運(yùn)動(dòng)技能的框架。

該框架使用記錄的動(dòng)物參考運(yùn)動(dòng)剪輯，使用強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練控制策略，使機(jī)器人能夠模仿現(xiàn)實(shí)世界中的運(yùn)動(dòng)。通過(guò)為系統(tǒng)提供不同的參考動(dòng)作，該團(tuán)隊(duì)可以訓(xùn)練四足機(jī)器人執(zhí)行各種敏捷行為。

機(jī)器人學(xué)習(xí)的行為范圍從快速步行門到動(dòng)態(tài)跳躍和轉(zhuǎn)彎。機(jī)器人的策略最初在模擬環(huán)境中進(jìn)行訓(xùn)練，然后使用潛在空間適應(yīng)技術(shù)將訓(xùn)練轉(zhuǎn)移到現(xiàn)實(shí)世界。該技術(shù)可以使用來(lái)自真實(shí)機(jī)器人的有限數(shù)據(jù)量有效地調(diào)整策略。

科學(xué)家表示，該框架具有三個(gè)主要組成部分，包括運(yùn)動(dòng)重定向、運(yùn)動(dòng)模仿和領(lǐng)域適應(yīng)。使用給定參考運(yùn)動(dòng)的第一步是創(chuàng)建運(yùn)動(dòng)重新定位階段圖，將運(yùn)動(dòng)從原始動(dòng)物的形態(tài)重新定位到機(jī)器人形態(tài)。下一步是運(yùn)動(dòng)模仿階段，并使用重新定位的參考運(yùn)動(dòng)來(lái)訓(xùn)練在模擬環(huán)境中模仿運(yùn)動(dòng)的策略。最后一步是域適應(yīng)階段，通過(guò)樣本有效的域適應(yīng)過(guò)程將策略從模擬轉(zhuǎn)移到真實(shí)機(jī)器人。

該團(tuán)隊(duì)指出，模擬器通常只提供對(duì)現(xiàn)實(shí)世界的粗略近似。因此，在模擬中訓(xùn)練的策略在現(xiàn)實(shí)世界中通常表現(xiàn)不佳。轉(zhuǎn)移策略將模擬交易到現(xiàn)實(shí)世界，該團(tuán)隊(duì)使用樣本高效的域適應(yīng)技術(shù)使策略適應(yīng)現(xiàn)實(shí)世界，只需在真實(shí)機(jī)器人上進(jìn)行少量試驗(yàn)。該技術(shù)能夠適應(yīng)最初表現(xiàn)不佳的場(chǎng)景，該場(chǎng)景導(dǎo)致機(jī)器人跌倒到機(jī)器人穩(wěn)定的場(chǎng)景中。結(jié)果是一個(gè)更快、更流暢的移動(dòng)機(jī)器人。