“Овај рад започели смо са једноставном идејом - да направимо систем који омогућавароботима да користе безброј онлајн видеа са инструкцијама како би научили комплексне вештине. Другим речима, када роботу дамо видео у коме човек нешто демонстрира, желимо да он обави исти задатак”, рекао је за TechXplore Вејкун Пенг, коаутор пројекта и стручњак Националног универзитета у Сингапуру.
Док су раније студије користиле технике учења имитацијом помоћу видеа, у овом случају то је рађено са специфичним снимцима у којима људи обављају задатке у истом окружењу као и робот.
Софтверски оквир који су развили Пенг и његове колеге дизајниран је да омогући роботу да имитира учење пратећи видео са инструкцијама, па тако гледајући видео на коме је приказано како се везује кравата може да учини исто. Њихов приступ има три компоненте назване Real2Sim, Learn@Sim и Sim2Real. Прва је централна и најважнија.
„Real2Simпрати кретање објекта у видеу с инструкцијама и имитира исти покрет на моделу у симулацији“, рекао је Пенг.
Након што ова компонента одради посао, Learn@Sim учи тачке савијања и постављања што омогућава роботу да изведе исту акцију.
"Након тога укључују се прави робот са две руке и ради трећа компонента”, рекао је Пенг.
Он и његове колеге верују да овај приступ може да се примени и на друге задатке. Студија је тренутно објављена на препринт порталу arXiv и чека рецензију стручњака.
Погледајте и: