Группа исследователей из Калифорнийского университета в Беркли построила двуногого робота, который сам учиться ходить, используя самостоятельное обучение. 

Работа заключалась в создании робота с парой ног соединенных с небольшой удерживающей рамой. В настоящее время робот выполняет свои задачи привязанным к раме, которой руководит один из исследователей. 

По сравнению с другими роботами, такими как Boston Dynamics, робот кажется примитивным. Но робот, которого команда назвала Cassie, представляет собой передовую технологию нового типа, в которой робот учится ходить самостоятельно, вместо того, чтобы учить его с помощью прямого программирования или мимикрии.

Обучение с подкреплением демонстрируют люди, младенцы учатся ходить, пробуя новые движения. Они не понимают весь процесс сразу, но запоминают шаги, которые приводят к ходьбе. А затем они опираются на то, что узнали, добавляя дополнительную информацию, которая в конечном итоге приводит к правильной ходьбе. Но они не останавливаются на достигнутом; они продолжают учиться и, поступая так, становятся лучше. Со временем они осваивают новые приемы, такие как бег и прыжки.

Чтобы помочь роботу научиться ходить таким же образом, исследователи начали с моделирования робота в виртуальном мире. В моделировании робот был обучен с помощью информации, описывающей такие цели, как прямая ходьба: ИИ мог запоминать и использовать то, что было изучено. Моделирование позволило роботу научиться ходить, не повредив фактическое оборудование, и ускорило процесс.

Как только робот в симуляции научился ходить, исследователи передали его знания Cassie, который использовала их, чтобы ходить, как малыш. И, как малыш, Cassie продолжал учиться. Он научился не падать при небольшом скольжении или вставать, когда его толкают сбоку. Он также научился компенсировать ущерб, когда два ее двигателя были повреждены.