22 апреля завершился открытый тест команды ботов OpenAI Five. Искусственный интеллект провел более 7 тыс. матчей против реальных игроков и уступил лишь в 42 из них. Рассказываем, как человечество дало бой машинам в Dota 2.
Как прошел тест?
OpenAI открыли доступ к играм с ботами всем желающим 19 апреля — через пять дней после того, как OG уступила ИИ в шоу-матче. Пользователи могли сыграть как вместе с ИИ, так и против него. В обоих случаях действовали особые правила и ограничения.
Во-первых, на стадии драфта были доступны только 17 героев. Во-вторых, в лавке невозможно было приобрести артефакты, которые создают иллюзии или призывают юнитов — Руну Иллюзии также отключили. В таких же условиях OpenAI Five проиграла paiN Gaming и составу китайских ветеранов Dota 2 на The International 2018.
Для соревновательного режима разработчики подготовили таблицу лидеров, куда попадали все участники теста. Первые места отдавали командам с самой долгой серией побед. Взять верх над ИИ сумели только 23 состава.
Кто победил ботов?
ИИ победил в первых 570 матчах, пока не наткнулся на профессиональную команду из Таиланда ALPHA Red. Коллектив стал первым, кто одолел OpenAI — матч длился 45 минут. Позже ботов обыграли Winstrike Team и микс Никласа Wagamama Хогстрома.
Лучше всех выступил русскоязычный микс игроков из топ-1500 ладдера. К концу тестирования коллектив набрал серию из десяти побед. Залогом их успеха стал продуманный драфт, во время которого игроки заставляли ботов брать более пассивных героев. Подробнее об этой стратегии можно прочитать в нашем материале.
В таблице лидеров также долгое время были указаны игроки, которые сумели обмануть систему в лобби и в одиночку расправиться с OpenAI. Как именно им удалось победить ботов всего за несколько минут — неизвестно. Пользователь 4000100000, провернувший этот фокус, не рассказал нам всех подробностей. В итоге разработчики ИИ убрали соло-игроков из общего рейтинга.
Человечество в безопасности?
22 апреля OpenAI раскрыла полную статистику открытого тестирования. За три дня боты провели более 42 тыс. матчей, 7 215 из которых — в соревновательном режиме, где боролись только против реальных людей. Команда ИИ победила в 99,4% встреч и уступила лишь в 42 играх.
Несмотря на столь внушительные результаты, разработчики сообщили, что пока не станут продолжать эксперименты в Dota 2. Они отметили, что с каждым патчем ботам придется заново учиться играть в новых условиях, а значит открытые тесты потеряют смысл. Студия добавила, что OpenAI может вернуться в «Доту», если найдется более эффективный метод обучения ИИ, а пока киберспортсмены могут спать спокойно.