Искусственный интеллект разделился на две роли "туриста" и "гида" с разными формами восприятия. Результаты приводит ресурс arXiv.org.
Программисты Facebook погрузили двух разных агентов нейросети Talk The Walk в искусственно воссозданный Нью-Йорк. "Турист" ориентировался на изображения города по фотографиям в формате 360 градусов, а "гид" видел обстановку в виде двухмерной карты. Им предстояло общаться, чтобы выполнить цель.
По задумке создателей, виртуального путешественника помещали в произвольное место на территории района "Адская кухня". Он связывался с "гидом" и спрашивал дорогу к точке назначения, описывая местность. Второй агент, напротив, знал, как пройти в нужную локацию, однако не располагал данными о местонахождении подопечного. Такая система позволила впервые совместить виртуальное восприятие, выполнение действий и диалог в интерактивной форме.
Разработчики Talk The Walk обратились к услугам волонтеров, используя сервис Amazon Mechanical Turk. Реальных людей также заставили общаться в роли туристов и гидов, чтобы искать дорогу. Facebook получил около 10 тысяч результативных диалогов. В среднем, участники эксперимента выполняли 44 действия и обменивались 8-9 фразами.
Программисты также задействовали в нейросети собственные алгоритмы Masked Attention for Spatial Convolution. Он выявлял в предложениях условных гидов ключевые слова и выделял самые важные. С этим механизмом Talk The Walk начал работать в два раза эффективнее. Разработчики заметили, что система быстрее добивается успеха, если гид работает интерактивно, а не использует заготовленные сборники.
Инженеры отмечают, что их систему можно внедрять в бортовые компьютеры беспилотных автомобилей и навигаторов, если GPS не работает. Кроме того, в будущем роботы могут стать гидами, указывая дорогу реальным путешественникам. В Facebook верят, что их методы позволят науке быстрее развивать технологии искусственного интеллекта.
