Разработчик игры Pokémon Go, компания Niantic Spatial, объединилась со стартапом Coco Robotics, который внедряет роботов для доставки «последней мили» в ряде городов США и Европы. Ему предоставили данные игроков для обучения своего парка роботов.
Приложение Pokémon Go с дополненной реальностью в своё время позволило собрать геоинформационные данные со смартфонов огромного числа игроков по всему миру. Так, в 2024 году, спустя восемь лет после запуска, игра по-прежнему привлекала более 100 млн игроков. Теперь Niantic Spatial использует этот массив данных — изображения городских достопримечательностей с высокоточными метками местоположения, снятые на телефоны, — для создания модели мира.
Последний продукт компании — модель, которая может определять местоположение на карте с точностью до нескольких сантиметров, основываясь на нескольких снимках зданий или других достопримечательностей в поле зрения. Компания хочет использовать её, чтобы помочь роботам более точно ориентироваться в местах, где GPS ненадёжен.
В рамках первого масштабного испытания своей технологии Niantic Spatial объединилась с Coco Robotics. «Все думали, что будущее за дополненной реальностью, что появятся очки дополненной реальности. А потом роботы стали целевой аудиторией», — говорит Брайан МакКлендон, технический директор Niantic Spatial.
Coco Robotics использует около 1000 роботов размером с транспортировочный кейс — способных перевозить до восьми больших пицц или четырёх пакетов с продуктами — в Лос-Анджелесе, Чикаго, Джерси-Сити, Майами и Хельсинки. По словам генерального директора Зака Раша, роботы уже совершили более полумиллиона доставок, преодолев несколько млн км в разных погодных условиях.
Чтобы конкурировать с курьерами-людьми, роботы Coco, которые передвигаются по тротуарам со скоростью около 8 км/ч, должны быть максимально надёжными. «Лучший способ выполнить свою работу — это прибыть точно в назначенное время», — говорит Раш. Проблема, с которой сталкивается Coco, заключается в том, что она не может полагаться на GPS, который подводит в городах, потому что радиосигналы отражаются от зданий. «Мы осуществляем доставку во многих густонаселенных районах с высотками, подземными переходами и автомагистралями, и именно в этих районах GPS практически никогда не работает», — отмечают в стартапе.
«Визуальное позиционирование — не очень новая технология. Но очевидно, что чем больше камер у нас есть, тем лучше становится результат», — говорит Конрад Венцель из ESRI, компании, разрабатывающей программное обеспечение для цифрового картографирования и геопространственного анализа.
Niantic Spatial обучила свою модель на 30 млрд изображений, снятых в городских условиях. В частности, они сгруппированы вокруг «горячих точек» — мест, которые служили важными локациями в играх Niantic. «У нас было более миллиона мест по всему миру, где мы могли точно определить ваше местоположение. Мы знаем, где вы стоите, с точностью до нескольких сантиметров, и, что наиболее важно, куда вы смотрите», — говорит МакКлендон.
В итоге для каждого из этих миллионов местоположений у Niantic Spatial есть тысячи изображений, сделанных примерно в одном и том же месте, но с разных ракурсов, в разное время суток и при разных погодных условиях. Каждое из этих изображений сопровождается подробными метаданными, которые точно указывают, где в пространстве находился телефон в момент съёмки, включая направление взгляда, положение, движение, скорость, направление движения и многое другое.
Компания использовала этот набор данных для обучения модели, которая точно предсказывает местоположение телефона. Роботы Coco, оснащённые четырьмя камерами, теперь будут использовать модель, чтобы попытаться определить, где они находятся и куда направляются. Камеры роботов расположены на уровне бедра и направлены во все стороны одновременно, поэтому их точка обзора немного отличается от точки обзора игрока в Pokémon Go, но адаптация данных была несложной, говорит Раш.
В Niantic Spatial утверждают, что это позволит роботам занимать правильные позиции для посадки пассажиров возле ресторанов, не мешая никому, и останавливаться прямо у двери клиента, а не в нескольких шагах, как это могло происходить раньше.
По словам Ханке, Niantic Spatial создаёт первые элементы того, что он называет «живой картой»: сверхдетальную виртуальную симуляцию мира, которая меняется по мере обновления локаций. Когда роботы от Coco и других компаний перемещаются по миру, они будут предоставлять новые источники картографических данных, которые будут поступать во все более подробные цифровые копии мира.
По мнению Ханке и МакКлендона, карты не только становятся более детализированными, но и должны быть машиночитаемыми. Таким образом, они должны стать больше похожими на путеводители, полные информации, которую люди принимают как должное. Такие компании, как Niantic Spatial и ESRI, хотят добавить описания, которые сообщают машинам, на что они на самом деле смотрят, при этом каждый объект должен быть помечен списком своих свойств.
В 2024 году инженеры Niantic представили нейросеть MicKey, которая может сравнивать объекты, искать в них закономерности и понимать, что ей показывают один и тот же объект, но под разными углами. Тогда компания отмечала, что в некоторых задачах нейросеть справляется даже быстрее человека.
