Как сделать AR-спектакль для бренда с мировым именем: кейс LikeVR

Идея AR-спектакля

В 2019 году к нам обратилось агентство Publicis Emil с запросом о создании приложения с дополненной реальностью для клиента Mercedes-Benz. Приложение должно было стать одним из элементов презентации нового автомобиля Mercedes-Benz A-Класса. Агентство предложило идею создания уникального иммерсивного AR-спектакля.

На тот момент мы вели несколько проектов, в том числе проект для РЖД с 30 активностями в дополненной реальности с применением object tracking от AR kit.

Object tracking — это определение местоположения объекта во времени с помощью камеры устройства и наложение на этот объект требуемой графики/видео в дополненной реальности. Это был проект передвижного выставочно-лекционного комплекса РЖД. Проще говоря — поезд, курсирующий по стране и рассказывающий историю этих самых железных дорог.

МегаФон ПроБизнес

Получите Кешбэк 100% за запуск рекламы с МегаФон Таргетом!

Узнать больше >>

Реклама. ПАО «МегаФон». ИНН 7812014560. ОГРН 1027809169585

В ходе реализации этого проекта мы наработали достаточные компетенции в сфере object tracking.

Идея для Mercedes

Пользователь с помощью дополненной реальности видит на месте реального автомобиля фотореалистичную 3D-модель такого же размера с выбранной им в приложении конфигурацией. Это позволит нативно демонстрировать те изменения, которые вносит пользователь, выбирая в конфигураторе нужную комплектацию.

Мы предложили разработать приложение-конфигуратор с возможностью показать опции комплектации (варианты кузова, цвета, дисков), голосовым вводом, симуляцией человеческого общения, контактом с пользователем, встроенной аналитикой.

В интерфейсе приложения происходит интерактивный спектакль. Интерфейс похож на мультимедиа панель автомобиля: во время использования приложения с пользователем говорит диктор, в беззвучном режиме речь дублируется в формате мессенджера, в качестве интерактива — всплывающие иконки, фото и видео.

Референсом для заказчика послужили Apple park AR и наш кейс для РЖД. Концепция была согласована заказчиком, и мы приступили к работе.

Цели и задачи проекта

Заказчик хотел презентовать новый автомобиль Mercedes-Benz A-Класса с использованием технологии дополненной реальности в формате иммерсивного представления. Каждый пользователь должен был получить персонализированный опыт взаимодействия с автомобилем с демонстрацией достоинств модели.

Одной из задач была разработка мобильного приложения для планшета с дополненной реальностью. Также необходимо было создать фотореалистичный рендер 3D-модели, накладываемый поверх автомобиля, чтобы у пользователя был полноценный опыт взаимодействия как будто с настоящим объектом. Для этого мы добавили влияние освещения, отражений пространства автомобильного салона, свет фар.

ЦА проекта — посетители флагманского салона продаж Mercedes-Benz на Ленинградском проспекте в Москве. Реализация проекта заняла 2,5 месяца.

Как строилась работа над созданием AR-спектакля

После согласования концепции мы приступили к работе: подготовили контент, трёхмерную графику, UI, механику с object tracking, конфигуратор, встроили голосового помощника, протестировали. Всё с ходу заработало, на месяц раньше сдали проект и ушли в закат.

Это, конечно, шутка.

Так как мы думали, что обладаем наработанной экспертизой для реализации проекта, то в качестве платформы выбрали AR Foundation и приступили к разработке.

К концу июля (половина срока реализации проекта) был готов контент и функционал, собрано приложение. На тестах лучший результат выглядел так:

Поскольку распознавание автомобиля длилось очень долго — 20 секунд, было принято решение привлечь к работе в команде старшего разработчика.

Главный вопрос, который перед нами стоял: «Почему технология, работающая на другом проекте, не работает здесь?». Мы провели брейншторм и выработали гипотезы. Обычно object tracking — тривиальная задача, если объекты маленькие или контрастные, имеют выразительные детали.

Наш объект — большой, это автомобиль. Глянцевый кузов, стекла... Камера могла зацепиться только за колеса, молдинги, решётку. Этого было мало для качественного object tracking. Нам разрешили добавить наклейки на кузов, что облегчило задачу.

Таким образом были выдвинуты требования к object tracking:

• распознавание больших и очень больших объектов;
• высокая скорость распознавания, чтобы клиент не потерял желание воспользоваться решением из-за долгого времени ожидания;
• стабильность трекинга (модель объекта должна ровно стоять на месте, когда пользователь двигается вокруг неё, не плавать, не трястись);
• отсутствие дрейфа модели;
• минимальная нагрузка на процессор (поскольку помимо трекинга были задачи по фотореалистичному рендеру, ui).

Дальше нужно было выбрать правильную платформу. Для Unity, на котором осуществлялась разработка, существует большое количество SDK с поддержкой object tracking. Мы рассматривали:

• Vuforia;
• EasyAR;
• VoidAR;
• AR Foundation;
• ARkit;
• Wikitude.

Команда протестировала все решения для поиска наиболее оптимального, которое бы соответствовало всем критериям для object tracking нестандартного большого объекта. Этим решением стало ARkit от Apple.

У остальных платформ низкая скорость распознавания объекта, тряска модели в дополненной реальности, высокая нагрузка на процессор, невозможность распознавания объектов, либо все вместе взятое.

ARkit же обеспечивал высокую скорость распознавания, стабильный трекинг, низкую нагрузку на процессор. А как отсканировать огромный объект — нам нужно было придумать самим.

Как отсканировать автомобиль и другие трудности

Основными проблемами при создании приложения были сканирование большого нестандартного объекта и длительность распознавания.

Для сканирования был использован сканер от Apple (Apple ARkit scanner), к которому прилагаются качественные гайдлайны. Среди рекомендаций по сканированию было использование самого мощного устройства из доступных. Сканируемый объект должен помещаться на поверхность стола. На самом деле мы искали хитрости — как сделать лучше, не следуя всем гайдлайнам, поскольку наша задача не удовлетворяла заданным требованиям (помним про огромный объект для сканирования — автомобиль).

Команда проекта пришла к выводу, что не обязательно сканировать на самое мощное устройство, поскольку конечной задачей является сбор такого количества точек, при котором распознавание объекта происходит быстрее всего (в зависимости от мощности устройства облако точек получается очень насыщенным или очень бедным).

В итоге мы сканировали на IPhone X вместо IPhone XS. А также, everything is table if you are brave enough — так мы разрушили миф о том, что можно сканировать только небольшие предметы.

Так мы создали такой скан 3D-модели, который распознавался за 4–5 секунд.

Результаты разработки иммерсивного AR-спектакля Mercedes

Приложением с дополненной реальностью воспользовались около 150 посетителей автосалона (65% — мужчины). По словам заказчика, конверсия в полное прохождение сценария составила около 90%.

Проект позволяет «здесь и сейчас» создать нужную комплектацию машины без необходимости ездить в другие салоны, чтобы посмотреть подходящую модель. Можно создать комплектацию «мечты» прямо на месте и заказать автомобиль в приложении.

Приложение в формате иммерсивного спектакля предлагает разные опции комплектации в зависимости от пола, увлечений и предпочтений пользователя и заменяет реального продавца.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.