18 августа 2020, 12:20

Microsoft и MIT создали ИИ-алгоритм для поиска взаимосвязей между предметами искусства

Проект MosAIc помогает найти неочевидные сходства между работами из разных стран и эпох. Разработка пригодится не только в искусствоведении, но и в любой сфере, где может быть полезен поиск сходных факторов: гуманитарных науках, медицине и других.

Исследователи из Microsoft и Массачусетского технологического института (MIT) разработали систему MosAIc для поиска взаимосвязей между предметами искусства из различных культур и эпох. MosAIc использует глубокое обучение (deep learning) для анализа базы изображений предметов искусства, представленных в Музее Метрополитен (Нью-Йорк) и национальном музее Амстердама Рейксмузеум.

Целью ученых было создать алгоритм, который будет подбирать предметы искусства, похожие не только по цвету и стилю, но и по значению и теме. В результате система анализирует не только контуры и цвета на изображении, но и позволяет учитывать при поиске культуру, к которой принадлежит предмет, а также материал, из которого он изготовлен. Таким образом с её помощью можно отследить процесс культурного обмена между различными эпохами и территориями.

Например, на запрос «какой музыкальный инструмент больше всего похож на это изображение бело-голубого платья?» к домашнему пальто, которое носили богатые голландцы в XVII веке, система предложила бело-голубую фарфоровую голландскую скрипку. Обе картинки не только похожи по узору и форме, они также являются наглядной демонстрацией обмена между голландскими и китайскими культурами — об этом говорит использование голландцами фарфора.

Проект MosAIc: Microsoft и MIT создали ИИ-алгоритм для поиска взаимосвязей между предметами искусства

В создании алгоритма команда использовала новую структуру данных для поиска изображений, называемую «условным деревом KNN (K-nearest neighbors, k-ближайших соседей)», которая группирует похожие изображения вместе в древовидную структуру. При поиске совпадений система начинает со «ствола» дерева и следует за наиболее перспективным ответвлением, пока не найдёт самое близкое изображение.

Исследователей вдохновила выставка «Рембрандт и Веласкес» в Рейксмюсеуме, в рамках которой картины художников, объединённые незаметными на первый взгляд общими чертами, выставлялись парами. Это распространённое явление в искусстве, когда в произведениях из разных периодов времени и частей света можно проследить схожие черты, ставшие результатом культурного обмена. Однако, человеку было бы невозможно проанализировать миллионы картин за тысячи лет и найти в них параллели в темах, мотивах и визуальных стилях.

Разработка пригодится не только в искусствоведении, но и в любой сфере, где может быть полезен поиск сходных факторов: гуманитарных науках, медицине и других. Протестировать, как работает MosAIc , можно тут.