Неудивительно, что музеи активно используют в своей работе инновационные решения. Причем речь идет не только об оцифровке коллекций и виртуальных экскурсиях: следующий шаг – использование искусственного интеллекта для изучения и атрибутирования культурных ценностей.
В России нейросетевые инструменты для музейных исследований разрабатывают в лаборатории «Искусство и искусственный интеллект» Европейского университета (ЕУ) Санкт-Петербурга. Исследовательские инициативы вуза повышают инновационный потенциал России, укрепляют позиции страны в международном научном сообществе и поддерживают стратегические национальные интересы.
Искусственный интеллект в университете используют для решения сложных научных задач, реализуя проекты на стыке разных дисциплин: истории, антропологии, искусствоведения, экономики и социологии. В частности, в лаборатории «Искусство и искусственный интеллект» создали умный сервис для искусствоведов, который уже опробовали в деле. Подробности в нашем материале.
Нечеловеческая скорость
В мире есть две крупнейшие коллекции английских сатирических гравюр XVIII–XIX веков. Самая полная и тщательно атрибутированная находится в Британском музее: это около 26 тыс. изображений с подробными описаниями и перекрестными ссылками.
Вторая по величине коллекция хранится в Эрмитаже, она насчитывает примерно 8000 гравюр. Сотрудники лаборатории «Искусство и искусственный интеллект» доказали, что около 100 из них не имеют аналогов в Британии. Найти уникальные изображения нашим соотечественникам помогла их собственная разработка – сервис, в основе которого лежат алгоритмы с применением как традиционных методов визуального анализа, так и нейросетевых подходов.
Чтобы сравнить две обширные коллекции, нужно было проанализировать 208 млн пар изображений. Если проверять их вручную, затрачивая на каждую пару по 5 секунд, на это ушло бы более 30 лет. ИИ ускорил этот процесс в сотни тысяч раз.
При этом создателям сервиса удалось справиться с дефицитом данных. Столкнувшись с отсутствием готового датасета, команда создала синтетические наборы изображений с помощью генеративных моделей, что позволило обучить алгоритмы без ручной разметки. Эту методику можно применять для работы с другими музейными коллекциями печатных изображений.
Исполнительный директор лаборатории «Искусство и искусственный интеллект» Анастасия Старобыховская рассказала, что команда не остановилась на достигнутом и продолжает работать над развитием сервиса: «Проект, действительно, состоит из нескольких этапов. В первую очередь, перед нами стояла задача проверить, есть ли уникальные гравюры в коллекции Эрмитажа и определить их. Далее идея переродилась в то, что на самом деле это лишь одна из задач, которые хотелось бы решать, но еще хочется делать поиск работ по разным признакам, сравнивать работы (схожие гравюры, например), которые хранятся в разных коллекциях и музеях, искать возможные взаимосвязи между теми или иными гравюрами, а также, конечно, дополнять описание при необходимости. Отсюда и пошло начало создания именно сервиса, который должен помогать изучать и исследовать гравюры».
Культурный код
В сервисе объединили нейросети с классическими алгоритмами компьютерного зрения. Благодаря этому подходу ИИ-ассистент скоро сможет отбирать изображения по определенным признакам, сравнивать экспонаты из разных коллекций и музеев, выявлять возможные взаимосвязи и при необходимости дополнять описательные данные.
Специалисты проекта также разрабатывают инструментарий для более детального анализа гравюр: нейросети сегментируют персонажей, чтобы сопоставлять их на разных изображениях. Когда ИИ достигнет в этом деле совершенства, исследователям будет намного проще определять автора работы, ее сюжет и то, как отдельные произведения связаны друг с другом на смысловом уровне.
«Особенность сервиса — не просто оцифрованный каталог, но и инструменты на базе алгоритмов компьютерного зрения и машинного обучения, которые будут помогать в исследовании, выдвигать гипотезы, например, что за персонаж тут изображен или чьего авторства может быть данная работа, если этой информации нет. Но это больше про будущее, сейчас мы только в начале пути», – говорит Анастасия Старобыховская.
Проект лаборатории «Искусство и искусственный интеллект» Европейского университета наглядно демонстрирует, что искусственный интеллект — это мощный инструмент для гуманитарных исследований. ИИ берет на себя рутину, оставляя за экспертами творческую составляющую научного поиска – интерпретацию результатов и выстраивание теорий. Что, в конечном итоге, способствует не только развитию новых методов изучения искусства, но и сохранению национальных культурных ценностей – важнейшего фундамента исторической преемственности и самобытности России.
