Нейросеть обучили российскому культурному коду
В России представили диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создает изображения и анимацию по текстовым запросам пользователей.
Как рассказали в пресс-службе «Яндекса», нейросеть «понимает российский культурный код — знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок».
Нейросеть интегрирована в мобильное приложение «Шедеврум» и используется для иллюстрирования рекламных объявлений в «Яндекс Бизнесе».
YandexART формирует изображения и анимацию методом каскадной диффузии: сначала нейросеть генерирует картинки и кадры по запросу пользователя, а затем поэтапно насыщает их деталями. По сравнению с предыдущим поколением диффузионной модели новая нейросеть создает более реалистичную и детализированную графику.
В дальнейшем функцией генерации изображений по текстовому описанию с помощью YandexART планируется дополнить «Яндекс Клавиатуру». Их можно будет использовать, например, в качестве фона.
Для улучшения качества изображений разработчики увеличили размер обучающего набора данных в 1,5 раза — до 330 млн картинок с текстовым описанием. Для обучения YandexART отбираются картинки при помощи трех режимов фильтрации. Нейросеть прорабатывает детали лица, что позволяет создавать фотореалистичные портреты. Также в YandexART встроили новый алгоритм распознавания текстов, который помогает лучше понимать запросы пользователей.
«Для улучшения качества генерации используется дообучение с подкреплением. Специалисты компании отсматривают, например, сразу несколько сотен или тысяч созданных с помощью YandexART капибар и отмечают удачные и неудачные изображения. Это позволяет нейросети лучше понять, как именно лучше и правильнее изображать животных, персонажей, объекты, явления», — отметили в пресс-службе «Яндекса».