Перейти к основному содержанию
Реклама
Прямой эфир
Мир
В Италии назвали итоги саммита АТЭС катастрофой для Европы
Мир
Путин отметил важность скорости мысли для победы
Мир
Лавров указал на преклонение Зеленского перед прахом нацистских преступников
Мир
В ЕП указали на равные расходы Европы на энергоресурсы России и помощь Украине
Мир
Лавров заявил о намерении России защищать права русскоязычных на Украине
Мир
Посольство РФ отвергло обвинения Дании в подготовке покушения на Киевстонера
Общество
Жительница Луганска рассказала о ночной атаке БПЛА на поселок Юбилейное
Интернет и технологии
Владельцы каналов в «Максе» смогут делиться постами в историях
Общество
В Роскачестве перечислили признаки качественного молока
Мир
Трамп назвал Си Цзиньпина великим человеком
Мир
Лавров назвал Россию надежным причалом для страждущих
Мир
Президент Чехии выразил опасение стать «законной целью» России
Спорт
«Ростов» разгромил «Крылья Советов» в матче 15-го тура РПЛ
Мир
Путин объяснил смысл выражения «Москва — Третий Рим»
Мир
В посольстве РФ обвинили Румынию в нарушении прав российских спортсменов
Происшествия
Ребенок на цепи и гибель семьи от угарного газа. Главные происшествия 20 ноября
Мир
Экс-президента Бразилии Болсонару госпитализировали из-за сильной боли в животе
Общество
Путин описал управление Россией словами императора Александра II

Российские ученые создали новые методы сжатия нейросетей

0
Фото: РИА Новости/Владимир Трефилов
Озвучить текст
Выделить главное
Вкл
Выкл

Команда Yandex Research совместно с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического университета имени короля Абдаллы в Саудовской Аравии (KAUST) разработала новые методы сжатия больших языковых моделей. Об этом сообщила пресс-служба «Яндекса».

Как подчеркнули разработчики, новые алгоритмы позволяют бизнесу сократить расходы на вычислительные ресурсы до восьми раз. Решение предполагает сокращение числа необходимых для работы процессоров, давая возможность запускать нейросеть на устройствах с меньшей вычислительной мощностью. Оно ориентировано на корпорации, стартапы и исследователей, которые запускают нейросети на своём оборудовании.

Решение включает два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.

Эффективность решения оценивали на популярных моделях с открытым исходным кодом: Llama 2, Llama 3, Mistral и других. Качество ответов оригинальной и сжатой версии нейросети сравнивали на англоязычных бенчмарках — тестах, которые состоят из наборов вопросов из разных областей знаний. По результатам испытаний выяснилось, что метод сохраняет в среднем 95% качества ответов нейросети. Для сравнения, другие популярные инструменты сохраняют для тех же моделей от 59% до 90% качества.

Код опубликован в открытом доступе на GitHub. Специалисты также могут скачать уже сжатые с помощью новых методов популярные модели с открытым исходным кодом. Кроме того, исследователи Yandex Research выложили обучающие материалы, которые помогут разработчикам дообучить уменьшенные нейросети под свои сценарии.

Научная статья экспертов Yandex Research о методе сжатия AQLM была включена в программу международной конференции по машинному обучению ICML. Статья была подготовлена совместно с исследователями из Института науки и технологий Австрии (ISTA) и экспертами ИИ-стартапа Neural Magic.

Читайте также
Прямой эфир