Перейти к основному содержанию
Реклама
Прямой эфир
Мир
Сенаторы-республиканцы предложили выделить Украине $129 млн
Мир
МВФ оценил дефицит финансирования Украины в 2027 году в $32–34 млрд
Мир
В Ормузском проливе после атаки произошло возгорание танкера
Происшествия
В Алтайском крае 31 населенный пункт остался без света из-за аварии на ЛЭП
Мир
Си Цзиньпин встретился с премьер-министром Канады в преддверии саммита АТЭС
Мир
В Токио заявили о якобы нарушении самолетами РФ воздушного пространства Японии
Армия
Российские десантники заняли опорный пункт ВСУ на ореховском направлении
Мир
Папе римскому Льву XIV попали в глаз брошенными из толпы четками
Происшествия
Три человека погибли при столкновении двух автомобилей в Ингушетии
Мир
В Гамбурге свидетель описал арендаторов яхты для подрыва «Северных потоков»
Мир
Вэнс исключил затягивание войны с Ираном более чем на два года
Мир
В Италии оппозиция призвала заблокировать сайт «Миротворец»
Общество
Умерла мать основателя группы «Ласковый май» Валентина Кузнецова
Мир
Посол КНР в РФ прокомментировал предстоящую встречу Си Цзиньпина и Путина на АТЭС
Мир
Болгария добилась исключения двух российских банков из санкционного списка ЕС
Мир
Лавров рассказал о нецензурной оценке Саакашвили со стороны Стубба
Мир
Поверенный в делах Украины в США заявил об ограничениях работы Starshield для ВСУ
Мир
Ле Пен намерена прекратить помощь Украине в случае избрания президентом Франции

Новая разработка «Яндекса» ускорит обучение нейросетей

0
Фото: ИЗВЕСТИЯ/Константин Кокошкин
Озвучить текст
Выделить главное
Вкл
Выкл

«Яндекс» разработал библиотеку YaFSDP, предназначенную для ускорения обучения больших языковых моделей. Как сообщается в пресс-релизе компании, сервис уже доступен для разработчиков.

Библиотека подходит для обучения всех языковых моделей, включая модели с открытым исходным кодом. В компании также отметили, что она применима и для нейросетей, генерирующих изображения. YaFSDP позволяет сократить время обучения до 25% в зависимости от параметров и архитектуры модели. Кроме того, она позволяет снизить потребление ресурсов графических процессоров (GPU) до 20%.

Как пояснили в компании, одна из сложностей в обучении больших языковых моделей — это недостаточная загрузка каналов коммуникации между графическими процессорами. YaFSDP это решает. Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет.

Читайте также
Прямой эфир