Перейти к основному содержанию
Реклама
Прямой эфир
Происшествия
Средства ПВО за ночь сбили 293 дрона над Калужской областью
Мир
МВФ оценил дефицит финансирования Украины в 2027 году в $32–34 млрд
Мир
В Ормузском проливе после атаки произошло возгорание танкера
Происшествия
В Алтайском крае 31 населенный пункт остался без света из-за аварии на ЛЭП
Мир
Си Цзиньпин встретился с премьер-министром Канады в преддверии саммита АТЭС
Мир
В Токио заявили о якобы нарушении самолетами РФ воздушного пространства Японии
Армия
Российские десантники заняли опорный пункт ВСУ на ореховском направлении
Происшествия
Три человека погибли при столкновении двух автомобилей в Ингушетии
Мир
В Гамбурге свидетель описал арендаторов яхты для подрыва «Северных потоков»
Происшествия
Силы ПВО сбили более 50 беспилотников при атаках на промзоны Уфы и Салавата
Мир
Вэнс исключил затягивание войны с Ираном более чем на два года
Мир
В Италии оппозиция призвала заблокировать сайт «Миротворец»
Общество
Умерла мать основателя группы «Ласковый май» Валентина Кузнецова
Мир
Посол КНР в РФ прокомментировал предстоящую встречу Си Цзиньпина и Путина на АТЭС
Мир
Болгария добилась исключения двух российских банков из санкционного списка ЕС
Мир
Лавров рассказал о нецензурной оценке Саакашвили со стороны Стубба
Общество
Адвокат предупредил о рисках для руководителей после продажи бизнеса
Мир
Вэнс заявил об отсутствии нужды у американцев строить бункеры

Новый алгоритм снизит потребность нейросетей в мощностях дата-центров

0
EN
Фото: Global Look Press/Sergey Elagin
Озвучить текст
Выделить главное
Вкл
Выкл

Специалисты МФТИ создали алгоритм HARP, сжимающий языковые модели практически без потери точности. Технология вдвое ускоряет работу ИИ-систем и снижает потребность в вычислительных мощностях и памяти дата-центров. Алгоритм протестировали на языковых моделях Llama и Qwen. При максимально жестком сжатии ошибка сократилась на 15%. HARP и уже сжатые с его помощью нейросети выложили в открытый доступ.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.

Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.

Подробнее о возможностях алгоритма в условиях больших нагрузок на ЦОД читайте в эксклюзивном материале «Известий»:

Невыносимая легкость бита: метод «упаковки» нейросетей снизит нагрузку на дата-центры

Читайте также
Прямой эфир