Перейти к основному содержимому

Заопенсорсили YaFSDP

·168 слов·1 минута
Оригинал опубликован в Telegram

Я очень люблю открытость не только в общении, но и в создаваемых решениях. Классно, когда про придуманные решения рассказывают на конференциях или митапах, а еще лучше, если выкладывают в opensource.

Моя платформа для блога также в опенсорсе. Пока у этой платформы только один пользователь — и я его ежедневно вижу в зеркале. Но лиха беда начало! :)

Очень круто, что Яндекс не только делает классные штуки, но и делится ими с сообществом. ClickHouse, CatBoost, YDB, YTsaurus и этот список можно продолжать и дальше.

Сегодня выложили алгоритм YaFSDP для ускорения процесса обучения больших языковых моделей. YaFSDP родился в процессе обучения нашей генеративной модели YandexGPT 3.

YaFSDP позволяет съэкономить затраты на оборудование, что особенно важно для стартапов и научных проектов. А любая экономия ресурсов приводит к дополнительному толчку в развитии нейронных сетей и больших языковых моделей, которые де-факто стали основой всех умных устройств и помощников.

Можно не разбираться в деталях, но вы просто полистайте пост на хабре. Выглядит фундаментально. Так и есть на самом деле :)