Цивилизация
Языковая модель от Сбера и SberDevices стала лучшей в мире по пониманию текстов на русском языке. К такому выводу пришли эксперты главного русскоязычного бенчмарка Russian SuperGLUE. Об этом сообщает пресс-служба банка.
Вывод о преимуществе решения от Сбера и SberDevices был сделан в соответствии с результатами тестов для оценки больших текстовых моделей. Эксперты отметили, что модель FRED-T5 (Full-scale Russian Enhanced Denoisers T5) уступает по точности только человеку.
В Сбере отмечают, что компания давно работает с трансформерными моделями — еще в 2019 году были обучены русскоязычные модели ruBERT и ruGPT-2, а в 2020 году при помощи суперкомпьютера Christofari была создана ruGPT-3.
В отличие от моделей семейства GPT, состоящих только из декодирующих блоков трансформера, модель FRED-T5 содержит также кодирующие блоки, что позволяет ей гораздо эффективнее решать различные задачи в области обработки естественного языка, уточнили в компании.
Как отмечает директор Управления экспериментальных систем машинного обучения SberDevices Сергей Марков, ведущие исследовательские центры в области машинного обучения в последние годы создают все более и более крупные нейронные языковые модели.
По его словам, количество параметров самых больших монолитных нейросетей уже перевалило за 500 миллиардов и продолжает расти. Это беспрецедентные в истории человечества вычислительные проекты.
«Но прогресс заключается не только в создании все более огромных нейросетевых монстров, но и в совершенствовании архитектур сетей и методов их обучения. Благодаря этому самые современные модели при том же количестве параметров интеллектуально превосходят своих предшественников. Хорошим примером этого эффекта является нейросеть FRED-T5, которая при сравнительно скромном по нынешним меркам числе параметров стала лидером в понимании русского языка», — добавляет Сергей Марков.
Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются исследователи данных, работающие с русскоязычными нейросетями, поясняют в Сбере.