MTS AI представил обновленную LLM Cotype PRO с низким потреблением вычислительных мощностей

28.08.2024 |

MTS AI представил обновленную LLM Cotype PRO с низким потреблением вычислительных мощностей

MTS AI, один из крупнейших центров развития технологий искусственного интеллекта в России, выпустил обновленную версию своей большой языковой модели для бизнеса Cotype PRO. Новая модель может обработать длинный пользовательский контекст - до 20 страниц, что позволяет выдавать персонализированные и точные ответы при низком потреблении вычислительных мощностей.

Cotype — большая языковая модель, созданная MTS AI специально для работы с корпоративными данными. Она обучена на большом объеме деловой переписки, должностных инструкций, документации и прочих текстов, что обеспечивает высокую экспертизу LLM в этой области и позволяет использовать ИИ в бизнес-процессах. Cotype входит в топ-3 русскоязычных моделей, согласно бенчмарку MERA.

«Увеличенный объем запоминания контекста без потери данных — функция Cotype Pro, которую уже сейчас успешно используется в более чем 10 пилотных проектах корпоративного сектора и госструктур для создания системы сквозного поиска по внутренней документации и базам данных, генерации технических инструкций и корпоративных писем, SEO-оптимизации материалов на сайте и анализа и суммаризации результатов встреч» — сказал Сергей Пономаренко, старший менеджер LLM-продуктов MTS AI.

Cotype PRO была создана с помощью уникального двухэтапного метода дообучения и собственных бенчмарков, разработанных специалистами MTS AI. Такой подход позволил достичь высокого качества работы большой языковой модели, которая работает всего на одной видеокарте NVIDIA A100, в отличие от конкурентных решений, которым необходимо 4 видеокарты.

Большое контекстное окно дает языковой модели Cotype PRO возможность за один раз обрабатывать значительный объем информации. То есть пользователь может загрузить договор или другой документ на 20 страниц — это примерно равно объему повести Н.В. Гоголя «Шинель». Благодаря чему, модель лучше понимает, о чем идет речь, и дает более точные ответы, что крайне важно, когда идет речь об анализе корпоративных документов и регламентов.