Как сократить расходы на инференс LLM? Кейс компании «Актион»

22.08.2024 |

Что будет на вебинаре?

Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.

Кому будет полезно

• ML- и MLOps-инженерам
• Data Scientists и NLP-инженерам
• CTO и менеджерам ML-проектов

Программа

• Проблемы внешних API и open-source моделей «из коробки»
• Способы оптимизации LLM-моделей на своем сервере
• Сравнение производительности и стоимости токенов после оптимизации LLM
• Инфраструктура Selectel для инференса LLM-моделей
• Кейс «Актион» и Compressa. Оценка окупаемости решения и использование LLM в продакшене
• Ответы на вопросы

Подробности ирегистрация по ссылке

Свежее по теме

Selectel Tech Day 2024

Отчет Selectel: количество DDoS-атак стабильно растет, но их продолжительность в среднем остается на уровне 7 минут

Рост выручки и сохранение лидерства: Selectel отчитался по 1 полугодию 2024 года

«Газинформсервис» и Selectel объединились для усиления защиты SOC

Тематики: Интеграция

Ключевые слова: Selectel, Машинное обучение (ML)