В прошлых постах разобрали,
что такое ML,
какие бывают модели,
жизненный цикл и
матрицу рисков. Но осталось два важных вопроса: кто это всё делает и как понять, что работает. Сегодня об этом.
Кто есть кто в ML-команде
-
Data Scientist исследует данные, строит модели, подбирает признаки и алгоритмы. Отвечает за качество на валидации. С ним мы обычно начинаем и без него в проекте не обойтись.
- ML Engineer упаковывает модель в сервис, настраивает пайплайны обучения и инференса. Помогает нам подготовить и поддерживать нашу модель в проде.
-
Data Engineer строит pipelines для сбора, хранения и подготовки данных. Если первые две роли нужны практически в любом проекте, то роль дата инженера порой объединяют с дата саентистом. Отдельно выделять эту роль нужно при больших объёмах данных.
-
Data Analyst считает бизнес-метрики, проверяет гипотезы, помогает интерпретировать результаты A/B-тестов. Нужен для связи ML с бизнесом. Так же как и функции дата инженера, функцию аналитика можно перераспредилить на дата саентиста, но чем больше компания, тем больше потребность в выделенной роли для этих задач.
-
MLOps это DevOps для ML сервисов, он так же строит инфраструктуру и конвейеры CI/CD для автоматизации обучения, деплоя и мониторинга моделей. Обеспечивает масштабируемость, воспроизводимость и надёжность ML-системы. Становится критичен при росте числа моделей (от 3–5) и требований к отказоустойчивости.
Какие метрики реально смотреть
1,
Бизнесовые, они важнее всего
- ROI модели. Мы заработали больше, чем потратили на разработку и поддержку?
- Влияние на пользовательский опыт. Выросла конверсия, упали жалобы?
- Precision / Recall в бизнес-терминах. Точность 95% звучит круто, а из 100 фродеров мы пропустили 5 или ошибочно заблокировали 2 критически важных письма уже не так хорошо. Потому целевые метрики модели надо каскадировать из бизнесовых целей.
2. Технические метрики модели
- Accuracy, Precision, Recall, F1, AUC-ROC в зависимости от задачи.
- Дрейф (PSI, CSI) насколько изменилось распределение входных данных или выходных предсказаний.
3. Метрики в проде (метрики для SLO и SLA сервиса)
- Задержку инференса смотрим по p50, p95, p99 времени ответа.
- Нагрузка (RPS) сколько запросов в секунду выдерживает.
- Пропускная способность если пайплайн пакетный.
Главный принцип: метрика рождается из вопроса подробнее
тут и
тут
Начните с вопроса: Что будет означать успех для бизнеса?
Если нужно меньше жалоб на спам, то метрика снижение ложноположительных срабатываний.
Если хотим больше покупок по рекомендациям, то изменение конверсии и CTR.
А точность модели и другие тех метрики, это уже производная. Они могут быть хоть 99%, но бизнес-эффекта ноль.
Серия про ML для менеджера завершена. Теперь у вас есть карта: от что это вообще такое до как мерить и кто за что отвечает.
Пользуйтесь. И не бойтесь задавать дата-сайентистам неудобные вопросы.
🔮Управление без иллюзий.
Подписывайтесь и делитесь с коллегами!
#материалы #ml
