F1. Где ML реально нужен — а где дорогая ошибка

Зачем продакту этот вопрос

Самая частая и дорогая ошибка в AI-продукте — применить ML там, где хватило бы правил, SQL-отчёта или нормального UX. ML добавляет неопределённость, требует данных, инфраструктуры и сопровождения. Прежде чем сказать «давайте обучим модель», продакт должен уметь честно ответить: а нужен ли здесь вообще ML.

Когда ML уместен

ML стоит рассматривать, когда выполняются все три условия:

1. Есть закономерность, которую трудно описать явными правилами (распознать спам, оценить риск дефолта, предсказать отток).
2. Есть данные с примерами «вход → ответ» в достаточном объёме и приемлемого качества.
3. Цена ошибки терпима или управляема: одна неверная рекомендация не разрушает доверие и бизнес.

Когда ML не нужен

• Задачу можно решить детерминированными правилами ("если сумма > X и страна в списке → ручная проверка").
• Нужен точный, объяснимый, воспроизводимый результат (бухгалтерия, расчёт налога).
• Данных нет или они появятся только после запуска фичи.
• Достаточно аналитики и дашборда, чтобы человек принял решение.

Правило большого пальца: сначала самый простой baseline (правило, эвристика, топ-популярное). ML внедряем, только если baseline явно не вытягивает, а потенциальный выигрыш стоит сложности.

LLM — отдельная ловушка

LLM кажется универсальным решением, поэтому его суют везде. Но LLM не нужен, если:

• задача — это классификация в фиксированные категории на структурированных данных (classic ML дешевле и точнее);
• нужна детерминированность и нулевая галлюцинация;
• ответ можно получить прямым запросом в БД или вызовом API.

LLM хорош там, где есть работа с естественным языком: суммаризация, извлечение, генерация, диалог, рассуждение над текстом.

First-principles подход к AI-фиче

Задавайте вопросы в таком порядке:

1. Какую пользовательскую/бизнес-проблему мы решаем?
2. Какое решение в идеале принимается и кем (человек или система)?
3. Можно ли решить без ML? Что будет baseline?
4. Если ML — какой тип задачи: prediction, generation, retrieval, recommendation?
5. Какая цена ошибки и кто её несёт?

Частые ошибки продакта

• «Добавим AI» как цель вместо решения проблемы.
• Пропуск baseline → невозможно доказать пользу модели.
• Игнор стоимости ошибки → запуск там, где ошибка модели бьёт по доверию или деньгам.
• ML ради строчки в резюме или в презентации инвесторам.

Что спросить у команды

• У DS: «Какой простой baseline мы можем поставить за неделю?»
• У аналитика: «Эту закономерность реально описать правилами?»
• У бизнеса: «Что произойдёт, если система ошибётся в 5% случаев?»

🧠 Запомни: «Закономерность + данные + терпимая цена ошибки» — три условия для ML. Нет хотя бы одного — берите baseline.

Итог

ML — это инструмент под конкретный класс задач, а не самоцель. Сильный AI-продакт так же легко говорит «здесь ML не нужен», как и «здесь он даст эффект».