F1. Где ML реально нужен — а где дорогая ошибка

Почему этот вопрос стоит задавать первым

Деньги в AI-проектах сгорают редко из-за того, что модель оказалась слабой. Гораздо чаще — из-за того, что её вообще не стоило обучать: задачу закрыли бы несколько понятных правил, ночная выгрузка в таблицу или одна вовремя показанная подсказка в интерфейсе. Разница в цене здесь принципиальная. Правило пишется за день и потом живёт годами почти бесплатно. Модель — это постоянная статья расходов: её нужно кормить свежими данными, держать на серверах, следить, не разошлась ли она с изменившейся реальностью, и время от времени переобучать

Поэтому у опытного продакта первый вопрос звучит не «какую модель возьмём», а «нужна ли здесь модель вообще». Ответ «не нужна» — это не поражение и не недостаток амбиций. Это сэкономленный квартал работы команды

Что машинное обучение делает по своей сути

Машинное обучение (machine learning, ML) — это способ получить правило, не выписывая его руками. Обычная программа устроена так: разработчик формулирует логику, компьютер её исполняет. В машинном обучении логика выводится из примеров: системе показывают множество случаев с уже известным исходом, и она сама находит закономерность, которая эти исходы объясняет. Потом эту закономерность применяют к новым, ещё не виденным случаям

Из такого устройства вытекает свойство, с которым продукту придётся жить: модель отвечает не «да» и «нет», а «скорее да, с такой-то уверенностью». Она не хранит истину — она оценивает правдоподобие. Значит, она будет ошибаться регулярно и по своей природе, а не из-за недоработки программиста. Вопрос всегда в том, сколько ошибок продукт способен выдержать и что с ними происходит дальше

Три условия, при которых модель оправдана

Обучать модель имеет смысл, когда сходятся сразу три обстоятельства. Стоит выпасть хотя бы одному — и почти наверняка есть решение проще, дешевле и надёжнее

Первое условие: в данных есть закономерность, но словами её не выписать. Отличить спам от обычного письма, оценить, вернёт ли человек кредит, заметить, что клиент остыл к продукту, — во всех этих случаях сигнал складывается из десятков мелких признаков, и ни один эксперт не перечислит их в виде инструкции. Если же логику можно записать одной внятной фразой, машинное обучение здесь избыточно

Второе условие: накоплены примеры с известным финалом. Модели нужны пары «вот ситуация → вот чем всё закончилось», и таких пар нужны тысячи, а не десятки. Причём собранные аккуратно: без пропусков в ключевых полях, без перекоса в сторону удобных случаев, с проверяемым исходом

Третье условие: цена промаха терпима. Если модель иногда посоветует не то, компания это переживёт, а клиент не уйдёт навсегда. Ошибку удобно оценивать в двух измерениях сразу: насколько велик ущерб от одного промаха и как часто такие промахи будут случаться. Редкая, но катастрофическая ошибка требует человека в контуре принятия решения. Частая, но пустяковая — вполне переносима: пользователь просто пролистает неудачную рекомендацию

Когда дешевле обойтись без модели

Есть несколько ситуаций, в которых машинное обучение почти гарантированно окажется лишним

Логика записывается правилами: «платёж выше порога, страна из списка повышенного риска, карта выпущена вчера — отправляем операцию на ручную проверку». Такое правило прозрачно, мгновенно меняется по требованию бизнеса и не нуждается в данных для обучения

От решения требуется прозрачность и повторяемость, которую не стыдно показать проверяющему. Начисление налога, расчёт зарплаты, применение тарифа — здесь ценится не гибкость, а гарантия, что одинаковые входные данные всегда дадут одинаковый результат

Истории ещё не существует. Данные начнут копиться только после того, как фича выйдет к живым людям. Тогда первая версия продукта строится на правилах и заодно устраивается так, чтобы собирать те самые данные, на которых потом обучится модель

Человеку достаточно хорошего отчёта, чтобы решить самому. Иногда вместо модели предсказания оттока нужен один график с сегментами и понятная выгрузка — и менеджер справится точнее любой модели, потому что знает контекст

Baseline: планка, без которой нельзя начинать

Прежде чем обучать что-либо, договоритесь о точке отсчёта. Её называют baseline — это самое простое решение, с которым потом честно сравнивают модель: правило, прикидка на основе среднего, «показываем то, что берут чаще всего», или нынешний ручной процесс со всеми его недостатками

Baseline выполняет две работы. Во-первых, он избавляет от иллюзий: нередко выясняется, что примитивная эвристика (то есть простое правило, выведенное из опыта) закрывает восемьдесят процентов пользы, а на оставшиеся двадцать модель потребует нескольких месяцев. Во-вторых, он даёт язык для разговора с бизнесом: без планки любая метрика модели — просто число, о котором нельзя сказать, хорошее оно или плохое

Правило простое: сначала планка, потом модель. И браться за машинное обучение стоит тогда, когда планка уже перестала расти, а прибавка от модели оправдывает всю возню вокруг неё

Большие языковые модели — отдельный соблазн

Большие языковые модели (large language model, LLM — те самые, на которых работают ChatGPT и Claude) выглядят универсальной отмычкой, и именно поэтому их пытаются вставить всюду. Между тем есть три ситуации, где такая модель только мешает

Нужно разложить готовые цифры по табличке или посчитать агрегат — обычные алгоритмы и SQL-запрос сделают это быстрее, дешевле и без сюрпризов. Бизнесу важна дословная повторяемость ответа, а языковая модель по своей природе может сформулировать в двух похожих ситуациях по-разному. Всё, что требуется, достаётся одним обращением к базе или к внешнему сервису — тогда модель добавляет только задержку и стоимость

По-настоящему языковая модель раскрывается на живом тексте: пересказать длинное короче, вытащить из письма суть, разобрать обращение клиента по смыслу, набросать черновик, поддержать разговор, помочь человеку подумать вслух. Это её родная территория, и здесь она бьёт любые правила

Порядок разбора любой AI-фичи

Когда к вам приходят с идеей «а давайте прикрутим сюда AI», разбирайте её по одной и той же лестнице, не перепрыгивая через ступеньки

1. Чью боль мы лечим, пользователя или бизнеса, и в чём она измеряется
2. Какое решение должно родиться в результате и кто его принимает: человек с подсказкой от системы или система сама
3. Реально ли справиться без модели и что именно станет планкой для сравнения
4. Если без модели никак — к какому типу относится задача: предсказать число, приклеить категорию, найти ответ в документах, подобрать рекомендацию, сочинить текст
5. Во что обойдётся ошибка, как часто она будет случаться и на чей карман ляжет

Первые три пункта — чисто продуктовые, и отвечать на них должен продакт. Если разговор начинается с четвёртого, проект уже пошёл не туда

Где здесь чаще всего ошибаются

Самая частая ошибка — записать в цель «внедрить AI» вместо конкретной проблемы, которую он снимет. Такая цель недостижима и неопровержима одновременно: непонятно, когда её считать выполненной

Вторая — стартовать без планки. Через полгода команда предъявляет метрику модели, и никто не может сказать, стало ли лучше, потому что не с чем сравнить

Третья — держать в голове одну «точность» и не думать про цену ошибки. Так модель оказывается в сценарии, где единичный промах бьёт по выручке или репутации, и продукт приходится срочно закрывать

Четвёртая — тащить машинное обучение ради строчки в резюме или эффектного слайда для инвесторов. Это работает ровно до первого вопроса «а сколько оно принесло»

О чём спросить команду

У дата-сайентиста стоит спросить, какую простейшую планку можно собрать за неделю, чтобы было с чем сравнивать. У аналитика — точно ли этот паттерн не описывается обычными правилами, ведь он видел данные ближе всех. У бизнеса — во что выльется ситуация, когда модель начнёт промахиваться в каждом двадцатом случае, и кто в этот момент отвечает перед клиентом

Итог

Машинное обучение — специализированный инструмент под узкий класс задач, а не признак зрелости продукта. Оно оправдано там, где в данных есть закономерность, недоступная словам, накоплены примеры с известным исходом и ошибка не разрушительна. Зрелый AI-продакт с одинаковой уверенностью произносит и «модель здесь лишняя», и «а вот здесь она окупится» — и в обоих случаях может объяснить почему