Программа курса

Как отличить задачу, которую действительно стоит решать моделью, от той, где хватит нескольких правил или обычного отчёта — и почему ответ «модель не нужна» тоже профессиональный.

Карта подходов — предсказание, генерация, поиск по своим знаниям, рекомендация — и способ выбрать из них тот, который отвечает на вашу продуктовую задачу.

Четыре этажа измерений в ML-продукте и способ связать их в одну цепочку, чтобы улучшение метрики модели превращалось в результат для бизнеса, а не оставалось красивым числом.

Чем ML-продукт устроен иначе обычного: вероятностное поведение, непрерывный цикл данных, деградация со временем и зона ответственности продакта.

Как перевести бизнес-проблему в ML-постановку: target, output, единица предсказания, утечка данных, baseline и договорённость о том, что считать успехом.

Типы задач, признаки, честная проверка модели, переобучение и объяснимость — на продуктовом языке и без формул.

Precision, recall, PR-AUC, порог классификации, метрики регрессии — и то, как из цены ошибки выводится выбор метрики и настройка порога.

Архитектура ML-фичи целиком: источники данных, обработка, витрина признаков, обучение, выдача прогнозов, мониторинг и переобучение.

A/B-тест для ML-фичи: гипотеза, единица рандомизации, главная метрика и ограничители, стратегии выката и стоп-критерии.

Почему модель тихо теряет качество, чем различаются виды дрейфа, как его обнаруживают, что мониторят на трёх уровнях и когда переобучают.

Как устроена языковая модель, что такое токены и окно контекста, какие настройки влияют на её поведение, откуда берутся галлюцинации и из чего складывается стоимость.

Три разных рычага — знания, поведение и действия. Устройство RAG-пайплайна, его слабые места, как работают агенты и почему минимально достаточная архитектура почти всегда выигрывает.

Как продакт сам проверяет LLM-гипотезу: устройство промпта, примеры, рассуждение по шагам, строгий формат ответа и развитие промпта через набор проверок.

Как измерять качество там, где нет одного правильного ответа: опора на источники, релевантность, корректность ссылок, оценка людьми и моделью, фиксированный набор проверок.

Как устроены рекомендации: двухэтапная схема отбора и ранжирования, типы сигналов, коллаборативный и контентный подходы, холодный старт и баланс исследования с эксплуатацией.

Метрики ранжирования и причины, по которым они систематически обманывают; метрики за пределами точности; архитектура рекомендаций с экспериментами и мониторингом.

Откуда берутся обучающие данные и эталонные ответы, что проверять в их качестве, как устроена разметка как процесс и что делать, когда размеченных примеров мало.

Чем discovery в AI отличается от обычного, как искать возможности от проблемы, как приоритизировать ставки с учётом данных и как договариваться об условиях остановки.

Как посчитать, окупается ли AI-фича: стоимость одного полезного действия, полная стоимость владения, способы её снижения, выбор между своим решением и готовым сервисом.

Как проектировать продукт, который ошибается по своей природе: калиброванное доверие, объяснимость для человека, запасные пути, обратимость и сбор обратной связи.

Предвзятость и несовместимые определения справедливости, приватность и персональные данные, безопасность, категории регуляторного риска и документирование моделей.

Как планировать проект с исследовательской неопределённостью: фазы и точки решения вместо жёстких сроков, цели на результат, честный разговор со стейкхолдерами и партнёрство с командой.

Сборка итогового артефакта: выбор кейса, полный ML PRD, архитектура, дерево метрик, план эксперимента и честный разбор рисков.

Разбор самого частого формата интервью на ML-продакта: как за две минуты выстроить структуру ответа и не утонуть в технических деталях.

Разборы четырёх известных ML-продуктов через единую линзу: проблема, целевая переменная, архитектура, метрики и главный компромисс.

Как отвечать на вопросы про объём данных, стоимость LLM-фичи и длительность эксперимента: рамки, ориентиры и порядок рассуждения вслух.

Как готовить поведенческую часть интервью под специфику ML: структура сильного ответа, десять типовых вопросов и матрица из пяти историй, покрывающая все темы.

Как собрать квартальный AI-roadmap: три горизонта инициатив, приоритизация с учётом данных, фазы с точками решения и разговор о нём с руководством.