Программа курса

Как отличить задачу для ML от задачи для обычных правил и аналитики — и не тащить ML туда, где он не нужен.

Карта подходов: prediction, generation, retrieval, recommendation — и как выбрать под продуктовую задачу.

Почему высокий ROC-AUC сам по себе не равен revenue, и как связать offline / online / business / guardrail метрики.

Чем ML-продукт отличается от обычного: вероятностное поведение, цикл данных, деградация и роль продакта.

Перевод бизнес-проблемы в ML-постановку: target, output, единица предсказания, baseline и определение успеха.

Типы задач, признаки, обучение/валидация, переобучение и интерпретируемость — без формул, на продуктовом языке.

Precision, recall, PR-AUC, порог классификации, MAE/MAPE и связь с бизнес-эффектом и стоимостью ошибки.

Архитектура ML-фичи: data sources, ETL, feature store, обучение, инференс (batch vs realtime), мониторинг, переобучение.

A/B-тесты для ML: гипотеза, рандомизация, primary и guardrail метрики, rollout, shadow mode, стоп-критерии.

Что такое LLM, токены, context window, температура, галлюцинации, стоимость и латентность — продуктовый минимум.

Когда RAG, когда fine-tuning, когда агент с инструментами. Архитектура RAG-пайплайна и его слабые места.

Как оценивать LLM/RAG: grounding/faithfulness, relevance, citations, LLM-as-judge, человеческая оценка, online-метрики.

Как устроены рекомендации: candidate generation, ranking, reranking, типы сигналов, collaborative vs content-based, cold start.

Метрики RecSys (NDCG, recall@k, diversity, coverage) и архитектура: events, candidate gen, ranking, online-эксперименты.

Половина работы ML-продакта — это данные: откуда брать лейблы, как мерить качество, как организовать разметку и не утонуть в costs.

Как находить, где AI реально даёт ценность, и приоритизировать AI-ставки — чтобы не делать «AI ради AI».

Как посчитать, окупается ли AI-фича: unit-экономика, стоимость инференса, TCO, build vs buy и связь с бизнес-эффектом.

Модель ошибается по своей природе — поэтому AI-продукт проектируют под ошибки: доверие, объяснимость, фидбэк-петли и graceful failure.

Bias и fairness, приватность и PII, безопасность и регуляторика (EU AI Act) — что продакт обязан заложить, а не «прикрутить потом».

ML-проект исследовательский: как планировать в неопределённости, ставить OKR, управлять ожиданиями стейкхолдеров и работать с DS-командой.

Сборка итогового артефакта: выбор кейса (Classic ML / LLM-RAG / RecSys), полный ML PRD, system design, метрики и план запуска.