Основы Как вы поймёте, что задаче нужен ML, а не правило или SQL-отчёт?+
Основы Продакт предлагает «добавить AI» в фичу. Какие вопросы вы задаёте?+
Основы Когда LLM — плохой выбор, даже если он «работает»?+
Основы В чём принципиальная разница между RAG и fine-tuning? Это частый вопрос-ловушка.+
Основы Как вы выберете между Classic ML, LLM, RAG и RecSys для новой фичи?+
Основы Почему в реальных продуктах редко используется «один подход в чистом виде»?+
Метрики Почему высокий ROC-AUC не гарантирует роста выручки?+
Метрики Постройте на словах metrics tree для фичи антифрода.+
Метрики Фрод — 0.5% транзакций. Почему accuracy здесь опасна, и что взять вместо неё?+
Основы Чем управление ML-продуктом принципиально отличается от управления обычной фичей?+
Основы Что такое data flywheel и почему продакт должен закладывать его с первого дня?+
Основы Опишите зоны ответственности продакта vs DS vs MLE в ML-проекте.+
Постановка задачи Что такое proxy target и почему это частая причина провала ML-проекта?+
Постановка задачи Объясните leakage (утечку) на конкретном примере и как его поймать заранее.+
Постановка задачи Дайте плохую и хорошую формулировку цели ML-проекта.+
Classic ML Как вы распознаете переобучение, не читая код модели?+
Classic ML Почему feature engineering часто важнее выбора алгоритма?+
Classic ML Классификация, регрессия или ранжирование: как определить тип задачи по продуктовому сценарию «приоритизация лидов для отдела продаж»?+
Метрики Объясните trade-off precision/recall на примере с ценой ошибки.+
Метрики Чем PR-AUC лучше ROC-AUC при сильном дисбалансе классов?+
Метрики Кто должен решать, где ставить порог классификации — DS или продакт? Почему?+
System Design Нарисуйте словами архитектуру ML-фичи от данных до прода.+
System Design Когда выбрать batch, а когда real-time инференс?+
System Design Что такое train/serving skew и почему feature store его решает?+
Эксперименты Почему нельзя просто выкатить ML-модель всем сразу после хорошего offline-результата?+
Эксперименты Что такое peeking и почему это опасная ошибка в экспериментах?+
Эксперименты Объясните разницу между shadow mode и canary rollout.+
LLM Почему LLM может «уверенно врать», и это не баг?+
LLM Как токены и context window влияют на стоимость и продуктовые ограничения LLM-фичи?+
LLM Назовите рычаги повышения качества LLM-фичи в порядке возрастания сложности/стоимости.+
RAG RAG отвечает плохо. Как вы будете диагностировать проблему?+
RAG Что такое prompt injection и как от него защищаться на уровне продукта?+
RAG Когда агент с инструментами — не лучшее решение, даже если технически возможен?+
LLM метрики Как измерить качество RAG-системы без одной универсальной accuracy?+
LLM метрики Что такое LLM-as-judge и какие у него ограничения?+
LLM метрики Какие online-метрики вы заведёте для LLM-ассистента поддержки?+
RecSys Объясните двухэтапную архитектуру рекомендаций: candidate generation + ranking.+
RecSys Как вы решите проблему cold start для нового пользователя без истории?+
RecSys Почему оптимизация только на клики — опасная ловушка в RecSys?+
RecSys метрики Почему offline-метрики ранжирования (NDCG, recall@k) систематически смещены?+
RecSys метрики Что такое beyond-accuracy метрики в RecSys и зачем они нужны, если CTR уже растёт?+
RecSys метрики Какие блоки архитектуры RecSys обязательны, кроме самой ranking-модели?+
ML PRD Что отличает сильный ML PRD от обычного PRD?+
ML PRD Соберите по памяти структуру ML PRD — как на собеседовании, без шпаргалки.+
ML PRD Какой будет ваш первый вопрос команде при старте нового ML-проекта?+
Данные Почему «половина работы ML-продакта — это данные», а не модель?+
Данные Зачем нужен inter-annotator agreement и что значит, если он низкий?+
Данные Лейблов мало и разметка дорогая — какие у вас есть рычаги?+
AI Discovery Чем AI discovery отличается от обычного product discovery?+
AI Discovery Что такое kill criteria и почему их важно задавать заранее, а не «как пойдёт»?+
AI Discovery Как вы дешево проверите осуществимость AI-идеи за один день?+
Экономика AI Как посчитать unit-экономику LLM-фичи?+
Экономика AI Почему дешёвый прототип LLM-фичи может оказаться дорогим в проде?+
Экономика AI Назовите рычаги снижения стоимости LLM-фичи без потери ценности.+
AI UX В чём ключевое отличие AI UX от обычного UX-проектирования?+
AI UX Что такое calibrated trust и automation bias?+
AI UX Как вы спроектируете graceful failure для AI-фичи, где модель не уверена в ответе?+
Responsible AI Откуда в модели появляется bias, и кто за это отвечает — DS или продакт?+
Responsible AI Почему fairness — это не одна метрика, и как вы выберете подходящую?+
Responsible AI Что вы знаете про риск-категории EU AI Act и как это влияет на продуктовые решения?+
Управление проектом Почему ML-проект нельзя планировать так же, как обычную фичу с фиксированным сроком?+
Управление проектом Приведите пример плохого и хорошого OKR для ML-команды.+
Управление проектом Стейкхолдер спрашивает «когда модель будет готова и точна?». Что вы отвечаете?+