← Программа
9. Метрики LLM/RAG: как поймать сломанный ответ
⏱
16 минут — и этот блок закрыт
Premium
Как измерять качество там, где нет одного правильного ответа: опора на источники, релевантность, корректность ссылок, оценка людьми и моделью, фиксированный набор проверок.
Чему научишься
- ✓Оценивать качество RAG: опора на источники, релевантность, ссылки
- ✓Понимать оценку моделью-судьёй и её ограничения
- ✓Связывать качество ответов с продуктовыми метриками
🔒 Premium
9. Метрики LLM/RAG: как поймать сломанный ответ
«Из двадцати ответов восемнадцать хорошие, запускаем» — типичный способ выпустить LLM-фичу сломанной. Урок даёт многомерную оценку и набор проверок, который становится активом продукта и принадлежит продакту, а не дата-сайентисту.
Что ты сможешь после урока
- ✓Оценивать качество RAG: опора на источники, релевантность, ссылки
- ✓Понимать оценку моделью-судьёй и её ограничения
- ✓Связывать качество ответов с продуктовыми метриками
Заберёшь с собой
RAG Evaluation rubric