← Программа
9. Метрики LLM/RAG: как поймать сломанный ответ
⏱
14 минут — и этот блок закрыт
Premium
Как оценивать LLM/RAG: grounding/faithfulness, relevance, citations, LLM-as-judge, человеческая оценка, online-метрики.
Чему научишься
- ✓Оценивать качество RAG: grounding, relevance, citations
- ✓Понимать LLM-as-judge и его ограничения
- ✓Связывать качество ответов с продуктовыми метриками
🔒 Premium
9. Метрики LLM/RAG: как поймать сломанный ответ
«Из 20 ответов 18 хорошие — запускаем» — так LLM-фичи и попадают в прод сломанными. Этот урок даёт многомерную оценку (faithfulness, relevance, citations) и eval-набор — актив, которым владеет продакт, а не DS.
Что ты сможешь после урока
- ✓Оценивать качество RAG: grounding, relevance, citations
- ✓Понимать LLM-as-judge и его ограничения
- ✓Связывать качество ответов с продуктовыми метриками
Заберёшь с собой
RAG Evaluation rubric