RAG可观测性主要分三个层次
RAG可观测性主要分三个层次。检索层关注召回质量,例如Recall、chunk覆盖率,判断知识是否被正确找到;生成层关注faithfulness和answer relevance,判断模型是否基于知识回答以及是否解决用户问题;系统层关注性能和成本,例如TTFT、Token消耗。工程上会通过LangSmith或LangFuse记录完整trace,包括query、retrieval chunks、prompt、模型输出和token消耗。上线前通过评估集和A/B测试验证优化效果,上线后结合自动指标和人工抽检持续优化。
下一篇: 无
相关文章
-
索引下推
索引下推的下推其实就是指将部分上层(服务层)负责的事情,交给了下层(引擎层)去处理。
NEW个对象 2024-12-17
-
日常开发中Linux的常用命令
这只说一些比较常用的命令,如果是一些复杂命令,建议百度。
NEW个对象 2024-10-12
-
设计一个异步任务执行框架:利用多线程执行耗时任务并在完成后通知主线程
设计一个异步任务执行框架:利用多线程执行耗时任务并在完成后通知主线程
NEW个对象 2026-06-15