控制 · · 1 分钟。阅读

为什么需要 Ragas:评估答案和搜索的质量

根据一定的标准来比较系统的变化,而不是根据一个答案的印象。

简短回答

拉格斯有什么用?

Ragas 是一种使用语言模型组织应用程序评估的工具。当需要重复比较响应、搜索和系统更改时,需要考虑它。效益取决于验证数据和标准的质量;一项汇总指标并不能取代错误分析。

Elena Artemova(叶莲娜·阿尔捷莫娃 / Елена Артемова) · 发布 · 更新 · 该工具的目的 · 附应用实例.

为什么眼睛评估还不够

一个令人信服的答案并没有表明系统将如何处理另一种类型的问题。更改模型或搜索后,您可能会注意到配方的改进,而忽略了地面的恶化。

当需要在特定数据集上重复比较时,就需要 Ragas。该工具有助于组织评估,但不会为团队决定什么被认为是有用的答案。该协议取决于任务和具体错误的后果。

适用于评估工具的内容

2025 年 7 月 17 日发布的 Ragas 0.3.0 包括对指标评估和调整工具的更改。工具的开发不仅关系到测试的启动,还关系到其结论在多大程度上符合选定的要求。

对于实际工作,分离测量的属性非常重要。答案的完整性、遵守来源以及正确指示缺少数据是不同的要求。将它们组合成一个数字可以隐藏缺陷,这对读者来说是主要的缺陷。

Ragas什么时候真正有用?

当应用程序定期更改时,当团队想要在相同条件下比较结果时,这是有意义的。测试集应包括模棱两可的问题和不可能给出正确答案的情况。

另一种语言模型的估计可以帮助处理许多结果,但不会变成独立的事实。评估者有争议的决定必须与人工分析进行比较。了解标准的哪些表述可以改变其结论是很有用的。

当工具无法解决问题时

如果没有定义标准,自动化估计只会加速产生不明确的数字。如果源文档不正确,正式度量的良好结果并不能纠正其内容。

对于小型一次性任务,手动检查可能就足够了。当重复比较并且需要保存结果以供团队决策时,拉格斯变得合理。讨论的主要主题是特定错误及其对任务的影响,而不是质量报告的外观。

示例

比较两种搜索档案的方法

任务
在条件比较中,两个搜索选项接收相同的问题和相同的文档集。对于问题,可接受的回答理由是事先已知的。
工具的作用
Ragas 用于组织对收到的回复的评估。对发现的片段的遵从性和在缺乏信息的情况下的行为被单独考虑。
预期结果
预计会出现一系列标准差异和有争议的答案本身,这些可以被整理出来,而不仅仅是对获胜者的总体评估。
要检查什么
人工检查与自动评估的差异。两个选项的数据集和标准必须相同。这里没有给出测量值。

需要 Ragas 来进行可重复的比较。评估的价值取决于标准和验证数据的质量。

来源及原因

发售日期:

主要来源描述了该仪器及其开发。关于选择的结论 - 实验室的编辑分析。 一个例子解释了该工具的用途;没有对其进行任何测量。 来源日期已验证为 2026 年 9 月 8 日。

关于主题的问题

是否可以用一个数字来评价代理商?

这样的数字可能是一个总结,但它隐藏了错误类型之间的差异。个人标准对于决策很有用。

谁来决定正确的结果?

根据来源和接收者的要求,负责任务的团队。评估工具不能取代本协议。

未回答的问题是否有必要?

是的。它们表明系统是否可以表明缺乏信息而不是缺乏支持的结论。