有据性检测筛选器

有据性检测功能检测大型语言模型 (LLM) 的文本响应是否以用户提供的源材料为依据。 无据性是指 LLM 生成的信息与源材料中的信息不符或不准确。

关键术语

• 检索增强生成 (RAG)：RAG 是一种利用其他数据增强 LLM 知识的技术。 LLM 可以推理广泛的主题，但其知识仅限于在训练时可用的公共数据。 如果想要构建能够推理专用数据或模型截止日期后引入的数据的 AI 应用程序，需要向模型提供该特定信息。 引入相应的信息并将其插入模型提示的过程称为“检索增强生成 (RAG)”。 有关详细信息，请参阅检索增强生成 (RAG)。
• LLM 中的有据性和无据性：是指模型的输出基于所提供的信息或准确反映可靠来源的程度。 有据响应与给定的信息密切相关，避免猜测或捏造。 在有据性度量中，源信息至关重要，并充当有据源。

用户方案

有据性检测支持基于文本的摘要和 QnA 任务，以确保生成的摘要或答案准确可靠。

摘要任务：

• 医疗摘要：在医疗新闻文章中，可以使用有据性检测来确保摘要中不包含捏造或误导性信息，保证读者获得准确可靠的医疗信息。
• 学术论文摘要：当模型生成学术论文或研究文章的摘要时，此功能可以帮助确保摘要内容准确地代表重要发现和贡献，而不会引入虚假声明。

QnA 任务：

• 客户支持聊天机器人：在客户支持中，此功能可用于验证 AI 聊天机器人提供的答案，确保客户在询问有关产品或服务的问题时获得准确且可信的信息。
• 医疗 QnA：对于医疗 QnA，此功能有助于验证 AI 系统向医护人员和患者提供的医疗答案和建议的准确性，从而降低医疗错误的风险。
• 教育 QnA：在教育环境中，此功能可以应用于 QnA 任务，以确认学术问题或备考查询的答案准确，在学习过程中提供支持。

下面，请查看几个常见场景，它们描述了如何以及何时应用这些功能来实现最佳结果。

医学语境中的汇总

你正在汇总医学文档，摘要中患者姓名准确且与提供的基础源一致至关重要。

示例 API 请求：

{
  "___domain": "Medical",
  "task": "Summarization",
  "text": "The patient name is Kevin.",
  "groundingSources": [
    "The patient name is Jane."
  ],
}

预期结果：

纠正功能检测到 Kevin 上下文不关联，因为它与基础源 Jane 冲突。 API 返回纠正的文本："The patient name is Jane."

使用客户支持数据的问答 (QnA) 任务

你正在为客户支持聊天机器人实现 QnA 系统。 AI 提供的答案与最新、准确的可用信息保持一致，这一点至关重要。

示例 API 请求：

{
  "___domain": "Generic",
  "task": "QnA",
  "qna": {
    "query": "What is the current interest rate?"
  },
  "text": "The interest rate is 5%.",
  "groundingSources": [
    "As of July 2024, the interest rate is 4.5%."
  ],
}

预期结果：

该 API 检测到 5% 未接地，因为它与所提供的接地源 4.5% 不匹配。 答复包含纠正文本："The interest rate is 4.5%."

使用历史数据创建内容

你正在创建涉及历史数据或事件的内容，为了保持可信度和避免信息错误，准确性至关重要。

示例 API 请求：

{
  "___domain": "Generic",
  "task": "Summarization",
  "text": "The Battle of Hastings occurred in 1065.",
  "groundingSources": [
    "The Battle of Hastings occurred in 1066."
  ],
}

预期结果：

API 会检测无依据日期 1065，并根据依据源将其更正为 1066。 答复包含纠正后的文本："The Battle of Hastings occurred in 1066."

内部文档汇总

你正在汇总内部文档，其中产品名称、版本号或其他特定数据点必须保持一致。

示例 API 请求：

{
  "___domain": "Generic",
  "task": "Summarization",
  "text": "Our latest product is SuperWidget v2.1.",
  "groundingSources": [
    "Our latest product is SuperWidget v2.2."
  ],
}

预期结果：

更正功能将 SuperWidget v2.1 标识为“无依据”，并在响应中将其更新为 SuperWidget v2.2。 答复返回纠正后的文本："Our latest product is SuperWidget v2.2."