滥用监视

Azure AI Foundry 模型中的 Azure OpenAI 可检测和缓解定期出现的内容和/或行为情况，这些情况表明以违反 行为准则的方式对该服务的使用。 若要详细了解数据的处理方式，可查看数据、隐私和安全页。

滥用监视功能的组成部分

滥用监视功能由下面几部分组成：

• 内容分类：分类器模型检测用户提示（输入）和完成项（输出）中的有害文本和/或图像。 系统查找内容要求中定义的危害类别，并按照“内容筛选”页中的更详细描述分配严重性级别。 内容分类信号有助于模式检测，如下所述。
• 滥用模式捕获：Azure OpenAI 的滥用监视系统查看客户使用模式，并采用算法和启发式来检测和评分潜在滥用指标。 例如，检测到的模式考虑了在客户的提示和完成项中检测到有害内容的频率和严重程度（如内容分类器信号所示），以及行为的意图。 所检测到的模式的趋势和紧迫性也会影响潜在滥用严重性的评分。 例如，被归类为较高严重性的有害内容量较高，或指示故意性（如反复的越狱尝试）的反复行为，都有可能导致较高的潜在滥用分数。
• 评审和决策：通过内容分类标记为和/或标识为潜在滥用使用模式的一部分的提示和完成项，将受到另一个评审过程的约束，以帮助确认系统分析和通知滥用监视操作决策。 此类审查通过两种方法进行：自动审查和人工审查。
  • 默认情况下，如果提示和完成内容被分类为有害和/或被识别为潜在滥用模式的一部分，它们可能会被抽样以供审查，通过自动化手段（包括使用 LLM 等 AI 模型）而不是由人工审阅者进行分析和评估。 用于此目的的模型仅处理提示和完成，以确认系统的分析和通知作决策;进行此类审查的提示和完成不会由滥用监视系统存储，也不用于训练 AI 模型或其他系统。
  • 在某些情况下，当自动评审不满足复杂上下文中的适用置信度阈值或自动审查系统不可用时，可能会引入人工关注评审来做出额外的判断。 Microsoft授权的员工可以评估通过内容分类和/或标识为可能滥用的使用模式的一部分而被标记的内容，并根据预定义的准则和政策确认或更正分类或判断。 只有获得授权的 Microsoft 员工可通过安全访问工作站 (SAW) 访问此类提示和完成项以进行人工评审，并由团队经理授予即时 (JIT) 请求审批。 对于在欧盟经济区部署的 Azure OpenAI 资源，授权Microsoft员工位于欧元区。 如果客户已获批准使用修改后的滥用监视方法，则不会进行此人工审查过程。
• 通知和操作：根据上述步骤确认滥用行为的阈值后，会通过电子邮件将这一决定告知给客户。 除了严重或反复滥用的情况外，客户通常有机会解释或修正滥用行为，并实施机制来防止滥用行为再次发生。 如果未能解决该行为（或反复出现或严重滥用），可能会导致暂停或终止客户对 Azure OpenAI 资源和/或功能的访问。

经过修改的滥用监视

某些客户可能想要将 Azure OpenAI 用于涉及处理高度敏感或高度机密数据的用例，否则可能会得出结论，他们不希望或无权允许Microsoft存储并对其提示和完成进行人工审查，以便进行滥用检测。 为了解决这些问题，Microsoft允许满足其他受限访问资格条件的客户通过完成 此表单来修改滥用监视。 详细了解如何在 有限访问 Azure OpenAI 时申请修改后的滥用监视，以及修改后的滥用监视对 Azure OpenAI 数据处理的影响、隐私和安全性。

后续步骤

• 详细了解为 Azure OpenAI 提供支持的基础模型。
• 详细了解和缓解与应用程序相关的风险：Azure OpenAI 模型的负责任 AI 做法概述。
• 详细了解如何在内容筛选和滥用监视中处理数据： Azure OpenAI 的数据、隐私和安全性。