通过 Microsoft Fabric 中适用于数据科学的 Copilot 和其他生成式 AI 功能(如预览版 AI 技能),Fabric 带来了一种新的方式来转换和分析数据,生成见解,并在数据科学和其他工作负载中用自然语言从数据中获得答案。
在这篇文章中,了解如何保护业务数据安全并遵守隐私要求,以及你和你的组织如何负责任地使用这些生成式 AI 功能。 本文扩展了 Copilot(预览版)的隐私、安全和负责任使用的基础信息。 AI 技能使用与 Fabric 中的 Copilot 相同的常规过程和基础 Azure OpenAI 服务模型。
有关这些功能的详细信息、预期用途和限制,请继续阅读有关适用于数据科学的 Copilot 和 AI 技能的信息。
适用于数据科学的 Copilot 中的数据使用
在笔记本中,Copilot 只能访问用户当前笔记本可访问的数据,无论数据是在附加的湖屋中,还是由用户直接加载或导入到该笔记本中。 在笔记本中,Copilot 无法访问笔记本无法访问的任何数据。
默认情况下,Copilot 可以访问以下数据类型:
之前在该会话中用户与 Copilot 的往来消息。
用户已执行的单元的内容。
用户已执行的单元的输出。
笔记本中数据源的架构。
来自笔记本中数据源的示例数据。
附加湖屋中外部数据源的架构。
AI 技能中的数据使用
AI 技能只能访问你提供的数据。 它使用架构(表名和列名)以及你在 UI 中提供的模型的备注。
AI 技能只能访问提问者有权访问的数据。 如果使用 AI 技能,则凭据将用于访问基础数据库。 如果你无权访问基础数据,则 AI 也无法访问。 当将 AI 技能发布到其他目标(例如,适用于 Microsoft 365 的 Copilot 或 Microsoft Copilot Studio)时,此限制适用。
评估适用于数据科学的 Copilot
产品团队对 Copilot 进行了测试,以了解该系统在笔记本上下文中的表现,以及 AI 响应是否具有见解和有用性。
该团队还投资了额外的危害缓解措施,包括重点介绍 Copilot 对数据科学相关主题的输出的技术方法。
评估 AI 技能
产品团队已针对 SQL 任务的各种公共和专用基准测试了 AI 技能,以确定 SQL 查询的质量。
该团队还投资了其他危害缓解措施,包括将 AI 技能的输出集中在所选数据源的上下文上的技术方法。
使用适用于数据科学的 Copilot 的提示
Copilot 最适合处理数据科学主题,因此请将问题限制在该领域。
明确想要 Copilot 检查的数据。 如果描述数据资产,例如命名文件、表或列,Copilot 更有可能检索相关数据并生成有用的输出。
如果想要更精细的响应,请尝试将数据作为数据帧加载到笔记本中或将数据锁定在湖屋中。 这为 Copilot 提供了更多进行分析的上下文。 如果资源太大而无法加载,固定它是一个有用的选择。
请确保列名具有描述性。 使用“ActiveCustomer”或“IsCustomerActive”等列名,而不是使用“C1”或“ActCu”。这是从 AI 获取更可靠查询的最有效方法。
在 UI 的配置面板中使用模型的注释。 如果 AI 技能生成的 SQL 查询不正确,则可以使用简明英语向模型提供说明,以改进将来的查询。 系统对每个查询都使用这些说明。 简短直接的说明最佳。
开始在 Fabric 中使用 Copilot
在企业开始使用 Fabric 中的 Copilot 之前,你可能会对它的工作原理、它如何确保业务数据安全并遵守隐私要求以及如何负责任地使用生成式 AI 存有疑问。
本文提供与业务数据安全性和隐私性相关的常见问题解答,以帮助组织开始使用 Fabric 中的 Copilot。
Power BI 中 Copilot 的隐私性、安全性和负责任使用(预览版)
一文提供了 Power BI 中的 Copilot 概述。 继续阅读,了解有关 Copilot for Fabric 的详细信息。
在开始使用 Copilot 之前,管理员需要启用租户切换。 有关详细信息,请参阅
Copilot 租户设置
一文。
你的 F64 或 P1 容量需要位于
Fabric 区域可用性
一文中列出的区域之一。
如果租户或容量位于美国或法国境外,则除非 Fabric 租户管理员在 Fabric 管理门户中启用了
可以在租户的地理区域、合规性边界或国家/地区云实例之外处理发送到 Azure OpenAI 的数据
租户设置,否则将默认禁用 Copilot。
试用 SKU 不支持 Microsoft Fabric 中的 Copilot。 仅支持付费 SKU(F64 或更高版本或者 P1 或更高版本)。
Fabric 中的 Copilot 目前以公共预览版推出,预计于 2024 年 3 月底向所有客户推出。
请参阅
Fabric 和 Power BI 中的 Copilot 概述
一文获取更多信息。
你的业务数据是安全的
Copilot 功能使用
Azure OpenAI 服务
,该服务完全由 Microsoft 控制。 我们不会使用你的数据来训练模型,也不会将其提供给其他客户。
你可以自行控制自己数据的处理位置。 Fabric 中的 Copilot 处理的数据将保留在你的租户所在的地理区域内,除非你明确允许在你所在区域之外处理数据 — 例如,当 Azure OpenAI 在你所在区域不可用,或可用性因需求较高而受到限制时,让用户使用 Copilot。 详细了解
Copilot 的管理员设置
。
Copilot 不存储数据进行滥用监视。 为了增强隐私和信任,我们更新了滥用监视方法:以前,我们将 Fabric 中 Copilot 的数据(其中包含提示输入和输出)保留多达 30 天来检查是否存在滥用或误用的情况。 客户反馈后,我们取消了这 30 天的保留期。 现在,我们不再存储提示相关数据,表明我们致力于保护用户隐私和安全的坚定承诺。
在使用 Copilot 输出之前检查输出
Copilot 响应可能包含不准确的或低质量的内容,因此请务必在工作中使用输出之前对输出进行审查。
能够有效评估内容准确性和适当性的人应该审查输出。
目前,Copilot 功能在英语中效果最佳。 其他语言可能表现得没有这么好。
查看
Fabric 补充预览版条款
,其中包括 Microsoft 生成式 AI 服务预览版的使用条款。
Copilot 的工作原理
在本文中,
Copilot
是指 Fabric 中由 Azure OpenAI 服务提供支持的一系列生成式 AI 特性和功能。
一般情况下,这些功能旨在基于以下输入生成自然语言、代码或其他内容:
(a)
你提供的信息
;
(b) 该功能有权访问的
上下文关联数据
。
例如,Power BI、数据工厂和数据科学提供 Copilot 聊天,可以在其中提问并获得有关数据的区分上下文的答复。 Copilot for Power BI 还可以创建报告和其他可视化效果。 数据工厂 Copilot 可以转换数据,并解释它已应用的步骤。 数据科学在聊天窗格之外提供 Copilot 功能,例如笔记本中的自定义 IPython magic 命令。 可以将 Copilot 聊天连同 Azure OpenAI 在幕后支持的其他功能一起添加到 Fabric 的其他体验中。
此信息将发送到 Azure OpenAI 服务,在其中进行处理并生成输出。 因此,Azure OpenAI 处理的数据包括:
用户的
提示或输入
。
上下文关联数据
。
AI 响应或输出
。
上下文关联数据包括数据集架构、特定数据点和有关用户当前任务的其他信息的组合。 查看每个体验部分,详细了解在该方案中 Copilot 功能可以访问哪些数据。
与 Copilot 的交互特定于每个用户。 这意味着,Copilot 只能访问当前用户有权访问的数据,并且其输出仅对该用户可见,除非该用户与其他人共享输出,例如共享生成的 Power BI 报表或生成的代码。 Copilot 不会使用同一租户或其他租户中其他用户的数据。
Copilot 使用 Azure OpenAI(而不是公用的 OpenAI 服务)来处理所有数据,包括用户输入、上下文关联数据和 Copilot 输出。 Copilot 目前使用 GPT 模型的组合,包括 GPT 3.5。 Microsoft 在 Microsoft Azure 环境中托管 OpenAI 模型,该服务不会与 OpenAI 的任何服务(例如 ChatGPT 或 OpenAI API)交互。 我们不会使用你的数据来训练模型,也不会将其提供给其他客户。 详细了解
Azure OpenAI
。
Copilot 过程
这些功能遵循同一个常规过程:
Copilot
接收用户
的提示
。 此提示可以采用用户在聊天窗格中键入的问题,也可以采用操作的形式,例如选择“创建报告”按钮。
Copilot 通过一种
称为上下文关联 (grounding) 的方法
来预处理提示
。 根据具体的方案,此过程可能包括从用户当前与 Copilot 建立的会话检索相关数据,例如数据集架构或聊天历史记录。 上下文关联提高了提示的具体程度,因此用户可以获得与其特定任务相关且可操作的响应。 数据检索的范围限定为经过身份验证的用户根据其权限可以访问的数据。 有关详细信息,请参阅本文中的
Copilot 使用哪些数据以及如何处理数据?
部分。
Copilot 获取 Azure OpenAI 的响应并对其进行后处理
。 根据具体的方案,这种后处理可能包括负责任 AI 检查、使用 Azure 内容审核进行筛选,或实施其他特定于业务的约束。
Copilot 以自然语言、代码或其他内容的形式向用户
返回响应
。 例如,响应可能采用聊天消息或生成的代码形式,也可能是上下文适当的形式,例如 Power BI 报表或 Synapse 笔记本单元格。
用户在使用响应之前检查响应
。 Copilot 响应可能包含不准确或低质量的内容,因此主题专家必须在使用或共享输出之前检查输出。
正如 Fabric 中每种体验都是针对特定方案和角色(从数据工程师到数据分析师)构建的那样,Fabric 中的每项 Copilot 功能也是根据独特的方案和用户构建的。 有关每项功能的预期用途和限制,请查看有关所用体验的部分。
用户提交到 Copilot 的文本或操作。 此提示可以采用用户在聊天窗格中键入的问题,也可以采用操作的形式,例如选择“创建报告”按钮。
上下文关联
一种预处理技术:Copilot 检索符合用户提示上下文的其他数据,然后将该数据与用户提示一起发送到 Azure OpenAI,以生成更相关且可操作的响应。
响应或输出
Copilot 返回给用户的内容。 例如,响应可能采用聊天消息或生成的代码形式,也可能是上下文适当的内容,例如 Power BI 报表或 Synapse 笔记本单元格。
Copilot 使用哪些数据以及如何处理数据?
若要生成响应,Copilot 使用:
用户的提示或输入,在适当情况下还会使用:
通过上下文关联过程检索到的其他数据。
此信息将发送到 Azure OpenAI 服务,在其中进行处理并生成输出。 因此,Azure OpenAI 处理的数据包括:
用户的提示或输入。
上下文关联数据。
AI 响应或输出。
上下文关联数据包括数据集架构、特定数据点和有关用户当前任务的其他信息的组合。 查看每个体验部分,详细了解在该方案中 Copilot 功能可以访问哪些数据。
与 Copilot 的交互特定于每个用户。 这意味着,Copilot 只能访问当前用户有权访问的数据,并且其输出仅对该用户可见,除非该用户与其他人共享输出,例如共享生成的 Power BI 报表或生成的代码。 Copilot 不会使用同一租户或其他租户中其他用户的数据。
Copilot 使用 Azure OpenAI(而不是 OpenAI 的公用服务)来处理所有数据,包括用户输入、上下文关联数据和 Copilot 输出。 Copilot 目前使用 GPT 模型的组合,包括 GPT 3.5。 Microsoft 在 Microsoft Azure 环境中托管 OpenAI 模型,该服务不会与 OpenAI 的任何服务(例如 ChatGPT 或 OpenAI API)交互。 我们不会使用你的数据来训练模型,也不会将其提供给其他客户。 详细了解
Azure OpenAI
。
数据驻留和合规性
你可以自行控制自己数据的处理位置。
Fabric 中的 Copilot 处理的数据将保留在你的租户所在的地理区域内,除非你明确允许在你所在区域之外处理数据 — 例如,当 Azure OpenAI 在你所在区域不可用,或可用性因需求较高而受到限制时,让用户使用 Copilot。 (请参阅
Azure OpenAI 的当前可用区域
。)
若要允许在其他位置处理数据,管理员可以启用设置“
发送到 Azure OpenAI 的数据可以在你的租户所在的地理区域、法规管制边界或国家云实例之外进行处理
”。 详细了解
Copilot 的管理员设置
。
应该了解哪些事项才能负责任地使用 Copilot?
Microsoft 致力于确保我们的 AI 系统遵循我们的
AI 原则
和
负责任 AI 标准
。 这些原则包括使我们的客户能够有效地使用这些系统,以及使这些系统符合其预期用途。 我们的负责任 AI 方法不断发展,目的是主动解决新出现的问题。
Fabric 中的 Copilot 功能是为了满足负责任 AI 标准而构建的,这意味着它们会由多学科团队审查潜在危害,然后进行细化以包括针对这些危害的缓解措施。
在使用 Copilot 之前,请记住 Copilot 的限制:
Copilot 响应可能包含不准确的或低质量的内容,因此请务必在工作中使用输出之前对输出进行审查。
对输出的审查应该由能够有效评估内容准确度和适当性的人员来完成。
目前,Copilot 功能在英语中效果最佳。 其他语言可能表现得没有这么好。
Copilot for Fabric 工作负载
以下产品的隐私性、安全性和负责任使用原则:
数据工厂 Copilot(预览版)
适用于数据科学的 Copilot(预览版)
适用于数据仓库的 Copilot(预览版)
Copilot for Power BI
适用于实时智能的 Copilot(预览版)
什么是 Microsoft Fabric?
Fabric 和 Power BI 中的 Copilot:常见问题解答
即将发布:在整个 2024 年,我们将逐步淘汰作为内容反馈机制的“GitHub 问题”,并将其取代为新的反馈系统。 有关详细信息,请参阅:
https://aka.ms/ContentUserFeedback
。
提交和查看相关反馈