微软发布 PyRIT 工具,帮专家和工程师识别生成式 AI 模型风险

2月24日讯 微软近日发布了开源自动化框架 PyRIT,这是一款 Python 风险识别工具包,主要帮助安全专家和机器学习工程师识别生成式 AI 的风险,阻止他们的人工智能系统失控。

微软发布 PyRIT 工具,帮专家和工程师识别生成式 AI 模型风险

微软的 AI Red Team 已经使用该工具,检查包括 Copilot 在内生成式人工智能系统中风险。

微软强调通过向公众提供内部工具,以及分享 AI Red Team 方面的其他投资成果,其目的是推动人工智能安全民主化。

微软发布 PyRIT 工具,帮专家和工程师识别生成式 AI 模型风险

Red Team 是在军事演习、网络安全演习等领域中扮演敌人或竞争对手角色的群体,扮演己方角色的则称作蓝队。Red Team 通常定义为敌方部队,通过攻击网络来提高产品安全性。

微软发布 PyRIT 工具,帮专家和工程师识别生成式 AI 模型风险

微软 AI Red Team 专门成立了一个跨学科的安全专家小组,管理复杂的攻击演习。PyRIT 框架的工作原理如下:

  • PyRit Agent 向目标 Gen AI 系统发送恶意提示词;当它收到 Gen AI 系统的回应时,就会向 PyRIT 评分引擎发送回应。
  • 评分引擎将响应发送给 PyRit 代理;然后,代理根据评分引擎的反馈发送新的提示。
  • 这一自动化过程一直持续到安全专家得到所需的结果为止。

微软已经将相关代码托管到 GitHub 上,感兴趣的用户可以深入阅读。

声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
欢迎您,新朋友,感谢参与互动!
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
私信列表
搜索