微软开源 AI 诊断工具 Error Analysis

时间:2021-05-02

Error Analysis 使用机器学习技术,助数据科学家更好地了解模型错误模式。

在 2020 年 5 月的微软 Build 大会上,微软推出了三个响应式的 AI(Responsible AI,RAI)工具包,这三个工具分别是 InterpretML、Fairlearn 和 SmartNoise。这些工具包与微软 Azure 机器学习紧密集成,通过这些工具可以使机器学习领域的数据科学家能够理解模型预测、评估公平性并保护敏感数据。

在这个工具系列的基础上,微软宣布推出新的功能,通过新的 Error Analysis 工具包调试模型中的不准确之处,并在 SmartNoise 中使用合成数据提升隐私性。

使用 Error Analysis 识别和诊断模型的不精确性

在分析机器学习模型时,我们常常关注精度等总体指标。 然而,模型的准确率在不同的数据子群中往往并不统一,某些输入条件的交叉点会导致模型更频繁地失败。为了提高精度,我们需要挖掘和评估这些不同的错误来源。从历史上看,解决这些问题需要手动操作,并且十分耗时。

Error Analysis,这是微软响应式 AI 工具包中的最新成员,并且完全开源。Error Analysis 使用机器学习按照有意义的维度对模型错误进行分区,以帮助开发者更好地理解错误中的模式。此举可以能够快速识别出误差较高的子群,并直观地诊断出这些错误背后的根本原因。

虽然这是一个刚刚才开源的工具,但 Error Analysis 在微软 AI 开发中却扮演着举足轻重的作用。Error Analysis 在 2018 年开始作为一个研究项目,在 2019 年就与微软混合现实团队密切合作,使该工具成为内部 AI 基础设施的一部分。开源版本能够实现是由 Azure 机器学习中的 RAI 工具团队推动的。Error Analysis 连同其他 RAI 工具包也将在 2021 年中期归入 OSS 和 Azure 机器学习中。

原文地址:https://www.oschina.net/news/131059/enabling-responsible-ai-with-new-open-source-capabilities

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章