ICS 35.240.40 CCS A 11 中华人民共和国金融行业标准 JR/T 0221—2021 人工智能 算法金融应用 评价规范 Evaluation specification of artificial intelligence algorithm in financial application 2021 - 03 - 26发布 2021 - 03 - 26实施 中国人民银行 发布 JR JR/T 0221—2021 I 目 次 前言 ................................ ................................ ................ II 1 范围 ................................ ................................ ............... 1 2 规范性引用文件 ................................ ................................ ..... 1 3 术语和定义 ................................ ................................ ......... 1 4 缩略语 ................................ ................................ ............. 3 5 总则 ................................ ................................ ............... 3 5.1 评价框架 ................................ ................................ ....... 3 5.2 评价方法 ................................ ................................ ....... 4 6 安全性评价 ................................ ................................ ......... 4 6.1 目标函数 ................................ ................................ ....... 4 6.2 常见攻击防范 ................................ ................................ ... 5 6.3 算法依赖库 ................................ ................................ ..... 9 6.4 算法可追溯性 ................................ ................................ ... 9 6.5 算法内控 ................................ ................................ ...... 11 7 可解释性评价 ................................ ................................ ...... 12 7.1 可解释性评价维度 ................................ .............................. 12 7.2 建模准备 ................................ ................................ ...... 12 7.3 建模过程 ................................ ................................ ...... 14 7.4 建模应用 ................................ ................................ ...... 17 8 精准性评价 ................................ ................................ ........ 18 8.1 精准性评价维度 ................................ ................................ 18 8.2 建模过程 ................................ ................................ ...... 18 8.3 建模应用 ................................ ................................ ...... 19 9 性能评价 ................................ ................................ .......... 20 9.1 性能评价维度 ................................ ................................ .. 20 9.2 建模过程 ................................ ................................ ...... 20 9.3 建模应用 ................................ ................................ ...... 20 附录（资料性）金融行业 AI精准性的相关指标定义 ................................ ....... 21 参考文献 ................................ ................................ ............ 24 JR/T 0221 —2021 II 前 言 本文件按照 GB/T 1.1 —2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国人民银行提出。 本文件由全国金融标准化技术委员会（ SAC/TC 180 ）归口。 JR/T 0221—2021 1 人工智能 算法金融应用评价规范 1 范围 本文件规定了人工智能算法在金融领域应用的基本要求、评价方法、判定准则。 本文件适用于开展人工智能算法金融应用的金融机构、算法提供商、 第三方安全评估机构等 。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 JR/T 0171 -2020 个人金融信息保护技术规范 JR/T 0199-2020 金融科技创新安全通用规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 深度学习 deep learning 通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据分布式特征表示的一种 学习方法。 3.2 部分依赖图 partial dependency plot；PDP 一种以可视化形式展示 一个或两个特征对机器学 习模型预测结果的边际效应 的方法。 3.3 个体条件期望 individual conditional expectation ；ICE 用于显示对于每一个样本实例而言当改变某一个特征值时人工智能算法预测结果如何改变的一种 可视化方法。 3.4 全局代理模型 global surrogate model 一种通过训练全局样本 对黑盒算法 预测的可解释方法。 注：通过解释代理模型 得出有关黑盒 模型的具有可解释意义的结论。 JR/T 0221 —2021 2 3.5 代表性样本 prototype 能全面反映真实数据样本的一个数据实例。 3.6 非代表性样本 criticism 不能很好地由代表性样本表示的数据实例。 3.7 有影响力的样本 influential instance 对模型参数或预测值影响程度最大的样本。 3.8 对抗样本攻击 adversarial attack 通过在正常样本上添加难以察觉的微小扰动误导人工智能算法的攻击方法。 3.9 物理对抗攻击 physical adversari