ICS 35.240.50 CCS L 70 山 14 西 省 地 方 标 准 DB14/T 2526—2022 工业互联网综合平台 数据质量管理要求 2022-08-18 发布 2022-11-18 实施 山西省市场监督管理局  发 布 DB14/T 2526—2022 目 次 前言 .................................................................................. II 1 范围 ................................................................................ 1 2 规范性引用文件 ...................................................................... 1 3 术语和定义 .......................................................................... 1 4 缩略语 .............................................................................. 1 5 数据分类 ............................................................................ 2 6 数据质量特性 ........................................................................ 2 7 数据质量管理 ........................................................................ 3 7.1 7.2 7.3 数据质量管理框架 ................................................................ 3 数据质量管理流程 ................................................................ 3 数据质量管理工具 ................................................................ 4 参考文献 ............................................................................... 7 I DB14/T 2526—2022 前 言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山西省工业和信息化厅提出、组织实施和监督检查。 山西省市场监督管理局对标准的组织实施情况进行监督检查。 本文件由山西省物联网和人工智能标准化技术委员会归口。 本文件起草单位：山西大数据产业发展有限公司、华为技术有限公司、浪潮工业互联网股份有限公 司、新华三技术有限公司、精英数智科技股份有限公司、山西中科同昌智能科技有限公司。 本文件主要起草人：阳军、王文逾、吉凤鸣、刘耀宏、刘泱、张国华、张尚礼、高巍、王盾、刘品 杰、刘赞、吕洪、龚大立、袁铎、赵存会、王延辉、王学斌、吴喆峰、朱晓宁、杜石磊、杨少封、林薇、 彭祖炜、伍云山、李志国、郭晓军、王俊、李鹏飞、杨向东、张志芳、余小占、韩丽娟、路旭、张晶亮、 李炳增、李峰、张汉超、顾朝阳。 II DB14/T 2526—2022 工业互联网综合平台 1 数据质量管理要求 范围 本文件规定了工业互联网综合平台数据的分类、质量特性以及质量管理的框架、流程和工具。 本文件适用于工业互联网综合平台数据质量的管理、检测、分析和提升。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 36344—2018 信息技术 数据质量评价指标 GB/T 39400—2020 工业数据质量 通用技术规范 3 术语和定义 GB/T 39400—2020界定的以及下列术语和定义适用于本文件。 3.1 工业互联网综合平台 industrial internet integrated platform 以工业互联网平台为基础，支持汇聚数据、服务、用户等各类资源，具备数据集成分析、应用支撑 能力和基础应用能力，支持省域内特色型、专业型、企业级等平台的集成和接入，支撑制造资源泛在连 接、弹性供给、高效配置和协同创新的载体。 3.2 数据质量 data quality 数据的一组固有特性满足要求的程度。 注： 固有特性一般指永久性的特性。 [来源：GB/T 39400—2020,3.1] 3.3 数据质量管理 data quality management 指导和控制某机构数据质量的协调活动。 [来源：GB/T 39400—2020,3.2] 3.4 数据质量管理工具 data quality management tool 运用信息化技术和管理方法来规划、实施与控制数据质量的识别、评估、提升等一系列活动。 4 缩略语 下列缩略语适用于本文件。 App：应用程序（Application） 1 DB14/T 2526—2022 SQL：结构化查询语言（Structured Query Language） 5 数据分类 工业互联网综合平台数据包括但不限于煤炭、制造、物流运输、电力、燃气、建筑、水务、现代服 务、化工、冶金等各个行业领域产品和服务全生命周期产生和应用的数据，可分为以下类型： a) 研发数据：包括研发设计数据、开发测试数据等； b) 生产数据：包括控制信息、工况状态、工艺参数、系统日志、生产质量数据、生产实绩数据 等； c) 供应链数据：包括供需计划数据、仓储物流数据等； d) 营销数据：包括投标次数、订单数量、交易金额、客户异议数据等； e) 运维数据：包括产品运行状况数据、产品售后服务数据等； f) 管理数据：包括客户基本信息、业务合作数据、人事财务数据、系统设备资产信息、产品基 本信息、项目进度数据、业务统计数据（如资源量数据、能耗监测数据）等； g) 金融服务数据：包括信贷服务数据、融资租赁服务数据、征信服务数据等； h) 平台运营数据：接入的设备数据、工业模型库数据、工业 App 数据、平台运行数据等； i) 外部数据：与其他主体共享的数据。 6 数据质量特性 根据GB/T 36344—2018中第3章和第5章，工业互联网综合平台数据质量特性包括： a) 规范性：数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度； 1) 数据标准是数据的命名、定义、结构和取值规范方面的规则和基准； 2) 数据模型是对分析的图像和文本表述，该分析识别了组织为完成其使命、功能、目标、 目的和战略，以及管理和评价组织所需要的数据； 3) 业务规则是一种权威性原则或指导方针，用来描述业务交互，并建立行动和数据行为结 果及完整性的规则； 4) 元数据是关于数据或数据元素的数据(可能包括其数据描述),以及关于数据拥有权、存取 路径、访问权和数据易变性的数据。 5) 权威参考数据是系统、应用软件、数据库、流程、报告或平台日志记录用来参考的特定 字段的有效数据集合。 b) 完整性：按照数据规则要求，数据元素被赋予数值的程度。即数据信息是否存在缺失的状况， 包括数据元素完整性和数据记录完整性； c) 准确性：数据准确表示其所描述的真实实体（实体对象）真实值的程度，即数据记录的信息 是否存在异常或错误，包括数据内容正确性、数据格式合规性、数据重复率、数据唯一性、 脏数据出现率； d) 一致性：数据与其他特定上下文中使用的数据无矛盾的程度，即数据是否遵循了统一的规范， 数据集合是否保持了统一的格式，主要体现在数据记录的规范和数据是否符合逻辑，包括相 同数据一致性和关联数据一致性； e) 时效性：数据在时间变化中的正确程度，包括基于时间段的正确性、基于时间点及时性、时 序性； f) 关联性：度量相关联的数据是否缺失或建立索引； g) 可访问性：数据能被访问的程度，包括可访问和可用性。 2 DB14/T 2526—2022 7 数据质量管理 7.1 数据质量管理框架 数据质量管理框架主要由数据质量管理流程和数据质量管理工具构成，以数据质量管理流程为指导， 构建数据质量管理工具,见图1。数据质量管理流程主要从数据质量描述、数据质量识别、数据质量评估 和数据质量控制四方面进行搭建；数据质量管理工具主要从数据标准管理、数据质量规则、质量检测任 务、数据质量监控、数据质量报警、质量检测报告、检测报告分析、数据质量整改、数据质量跟踪方面 进行规定。 图1 7.2 数据质量管理框架 数据质量管理流程 7.2.1 数据质量管理模型 应符合GB/T 39400—2020中4.2的要求。 7.2.2 数据质量描述 数据质量描述要求包括但不限于： a) 应根据平台企业管理的需求，参考外部监管的要求，确定平台企业数据质量管理目标； b) 应根据平台企业数据质量管理目标、数据标准规范和数据质量特性，确定平台企业数据质量 评估维度。 7.2.3 数据质量识别 数据质量识别要求包括但不限于： a) 应根据平台企业业务发展的需求及常见数据问题，确定平台数据质量管理范围、各类数据的 优先级以及质量需求； 3 DB14/T 2526—2022 b) c) 7.2.4 应根据平台企业数据质量管理目标及需求，定义各类数据的质量评价指标、校验规则与方法； 应根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与升级。 数据质量评估 7.2.4.1 数据质量检查 应根据数据质量规则中的有关技术指标和业务指标、校验规则与方法，对平台企业的数据质量情况 进行实时监控，若发现数据质量问题应及时向数据管理人员进行反馈。 7.2.4.2 数据质量分析 数据质量分析要求包括但不限于： a) 应对数据质量检查过程中发现的数据质量问题及相关信息进行分析，并找出影响数据质量的 原因； b) 应定义数据质量问题的优先级。 7.2.5 数据质量控制 数据质量控制要