在市场主体数目快速攀升、企业活跃度日益上升、社会各界数据信息总量呈现爆炸式增长的态势下，以往的市场监管模式已经不能满足现今市场主体发展趋势以及国家针对事中事后监管的要求。如何处理这类数量巨大、来源分散、格式多样的数据信息，进而提高政府部门服务与监管质量，对于政府市场监管部门是一项颇具难度的挑战。 本书首先对市场监管大数据的相关政策以及江苏省市场监管数据管理的情况进行了梳理，点出江苏省目前市场监管数据建设领域存在的问题，接着进行了详细的数据需求分析和总体设计；然后，面向市场监管领域，提出了基于数据生命周期的数据治理理念、基于知识图谱的市场监管数据融合；最后，从安全角度提供了面向市场监管的数据共享安全设计。

李珊，博士，南京航空航天大学经济与管理学院副教授，硕士生导师，信息管理研究所副所长，工业信息化部科技司人工智能项目评审专家，江苏省发改委信息化评审专家， 江苏省市场监督局、江苏省商业厅信息化顾问，INFORMS服务科学专委、江苏省大数据专委，《浙江大学学报》和《Journal of Grey System》（SCI）审稿人。主要研究方向为大数据分析与处理、知识管理，主持和参与国家科技重大专项1项，各类国家级基金和项目8项，省级基金和项目20余项，以第一作者或者通讯作者发表论文60余篇，其中SCI、EI检索10余篇，CSSCI核心期刊20余篇。申请发明专利1项，拥有实用新型专利1项，软件著作权5个，参与制定编制省级地方信息化标准1项。

第1章 绪论 ............................................................................................................ 1
1.1 背景 .............................................................................................................. 2
1.2 意义 .............................................................................................................. 3
1.3 研究内容和方法 .......................................................................................... 4
1.3.1 系统逻辑架构 .................................................................................. 4
1.3.2 研究内容 .......................................................................................... 9
1.3.3 技术路线 ........................................................................................ 10
1.4 研究创新点 ................................................................................................ 11
1.5 组织结构 .................................................................................................... 12
第2章 相关政策及国内外研究现状 ...................................................................... 14
2.1 市场监管大数据相关政策......................................................................... 15
2.1.1 市场监管应用系统 ........................................................................ 15
2.1.2 制度规范 ........................................................................................ 16
2.1.3 大数据来源 .................................................................................... 16
2.1.4 大数据综合分析 ............................................................................ 17
2.2 数据归集研究现状 .................................................................................... 17
2.2.1 基于元数据的异构数据集成框架................................................. 18
2.2.2 基于本体的异构数据集成框架 .................................................... 19
2.2.3 基于XML的异构数据集成框架 .................................................. 19
2.3 数据融合研究现状 .................................................................................... 20
2.3.1 信息融合基础理论 ........................................................................ 20
2.3.2 多源数据融合 ................................................................................ 21
2.4 数据资源目录研究现状 ............................................................................ 23
2.4.1 资源分类 ........................................................................................ 23
2.4.2 资源目录标准 ................................................................................ 25
2.4.3 资源目录 ........................................................................................ 26
2.5 共享安全设计研究现状 ............................................................................ 27
2.5.1 大数据安全共享与可信服务 ........................................................ 27
2.5.2 大数据存储安全 ............................................................................ 33
2.6 文献评述 .................................................................................................... 35
第3章 江苏省市场监管数据管理概况及建设需求 ................................................ 37
3.1 总体情况 .................................................................................................... 38
3.2 原业务系统的数据 .................................................................................... 40
3.2.1 原工商局数据 ................................................................................ 40
3.2.2 原质监局数据 ................................................................................ 40
3.2.3 原食药监局数据 ............................................................................ 41
3.2.4 原知识产权局数据 ........................................................................ 41
3.3 各业务系统网络连接现状......................................................................... 41
3.4 各业务系统特点 ........................................................................................ 42
3.5 系统功能需求分析 .................................................................................... 45
第4章 市场监管全生命周期数据治理 .................................................................. 49
4.1 全生命周期数据治理系统需求分析 ......................................................... 50
4.1.1 数据全生命周期的界定 ................................................................ 50
4.1.2 市场监管数据治理需求分析 ........................................................ 51
4.2 全生命周期数据治理系统架构设计 ......................................................... 54
4.2.1 数据治理系统设计原则和选型 .................................................... 54
4.2.2 数据治理系统功能架构 ................................................................ 56
4.2.3 数据治理系统多层级构建策略 .................................................... 57
4.2.4 数据治理流程 ................................................................................ 58
4.3 全生命周期数据治理系统设计 ................................................................. 59
4.3.1 数据标准管理服务 ........................................................................ 59
4.3.2 元数据管理服务 ............................................................................ 64
4.3.3 基础数据管理服务 ........................................................................ 71
4.3.4 数据质量管理服务 ........................................................................ 74
4.3.5 数据模型管理服务 ........................................................................ 82
第5章 市场监管数据的归集 ................................................................................. 85
5.1 多源数据归集系统分析 ............................................................................ 86
5.1.1 系统主要用户与边界 .................................................................... 86
5.1.2 系统功能需求分析 ........................................................................ 87
5.2 多源数据归集系统设计 ............................................................................ 88
5.2.1 数据归集的原则 ............................................................................ 88
5.2.2 数据归集系统的总体框架设计 .................................................... 89
5.2.3 数据归集系统的技术架构设计 .................................................... 92
5.3 基于ETL技术的多源异构数据全量采集 ............................................... 94
5.4 基于相似度算法的多源语义自动适配归集 ........................................... 101
5.4.1 多源语义自动适配归集 .............................................................. 101
5.4.2 基于相似度算法获取数据匹配度............................................... 102
5.5 基于Flume技术的实时数据采集 .......................................................... 106
5.6 基于Hadoop平台的数据存储和计算 .................................................... 111
第6章 基于知识图谱的市场监管数据融合 ......................................................... 116
6.1 市场监管数据融合需求分析 ................................................................... 117
6.1.1 市场监管数据融合面临的挑战 .................................................. 117
6.1.2 市场监管数据融合需求及建设目标 ........................................... 119
6.2 市场监管知识图谱的构建....................................................................... 120
6.2.1 市场监管知识图谱构成元素 ...................................................... 120
6.2.2 市场监管知识图谱的构建流程 .................................................. 121
6.3 基于元数据构建市场监管知识体系局部E-R图 .................................... 125
6.4 市场监管知识抽取 .................................................................................. 127
6.4.1 面向结构化数据的知识抽取 ...................................................... 127
6.4.2 面向非结构化数据的知识抽取 .................................................. 132
6.5 市场监管深层次知识融合....................................................................... 139
6.5.1 基于决策树模型的共指消解 ...................................................... 139
6.5.2 基于实体链接的实体消歧 .......................................................... 143
6.6 市场监管知识存储管理 .......................................................................... 147
6.7 市场监管局部知识图谱实体可视化 ....................................................... 149
第7章 市场监管集成数据的管理和共享机制 ..................................................... 152
7.1 数据资产管理 .......................................................................................... 153
7.1.1 数据资产管理流程 ...................................................................... 153
7.1.2 数据资产管理系统技术架构 ...................................................... 154
7.1.3 数据资产可视化技术 .................................................................. 156
7.1.4 数据资产检索与智能推荐服务 .................................................. 158
7.2 集成数据资源目录管理 .......................................................................... 158
7.2.1 集成数据资源目录的活动 .......................................................... 161
7.2.3 数据资源目录体系的技术模块 .................................................. 165
7.3 集成数据共享服务系统设计 ................................................................... 175
7.3.1 数据共享服务的原则 .................................................................. 176
7.3.2 数据共享服务系统的设计架构 .................................................. 176
第8章 市场监管数据共享安全设计 .................................................................... 186
8.1 市场监管数据共享安全风险分析 ........................................................... 187
8.2 市场监管数据共享安全保障框架 ........................................................... 188
8.2.1 设计目标 ...................................................................................... 188
8.2.2 设计原则 ...................................................................................... 189
8.2.3 设计框架 ...................................................................................... 189
8.3 市场监管数据脱敏技术实现 ................................................................... 201
8.3.1 数据脱敏技术实现流程 .............................................................. 201
8.3.2 敏感数据发现 .............................................................................. 202
8.3.3 数据脱敏规则 .............................................................................. 206
8.3.4 数据脱敏引擎 .............................................................................. 212
8.4 基于TrustZone技术的市场监管数据加密方法实现 ............................ 213
8.4.1 数据加密模块需求分析与概要设计 ........................................... 213
8.4.2 密钥管理模块需求分析与设计 .................................................. 217
8.5 基于区块链技术的市场监管数据安全共享 ........................................... 219
8.5.1 区块链+市场监管的技术架构 .................................................... 219
8.5.2 区块链+市场监管的食品监管应用场景 .................................... 220
8.6 市场监管数据共享安全管控平台 ........................................................... 224
8.6.1 市场监管数据共享安全管控平台架构设计 ............................... 224
8.6.2 市场监管数据共享安全管控平台功能设置 ............................... 225
第9章 总结与展望 ............................................................................................. 229
9.1 总结 .......................................................................................................... 230
9.2 展望 .......................................................................................................... 232
参考文献 ............................................................................................................... 233