龙岗区大数据管理服务平台

·2022智慧城市先锋榜·入围案例

乐文忠  钟凯鸣 陈帮泰  刘妃妃 余星晖

 龙岗区大数据中心

  深圳航天智慧城市系统技术研究院有限公司

近年来，龙岗区在坚持“基础先行、急用先行，需求导向、民生导向”基本原则，围绕“一中心、三平台”主体架构，以数据共享应用为发力点,与各部门齐心协力，通过推动全面整合资源实现全区政务数据向城区大数据中心实时全量对接；扎实推进信息系统整合和数据共享，横向统筹全区数据资源向大数据中心汇聚，纵向协调垂直系统数据资源向基层回流，以数据融合驱动“数字政府”和智慧城市改革建设；深入开展系统性、整体性、协同性大数据综合试验探索，以加强基础设施统筹、打破数据资源壁垒、发掘数据资源价值、促进数字经济发展为主攻方向，以推动数据创新应用为核心，以支撑政府治理、经济结构转型升级和创新创业为目标，不断提升政府治理能力现代化和城市服务智慧化水平；打造广东省大数据综合试验区“龙岗样板”，发挥示范引领作用，形成辐射带动效用；提升全区数据质量和开发利用率，支撑各部门各行业开展大数据分析和智慧化应用，助力数字政府和新型智慧城市改革建设向纵深发展。

本项目积极响应中央、省、市、区各级文件要求：

1.《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》提出 “加快培育数据要素市场，推进政府数据开放共享。优化经济治理基础数据库，加快推动各地区各部门间数据共享交换，制定出台新一批数据共享责任清单。”

2.《广东省政务数据治理专项规划（2019-2020年）》提出“以数据治理为支点，推动 ‘数字政府’改革建设向纵深发展的工作方向”。

3.《“数字深圳”发展规划（2020-2022）》提及“以数据驱动业务流程优化，夯实城市信息基础设施，打破数据壁垒，完善数据治理与应用机制，提升城市数据价值”。

4.《深圳市关于加快智慧城市和数字政府建设的若干意见》提及“建立较为完善的数据治理体系；初步建成粤港澳大湾区大数据中心，开展跨境数据流动试点；推进政府、企业、社会数据资源大融合，推动公共数据开放共享 ”。

5.《龙岗区“数字政府”综合改革试点实施方案》提出要“推动全区政务信息资源汇聚融合和共享应用，实现政务数据全方位集中管理、分析、应用。”

为落实党和国家关于粤港澳大湾区发展和深圳建设中国特色社会主义先行示范区的战略部署，紧紧围绕党中央、国务院关于实施国家大数据战略，加快建设数字中国等工作部署，对照深圳“双区”及龙岗大数据综合试验区战略部署，按照中央、省、市、区各级相关文件要求，开展本项目建设。

本项目建设满足智慧龙岗2.0推进一体化政务大数据共享共用建设总体实施要求，本项目通过加强源头数据和社会数据汇聚；升级已建设的数据共享交换、数据质量、数据服务等系统，巩固数据治理带来的效益成果，持续提升数据编目质量、数据共享效能以及数据质量；以应用为需求导向，优化现有人口、法人数据模型，强化人口、法人公共基础库作为公共数据资源的支撑能力；建设满足龙岗区各部门应用功能的主题库和专题库，开展政务大数据开发利用，为政府管理和公共服务提供有力支持，提升政府现代治理能力；完善当前的数据资源管理制度和规范，加强组织建设和资源协调力度，形成数据全生命周期管理配套制度和规范，促进全区数据资源管理有序运营。

1. 总体设计

围绕党中央、国务院关于实施国家大数据战略，对照深圳“双区”及龙岗大数据综合试验区战略部署，本项目以数据治理和数据服务为支点，巩固数据治理带来的效益成果，持续提升数据编目质量、数据共享效能以及数据质量；新建数据脱敏、数据共享全过程监控、数据资产视窗、数据共享责任清单等系统，提升数据从需求到管理端之间的监管评估及安全共享能力，实现全区数据资产的可控性、可管理、可视化，推动‘数字政府’改革建设向纵深发展的工作方向。

坚持数据共治和按需共享两个原则，以业务应用为导向，按照建设与管理并重的思路，优化现有人口、法人数据模型，强化人口、法人公共基础库作为公共数据资源的支撑能力；建设满足龙岗区各部门应用功能的主题库和专题库，开展政务大数据开发利用，为政府管理和公共服务提供有力支持，提升政府现代治理能力；完善龙岗数据资源管理制度和规范，加强组织建设和资源协调力度，形成数据全生命周期管理配套制度和规范，促进全区数据资源管理有序运营，提升政府对外服务能力和内部运作效能。

2. 总体架构

龙岗区大数据管理服务平台项目按照数据中台的技术架构实施，按照用户层、应用层、数据中台层、支撑层、基础层的分层建设理念，对数据中台层进行升级，提升数据共享交换、数据服务管理、数据汇聚等能力，扩大数据汇聚范围，新建数据标签系统、数据资产视窗、数据脱敏、多租户、大数据治理、大数据质量管控等系统或组件，增强数据管理基础平台能力。

图1 龙岗区大数据管理服务平台总体构架图

本项目技术架构分为基础层、支撑层、数据中台、应用层、用户层的5层内容，其内容如下：

2. 基础层

基础层是利用龙岗区统一的大数据管理平台的现有能力，支撑整个数据中台的建设，利用平台的能力包括但不限于：离线计算能力、实时计算能力、数据存储能力、网络能力、通讯能力等。该层只是通用能力的复用，不存在具体建设内容也不在此次建设范围内容。

2.1 支撑层

在整个项目的建设过程中，信息化系统的建设也是其中非常重要的组成部分，这一部分的建设是整个数据中台中的数据能够实现全生命周期管理重要技术保障。为了能够达到集约化建设的要求和目的，以及满足现有数据现状并实现数据采集、集成、治理、整合全生命周期的管理，此项目在支撑层应该包含以下能力：多租户、大数据引擎、数据集成引擎、权限管理、用户管理等组件和能力。

2.3 数据中台

数据中台的建设是为了能够帮助龙岗区把数据资源通过标准化、治理、清洗加工、整合等技术手段和管理手段，形成集约、高效、通用的数据资产，通过主题和专题的建设，充分发挥数据资产的价值。数据中台的建设包含数据汇聚中心、数据资源中心、数据共享中心、制度和规范四个部分内容的建设，如下：

2.3.1 数据汇聚中心

数据汇聚中心是把各委办局、社会数据、上报数据等进行全面的归集，根据各类数据不同的特性和实效性要求，制定数据归集策略，从而实现数据的汇聚。目前龙岗的数据汇聚中心的数据都归集在交换中心库中进行存储。

2.3.2 数据资源中心

数据资源中心是对数据汇聚中心存储的数据，可以对汇聚龙岗大数据平台的数据进行管理和加工处理，通过大数据治理和数据质量管控后，实现数据加工过程和结果可管理可看。大数据治理模块目标是解决数据治理过程中数据不集中、标准不统一、质量不可控、交付周期长等一系列问题，通过标准化工具和智能化方法，将杂乱无章的基础数据治理成有价值的数据资产，实现数据的价值化和业务化。

2.3.3 数据共享中心

数据共享中心包含两个部分的内容，一是数据资源综合支撑管控子系统，该子系统是为数据共享、数据服务、数据开放提供全方位的保障能力，构建数据共享责任清单和数据目录体系，基于数据分级分类管理要求，对敏感数据实施脱敏保护以及共享过程监控，从而保障整个数据服务过程能够受管控、可审计、可追溯。二是数据服务子系统，是为内部提供数据共享的综合性平台，系统实现从服务注册、调用、授权、管理、管控等内容，打通数据最后一公里。

3. 应用建设内容

龙岗区数据治理与数据服务项目主要建设内容分为数据采集子系统、大数据治理与质量管控子系统、数据服务管理子系统、数据资源综合支撑管控子系统、数据资源门户、数据资源中心建设六个建设部分。

3.1 数据采集子系统

完善数据上报功能，提供自定义数据填报页面功能，数据上报模版快速生成填报页面。拓展社会数据汇聚的能力，采购龙岗区人口数据分析服务，进一步扩大龙岗区数据资源的广度和深度，为后续业务应用提供有力数据支撑。

3.2 大数据治理与质量管控子系统

建立完善的大数据治理与质量管控体系，持续提升龙岗区的数据资源质量，对所有数据开展全面的数据质量评估和数据清洗，汇聚数据开发利用全过程的元数据信息，提高数据可读性和实现数据全过程血缘追溯；开展数据开发、数据评估、数据标准化、数据清洗等治理活动，通过配置的质量检测规则库对数据进行质量评估和质量监控，业务需求拉动标签开发增强数据的应用价值。

3.3  数据服务管理子系统

对数据共享服务需求进行统一数据服务管理，并对整个服务生成和调用进行优化，通过自定义服务接口提高服务接口生成和响应效率，完善服务调用运行可视化监控功能，实现服务便捷高效；搭建敏感数据共享环境，建设敏感数据比对共享功能模块，在保证个体数据不对外的情况下尽可能满足敏感数据共享的需求，实现敏感数据的安全共享服务。

3.4  数据资源综合支撑管控子系统

实现龙岗区数据资源支撑管控的可控性、可管理、可视化，对数据按需共享按需脱敏，防止数据服务过程中数据泄露；对资源目录自定义及分级分类管理，对资源目录与数据交换统一调度管理；对数据共享全过程进行监督评估，从数据源头解决数据共享责任不清、职能不明的问题；基于数据治理与数据服务中的过程提供数据资产“看”“管”的能力，实现数据资产及血缘链路关系的全过程可视化。

3.5  数据资源门户

升级数据共享统一平台，提供数据资源查询、申请、订阅、服务、管理、应用以及相关咨询发布等功能。

3.6 数据资源中心建设

建设数据标准库、公共基础库、公共主题库、专题库等组成的数据资源中心。建设集约化的数据标准库，将对龙岗区交换中心库中的原始数据进行统一标准化处理形成数据标准库；优化公共基础库中已建设的人口、法人基础数据库的模型和数据架构，满足各业务应用的需要；建设基层治理、人口、企业、房屋主题库，为建设养老、应急管理、政务服务等专题库以及其他应用提供数据支撑。

1. 应用系统建设效果

本项目通过加强源头数据和社会数据汇聚，巩固数据治理带来的效益成果，持续提升数据编目质量、数据共享效能以及数据质量；对交换中心库中归集数据进行标准化处理，形成完整统一的龙岗区数据标准库对外服务；以应用为需求导向，优化现有人口、法人数据模型，强化人口、法人公共基础库作为公共数据资源的支撑能力；建设满足龙岗区各部门应用功能的主题库和专题库，开展政务大数据开发利用，为政府管理和公共服务提供有力支持，提升政府现代治理能力；完善当前的数据资源管理制度和规范，加强组织建设和资源协调力度，形成数据全生命周期管理配套制度和规范，促进全区数据资源管理有序运营，具体应用效果如下：

1.1 数据汇聚（采集）中心

图2 统计月报数据快速上报入库

1.2 大数据治理与质量管控

图3 业务运维流程图

图4 数据服务管理

升级资源目录，新建脱敏管理、数据共享全过程监控和数据资产管理，完善了数据脱敏机制和数据采集共享监测流程，保证了数据在传输和应用时的安全性和实时性，从总体角度把握数据分布情况和动态变化的趋势，了解数据的流向以及数据之间的相互关系，以方便业务问题的溯源分析和影响分析，实现了龙岗区政务数据能快速且准确的运用到各种应用场景，促进大数据分析应用。

2.5 数据资源门户

结合统一门户经验，在此基础上进行了升级改造，解决了政务数据交换共享的展示、汇总等需求，实现了政府内部数据获取、汇总、统计与分析，建立起了内部各系统运营数据的决策管控。

2、数据资源中心建设效果

图5 数据资源中心整体架构图

2.1 数据标准库：完成龙岗区人、法、房的数据元规范文档编制；建设人、法、房的494个数据元和354个数据字典；完成建设常用校验转换的规则268个；完成表接入、融合、标准化治理，支撑各部门应用建设使用；

2.2 人口基础数据库：通过归集近30个委办局、约260类资源、28.6亿条数据、18357个数据项形成人口基础库；

2.3 法人基础数据库：通过归集38个委办局、445类资源、约6.4亿条数据、12531个数据项形成法人基础库，完成实有人口信息、残疾人信息、法人基础信息、高新企业信息等37个接口对外支撑应用调用；

2.4 人口主题库：在人口基础库之上，根据人口业务，经过数据加工融合形成人口主题库，包括17个主题、44个模型、870个数据项、约2.17亿条数据；

2.5 企业主题库：在法人基础库之上，根据商事主体业务，经过数据加工融合形成法人库，包括15个主题、64个模型、1286个数据项、约2.46亿条数据；

2.6 房屋主题库：通过归集16个委办局、85类资源、3552个数据项，经过数据加工融合形成房屋库，包括9个主题、30个模型、646个数据项、约6261.3万条数据；

2.7 基层治理主题库：通过归集22个委办局、60类资源、2177个数据项，经过数据加工融合形成基层治理主题库，包括7个主题、24个模型、264个数据项、约523.5万条数据；

2.8 应急管理专题库：通过归集9个委办局、40类资源、约39万条数据、1589个数据项，经过数据加工融合形成房屋库，包括9个主题38个模型1647个数据项，其中避难场所、应急物资等模型已重点支撑区应急局业务使用；

2.9 政务服务专题库：通过归集5个委办局、9类资源、约61万条数据、167个数据项，经过数据加工融合形成养老专题库，包括3个主题9个模型179个数据项；

2.10 养老专题库：通过归集6个委办局、26类资源、47万条数据、430个数据项，经过数据加工融合形成政务专题库，包括5个主题25个模型408个数据项。

1. 解决数据治理之后没有针对不同业务的专题库建设痛点，将人口和法人数据进行多级分类，加强字段的权威属性标识，确定数据权威来源，实现数据的精细化管理和权威性，能够直观使用数据分级分类信息和依赖制定的标准贯穿整体数据治理工作；

2. 完善全区资源目录元数据描述规范，建立全区统一标准化的目录元数据规范，帮助各部门更好理解资源目录信息及快速订阅；

3. 为用户提供可视化的建库过程管理与流程管理，通过简单配置快速生成临时的库表查询机制，也可以通过数据交换实现实际的数据落地存储，完成临时或永久的资源库建设；

4. 针对政务数据资源服务建立各个流程节点建立数据流程监控机制，依托流程考核事项周期评估流程，提升数据从需求到管理端之间的监管和评估能力；

5. 通过可视化的展示数据总体情况、数据链路、资产盘点情况、数据质量评估情况、数据治理过程、资产共享情况，推行数据资产化管理，打造政务大数据资产视图；

6. 从以关系型数据库数据治理工作转为以大数据平台为核心展开，充分利用分布式计算能力来治理海量数据和自动化、智能化的功能模块，提升数据治理效率。能够可视化配置数据治理各节点任务形成工作流且能定时调度，有序管理数据治理任务和提升数据治理的效率；

7. 从库、表以及字段三个维度对进行全链路的血缘关系建设和溯源分析，以租户的形式给各业务部门开放数据治理系统的能力，可视化配置数据质量检测任务，并形成工作流且能定时调度定时自动生成电子化质量报告；

8. 集成全区数据信息系统管理入口，集成用户统一登录窗口,供各委办局、部门参与目录订阅、申请、反馈，共享门户后台进行订阅审核、反馈处理等，侧重于数据共享门户网站的分离与服务升级，包含数据获取/浏览、数据订阅申请、资源管理，数据交换机制等，实现一个网站办理所有信息服务管理。

通过本期项目的建设，将整合政府各部门的信息资源并进行深层加工、利用，建立统一、集中、实时的公共资源数据库，推动政务信息资源共享的建设和应用，为政府决策提供快捷、可靠的依据。

2. 提升市民政务服务体验，帮助政府进行社会治理和决策分析

通过对数据资源进行标准化、数据治理、数据整合等技术手段和管理手段，形成符合龙岗区现状的人口、企业、房屋、基层治理等公共基础库以及满足各类专题应用和政务业务需求的专题库，如政务服务专题库、养老专题库、应急管理专题库等，利用形成的公共基础库和专题库对政务服务、市民养老、应急管理、人口普查、企业复工复查、民生服务等进行数据支撑，提升市民政务服务体验以及帮助政府进行社会治理、决策分析。

3. 符合集约化建设原则有效的降低后续数据资源开发和资金投入

项目采用数据中台概念进行设计，在数据资源中心建设服务于龙岗区各部门的业务库建设，同时此次升级的大数据治理与质量管控平台，支持多租户数据治理模式，利用租户模式可以让各业务部门可以在一个平台内进行数据治理活动，通过此项目同时能服务区各部门降低重复建设成本。本项目将完成了全区69家部门和社会数据的数据汇聚，并通过与深圳市政务信息资源共享平台进行对接，获取全部市级部门共享的数据资源。截止目前，获取资源数3150项，记录数超97亿；通过这些数据的汇聚和治理，预计将为全区50个部门提供数据1516余项，预计提供数据服务接口250个，服务调用次数超450万余次，服务于龙岗区各个大数据应用，如事项“秒批”、视频门禁、社区警务、智慧怡锦、智慧南坑、龙岗健康在线、掌上龙岗、智慧城区智能运行管理中心等。