数博-—-可量身定制的数据治理平台

数博—可量身定制的数据治理平台在大数据浪潮下，大数据平台建设如火如荼，大数据平台建设本质上是数据的建设。由于数据量逐渐庞大导致的一系列问题，使很多用户意识到数据治理的重要性，因此数据治理也逐渐在各行业大数据平台建设中引起极大的关注。目前大数据平台的突出问题主要体现在数据结构、网络环境的复杂性以及数据不准不全、不深不细、数据应用场景缺失、数据标准不一致等方面。针对上述问题，北大软件自主研发了以大数据采集、融合和治理为主的数据资源管理平台——数博数据治理平台。数博数据治理平台采用主流的分布式存储、大规模并行计算和统计学习技术，支持流计算和批处理等数据处理方式，满足政府多源异构数据的采集、基于动态本体的数据融合、大规模数据资源的存储组织等需要，同时支持数据资源应用和数据资源运营等多种应用场景，可根据用户的需求量身定制。在数据采集方面：平台主要在多源异构数据采集的融入、分布式存储和分布式计算等技术方面有针对性地进行加强，在1个月内有效实现了130多家单位250多个业务系统的互联互通，完成了近2万个数据集，2.2亿条信息的汇聚存储。通过制定88套清洗融合分析模型，对原始数据进行清洗融合，形成涵盖多业务领域的各种主题资源库。在数据存储组织方面：平台构建数据隔离层、脱敏层、共享层、监管层，有效实现数据资源在采、存、管、用过程中分级授权、脱敏共享、水印追溯和颗粒化定制等状态中的全面保护，保障数据安全运行。在数据应用建设方面：基于平台提供的数据监控、画像和检索等基础工具，可构建业务图谱、领域图谱，实现管理对象和业务主体的全息画像，通过基于自然语言处理技术的智能检索，有效降低信息获取的门槛和难度，为业务智能化、决策辅助、趋势洞察等提供了大数据增值服务。数博数据治理平台自2018年在某部委上线以来，先后构建了数据中心、调度中心、调度大厅和数据服务大厅。重点解决元数据不准不全、主题数据结构不合理和应用场景缺失、数据共享流通不畅和供需信息不对称等建设过程中的阻碍性难题。某部委顺利实现内外数据资源的有效汇聚、开放共享和集中管控，提升数据资源服务的水平与效能。数据治理不是一个临时性的行为，而是一项基础性的工作，需要从战略上落实，从上到下进行推动，进而使数据创造更多价值。下一步，北大软件将以数据安全为基石，提供高附加值数据服务，持续打造具有定制化特色的数据治理平台，为数据建设保驾护航，构筑稳定之基。关键词：数据治理丨数据应用丨数据建设丨数据平台