大数据可视化管理平台建设方案

大数据可视化管理平台建设方案随着大数据的日久累计，企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据，管理层常常望洋兴叹：要么企业自产的大量数据不能有效利用，无法提供决策依据；要么数据展示模式繁杂晦涩，无法快速甄别有效信息。如何将海量数据经过抽取、加工、提炼，通过可视化方式展示出来，改变传统的文字描述识别模式，让决策者更高效的掌握重要信息和了解重要细节，这关系到数据应用方的重大决策的制定和发展方向的研判。数据可视化可为上述问题提供理想的解决方案。数据可视化是指以柱状图、饼状图、线型图等图形方式展示数据，让决策者更高效的了解企业的重要信息和细节层次。大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多，今天以警务大数据为案例，分享数据可视化。以下是XX市警务大数据可视化案例。1、建设背景为适应互联网、大数据条件下对警务实战提出的新要求，应对当前复杂社会治安态势和反恐维稳工作面临的新挑战，满足情报指挥一体化运作和警务大数据实时显示应用的需要，破解当前我市分散化、单一化、离线化的展示模式与警务云发展趋势不相适应的问题，我局拟统一建设一套完整、灵活、实用的数据可视化平台,满足各级公安机关警务大数据可视化需求。技术模式上，引入时空模式、地图模式、多维模式、混合模式等多种方法对数据中心海量数据进行可视化展现，为数据分析、情报研判、指挥调度、领导决策等实战应用提供支撑。展现内容上，以热力图、动态图、GIS图等多种表现方式，针对人员、车辆的聚集、流向，警情、案件的分布等应用场景，提供可配置的可视化展现功能。应用终端上，既满足各级大数据指挥服务中心、勤务指挥室等大屏展示需要，也要满足PC端、移动端的个体展示需求。2、建设目标按照市县两级大数据指挥服务中心、派出所勤务指挥室及各专业警种大数据可视化建设需求，利用全市各类公安业务和社会数据，运用数据地图方法和可视化展示技术，搭建扬州市公安局警务大数据可视化平台，全方位、多层次、多角度展示分析全市反恐维稳、社会治安、警务工作质态等情况，要满足联合值守、情报研判、联合指挥、领导决策、数据查询等工作需要。主要包括以下三个方面：（一）警务数据综合汇聚。开发建设智能化、可视化的数据汇聚工具，梳理各类警务数据，按照不同的可视化场景需求，针对各类数据资源设计相应的采集、缓存和统计分析及处理方法，以信息要素、业务模型等多种形式，为实现多样化、可视化的展示提供数据保障。（二）可视化展示分析。为梳理出来的各种数据设计各种可视化图形样式，包括文字、图片、动画、视频、图表、地图、地图热点、图文组合、表格等各类基础图形，对于复杂的数据设计如拓扑图、关系图、张力图、热力图、撒点图、时序图、迁徙地图等数据可视全景图。同时，通过分析不同情况下的业务需求，明确需要获取的信息及关联的数据构成，针对实际业务情形设计出能够根据实时信息进行联动切换等各类操作的大数据可视化展示预案。（三）建设展示管理平台。建设统一的大数据可视化展示管理平台，包括数据汇聚管理、可视化组件、超高分辨率渲染引擎、可视化方案设计工具软件和操控切换控制软件等功能。能够满足民警通过简明的操作步骤抽取、配置数据源，对可视化组件进行拖拽、排版、数据源切换等，轻松实现大数据的查询统计及展示方案的新建和切换。3、技术要求（一）基于构件技术的系统搭建模式。面向构件技术整合传统的构件技术、模型驱动技术和面向服务技术。从构件的技术实现角度来说，应包含四个要素：构件本身、该构件的插口、构件与其他构件协作的能力、以及构件的使用者。（二）采用标准化接口。项目通过制定统一的接口标准规范，约束系统建设时技术接口的规范化程度，从而保障系统在建成后的标准化和可扩展化。（三）采用服务化调用。项目以服务的形式对系统中的各类资源进行服务化管理，在整合和扩展方面简化服务的调用工作，实现服务资源的远程访问和调用，并能够适应政府机构的业务扩展、机构扩展和人员扩展。（四）数据挖掘技术。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。（五）海量数据处理能力。海量的存储能力不仅要求存储系统具备海量空间，同时还要具备高可用性、高并发行、按需扩展能力。（六）分布式存储技术。能够通过增加存储设备的方式，对存储容量进行在线扩容，避免因为增加存储而导致的业务中断；需能够支持PB级数据的存储；需能够聚合服务器硬盘带宽，随着存储设备的增加，数据的存储带宽能够达到数百GB/S，有效提升数据的访问效率；采用数据副本策略，保证数据的完整性和安全性。（七）分布式数据库技术。布式数据库为长期积累的海量数据的查询、处理提供解决方案，需具有高速的数据加载性能、海量数据抽取和查询功能。（八）采用多维建模技术。针对可视化展示需求，对原始数据搭建多维度的可视化数据模型，解决大量数据在特定业务环境下的快速查询和多角度展示，以便得出管理决策的信息和知识。4、部署方式平台采用“集中部署、分级授权、独立应用”的方式，部署在扬州市公安局数据中心，面向全市各级公安机关授权应用。同时，应用程序需具备跨平台能力，能在各种主流操作系统和浏览器上运行，满足各种数据源接入服务:(1)文件数据源支持对主流csv,json,excel等文件格式的导入，接入可视化数据库，进行有效的可视化呈现(2)关系型数据库数据源支持对主流关系型数据库数据源接入，例如:Oracle、MySQL、Sqlserver。接入可视化数据库，进行有效呈现。(3)大数据数据源支持对主流大数据存储，例如Hadoop、Hive、HBase的接入能力，进行海量数据可视化。5、建设内容（一）可视化数据资源库建设1、原始数据资源库：从市局数据中心综合数据库抽取。2、可视化标准数据资源库：对原始数据资源库进行清洗、转换与标准化。3、应用服务资源库（专题数据资源库）：针对各类可视化应用场景、目标，存储各类专题、档案数据，形成面向各类专题应用的数据资源。4、配置管理资源库：对接市局信息资源管理服务平台，对可视化数据资源库进行管理。（二）要素类基础数据展示1、人员：主要包括不限于常住人口、暂住人口、旅馆住宿、上网人员、铁路旅客、民航旅客、从业人员、驾驶人员、学生信息、房屋出租户主、出入境人员、境外人员、涉警涉案人员、重点人员、利益诉求群体、社会面相关数据等。2、案件：多维度展示、分析挖掘展示等3、警情：多维度展示、分析挖掘展示等4、车辆：多维度展示、分析挖掘展示等5、情报信息：多维度展示、分析挖掘展示等6、警力信息：包括不限于实时警力、值班值勤人员、目标任务等。7、数据资源信息：展示实时的公安内外部数据总量、类别、当日实时增量等。上述展示资源展示结果应保证随库刷新，刷新时间不高于1分钟，个别实时性要求较高的警情、定位等数据刷新时间小于10秒（三）业务类复合数据展示（18类数据）按照省厅大数据指挥服务中心建设要求和市局大数据指挥服务中心大屏展示需求，主要包含18类警务数据，其中PGIS数据为基础支持数据，其它11类作为大屏常态显示监测的数据，剩余6类作为选择性显示数据。（四）大数据可视化展示场景预案根据实战需要，平台可预制多个警务大数据可视化展示场景，每个场景应由多个可视化组件构成，各类预案要能够满足市县大数据指挥服务中心、派出所勤务指挥室大屏、市局及各实战警种决策会商室及PC端、移动端展示需求，同时满足各类重大节日场景预案展示。本期项目建设应提供不少于20个预置场景预案，同时，根据公安业务需求，满足2天内完成节假日、重大事件等突发事件的突发场景预案。（五）可视化展示管理平台软件功能警务大数据可视化管理平台要能够实现展示预案页面设计、组件研发、警务数据管理，并实现超高分辨率快速显示及操作，实现对海量信息的可视化综合呈现。对各类业务系统的海量信息进行有效融合与梳理，基于超高分辨率电子地图综合呈现，实现信息的共享与工作协同。人机交互操作灵活，以多屏信息联动方式控制平台，同时不能影响大屏控制速度与灵活性。具体功能应包括以下几个方面：1、定制化集成展示。根据需要，将全市掌控的各类数据资源、业务应用通过可视化组件实现一致性呈现，一般业务系统的桌面图像、网页通过边框渲染实现一致性呈现，嵌入可视化展示平台；可部署在大屏工作站的已有业务系统的软件程序，通过额外边框渲染实现一致性呈现嵌入可视化展示平台；实现视频监控的实时接入。2、业务数据管理。平台应具备成熟强大的数据集成软件工具，支持对各种数据库和消息总线的对接，支持标准SQL语句和存储过程访问能力，要具备强大的数据处理功能，除了选择、过滤、分组、连接、排序这些常用的功能外，并支持通过Java、Java等常用开发语言进行功能扩展。平台可以将这些语句创建为通用统计分析方法，并进行良好的管理，同时能存储已创建的业务统计分析数据并进行处理。管理平台可由操作人员根据实际需要，通过简便的操作步骤对数据源进行增、删、改等管理，对所关注的信息快速统计查询和精准调用。同时，在平台上要能够监控各数据汇聚是否正常，发生问题时准确定位故障点。3、超高分辨率快速显示。平台应真实利用大屏整个物理超高分辨率，点对点等比显示充分利用整屏物理分辨率，采用先进的图像处理技术、智能缓存；显示、刷新快，画面平滑、实时同步。大屏超高分辨率渲染功能具体如下：（1）具备现有业务数据图表渲染能力，并可综合接入和集中显示。（2）具备现有业务系统图像的直接接入能力，支持通过信号处理器调用RGB、VIDEO、远程桌面和IP视频的信号窗口调用，可控制其在高分展示平台的叠加位置，并能通过边框渲染实现融合一致平滑画面效果。（3）具备现有业务系统应用窗口的直接运行和融合应用能力，可直接在高分展示平台硬件系统运行现有业务系统应用程序或调用WEB页面，支持以桌面程序窗口模式叠加在高分展示平台画面上，并能通过边框渲染实现融合一致平滑画面效果。（4）支持超高分辨率和高速显示刷新功能：真实利用大屏整个物理分辨率，采用高速图像处理技术整屏显示，全屏典型刷新时间小于5秒，并不随拼接规模增加而下降，保证业务信息高效显示。（5）具备全屏画面同步显示功能：全屏超高分辨率画面显示具有极高的同步性和平滑性，充分发挥大屏幕拼接墙超高分辨率海量信息显示的优势。4、可视化组件管理。背景、图表、控件、模板、仪表、地图等可视化元素均按照组件式管理、应用，根据场景、环境、终端的差异可以自主选择、自动适应，满足各种条件下的可视化展示需求。（六）可视化要求（1）系统应具备自研WEB可视化引擎，具备在复杂的WEB环境下，连接后端数据进行多维数据展现的能力，具备多类应用开发，方便定制基于场景的展示。（2）系统需要具备丰富的可视化组件，为减少部署成本，要求基于浏览器展示，用户随时随地查看系统展示效果，充分使用基于HTML5和CSS3的先进的WebGL和SVG技术，进行可视化呈现。（3）系统具备对多维数据进行多维展示能力，根据用户需求，在线配置展示维度，按需求展示。（4）系统具备基于浏览器展示基于3D建模的各类公安数据的展示。支持基于H5WebGL技术，在浏览器端呈现丰富的3D可视化组件，不依赖于任何浏览器插件。支持在GISWeb系统中，不依赖于任何浏览器插件，叠加3D可视化图层，例如：以时间维度的视角查看多个案件在地理信息上轨迹特性。（5）各类可视化组件具备按需配置的交互能力，例如钻取、数据联动等。（6）系统具备对静态和动态数据的可视化呈现能力。（7）多维数据可视化服务系统化多维数据接入、呈现。支持对多维数据系统化接入、处理、配置、可视化组件对接机制，将多维数据与丰富的可视化组件整合发挥主题分析与呈现作用。开放接入多维分析引擎。支持接入主流多维分析引擎（例如OracleOLAP）,获取多维元数据，展示元数据维度、粒度、指标项。支持用户按维度组合，以指定粒度呈现数据。在线维度操作：钻取、上卷、切片、切块、旋转。支持在不同维度上钻取、上卷，允许针对案件从不同维度上切片、切块展示。（