大数据资源服务平台

大数据资源服务平台设备清单及技术参数一、货物清单序号产品名称内容单位数量1全文检索系统1.全文检索基于汇集库和全文库，提供片段信息的全文式检索及全景电子档案展现；2.提供全部资源检索、档案检索等全面智能的检索方式和深度立体的检索方式；3.提供撞线分析、服务资源检索等高级个性检索方式。套12应用门户系统1.提供个人门户、应用超市、应用导航功能并实现单点登录功能；2.与公安PKI/PMI系统无缝对接，实现用户身份统一认证；3.提供独立的权限管理流程、应用发布、应用审核、应用统计管理、数据安全性管理和日志管理。套13基础专题关系应用软件对本市采集的社会数据进行专题分析，创建专题库以及对应的专题分析模型。套14汇集库建设服务建设汇集库，形成数据集市体系，汇集、清洗、标准化平顶山市公安内外部数据（结构化数据不少于6T，不少于60亿数据；照片及非结构化数据；社会单位数据等）；按需建设全文库、多个专题库和碰撞库等支撑应用展现套15数据资源目录管理系统1.公安标准梳理（限定词、数据元、代码等）。2.按照公安标准对数据进行对照，结合相关信息编目，形成标准目录（不少于900个标准目录）3.统一注册各种类型的数据资源4.对数据质量、数据运行情况、数据追溯进行管理5.包含商业版数据资源管理系统1套套16数据资源监管系统1.提供大数据ETL整合工具，对各类源头数据库、文件及其它数据类型进行数据抽取，并在过程中进行清洗转换，将结果写入汇集库。2.对ETL进行集中调度和监控（不少于1500个ETL任务）3.包含商业版数据整合管理系统1套套17资源服务总线系统1.主要实现对本地应用的统一接入，减少应用系统对底层数据库的直接访问，提高数据安全性，解决全市以及协作区域间信息服务资源的简便对等开放、共享标准规范、本地信息资源集中管理、面向应用服务的统一接入、高可用服务支撑能力、安全审计等一系列问题。2.提供对应的查询、比对、交换、布控服务接口。3.对总线开放的节点、目录、资源、进行运行监控、日志管理。4.提供平台级别间对接。5.商业版资源服务总线系统1套。套18运维服务1、公安内外部数据进行数据拉通的数据实时运维及巡检工作；2、负责维护数据交换，保证旅馆、网吧、卡口等数百个数据交换的正常运行，保障交换数据能正常汇入资源库；3、提供两年一人驻场运维服务,第三年远程支持。年29互联网信息采集系统结构化数据导入1、开发结构化数据导入程序，并定义结构化数据的标准格式。2、将按照标准格式整理的结构化数据导入程序并保存在公安网汇集库中。套13、实现导入异常预警，和异常准确定位的功能。零散线索情报录入1、开发零散线索情报录入程序，并定义录入的格式。2、工作人员在完成零散情报录入工作的同时，将涉及的嫌疑人员、录入人员等相关人员信息录入在程序并保存在公安网汇集库中。采集数据源扩展提供多种可靠采集技术手段，支持扩展多种数据源头采集工作。如物流信息、汽车租赁、就医信息、景区信息、征地纠纷、担保受损、涉民教师等。大数据辅助决策平台结合公安工作现状及后续工作需求，定制开发大数据辅助决策平台，通过定制开发多个专题信息大屏动态展示我市治安防范能力，打击犯罪能力，社会治安管理和社会数据资源整合成果等。10社会数据研判预警系统1、实时布控：通过上传需要比对的人员数据，与本地重点人员名单、本地库、请求全国服务数据或其他地市协同数据进行比对，系统比对完成之后，自动将比对结果以消息推送的形式传递。2、数据采集：对结构化数据、图片、视频等类型的数据上传，数据实时传送至资源库。3、比对预警：通过app的比对功能自主比对，自主比对以本地重点人员名单和本地库为依据，比对结果实时显示预警。4、拓展应用：通过提供开放性的API接口以供后续人像应用、电子签章应用、图片应用、音频应用、视频应用的接入，提供对接。5、预警布控数据范围包含社会数据采集的相关数据和公安部门指定的数据。6、与本地重点名单和本地库数据实时比对。7、与全国请求服务和其他地市协同数据延时比对。8、通过本地库或本地重点人员名单比对完成的结果可通过服务总线进行分发共享。套111数据对接中转机通过对接采集点数据源进行数据抽取，并将数据上传至前置服务器。台1012前置服务器采集点数据汇集载体，安装数据库用以接收外来数据，安装数据抽取/接收程序。台413防火墙对流经它的网络通信进行扫描，能够过滤掉一些攻击，以免其在前置服务器上被执行。防火墙还可以关闭不使用的端口。而且它还能禁止特定端口的流出通信，封锁特洛伊木马。最后，它可以禁止来自特殊站点的访问，从而防止来自不明入侵者的所有通信。台114人像数据采集终端采集人员身份证信息及现场人像拍照信息。套2015万兆交换机本项目交换机配置为24个10GESFP+口(配置8个10GESFP+光模块)，配置交流双电源台116终端采集路由器主要应用于数据库不在信息采集点（商家）本地的实例中。功能是信息采集点（商家）部署终端采集路由器，通过对经过路由器的报文进行深度分析，并抓取有用的社会信息。个20二、详细技术参数要求序号货物名称技术参数详细技术要求1全文检索系统★全文数据支撑提供不少于30亿数据或不少于600项标准数据资源，并提供不少于800个ETL任务以增量任务形势将数据资源配置进入全文检索系统。提供进入全文检索系统的所有数据资源的检索功能，不少于600项资源独立检索；提供人员关系计算同户人、同住宿、同上网、同机构分析时，每项不少于200万数据参与计算；车辆行车轨迹、人员出行、留宿轨迹分析时，每项不少于200万数据参与计算。提供不少于600项标准数据资源，每个资源不少于20个字段的查询权重设置。提供不少于600项标准数据资源，每个资源不少于20个字段的查询权限设置。★技术要求要求采用分布式全文索引技术，为基础数据资源建立全文索引，满足对基础数据资源任意字段和全部字段的模糊检索需求。要求采用HADOOP技术架构建设对象专题库，可以基础数据资源按专题（如人员、案件前科等）进行分类重组整合相关信息。支持智能识别、智能提示、语义分析和行为分析等智能化设计。异地对接要求与请求服务系统对接实现异地搜索，需提供页面功能截图。要求与资源服务总线系统对接实现与异地公安搜索系统进行联盟搜索需提供页面功能截图。全部搜索要求针对资源、对象、图片等维度的数据资源进行关键词检索，系统后台自动进行相关度计算，并分别将这些维度返回的匹配结果进行分类展现，需提供页面功能截图。资源搜索要求针对本地资源和异地资源提供全部资源的模糊搜索、单个资源的条件搜索功能，以及针对异地共享服务资源提供请求服务查询功能，将返回命中资源目录和命中资源记录给用户，需提供页面功能截图。对象搜索要求针对本地、联盟对象提供全部对象类型和特定对象类型的搜索功能，命中结果按对象类别（人、车、案、组织机构等）分别展现其相关的基础信息、相关度分值、关注人数等信息给用户。同时能提供对象关注功能，及时推送关注对象的最新动态给关注用户，需提供页面功能截图。照片搜索要求基于检索关键字针对接入的照片相关文本信息进行检索，并返回相关的人员照片以浏览视图方式进行展现；支持对接第三方的人像比对服务，需提供页面功能截图。专题档案要求支持数据资源按专题（人、案件前科等）进行分类重组，采用“一人一档”的展示模式，实现对数据的关联组织与档案式呈现功能。超级档案的信息内容丰富，具备高价值的特点。以人员专题为例，主要分为基本情况、案件信息、人员关系、活动轨迹五个展示模块，需提供页面功能截图。轨迹分析基于人员、车辆等信息，实时计算出的当前轨迹落点，并依靠GIS地图动态活跃在地图中，需提供页面功能截图。撞线分析系统会针对检索内容进行分类预警，如某一时间段对某一人员或物品进行多次检索的预警提示，需提供页面功能截图。搜索引擎要求基于搜索服务接口，响应智能搜索系统客户端或第三方应用发起的搜索请求，搜索引擎依据参数执行搜索任务后返回结果给请求方。分层索引索引构建：要求基于Lucene实现索引构建，通过特殊的索引结构（资源、对象）实现传统数据库不擅长的全文索引机制，将数据源中的数据结合分词建立倒排索引，并依据具体的部署情况在搜索引擎服务器生成各层索引。索引入库：要求基于索引构建，通过任务调度引擎全量或增量生成资源、对象索引并保存到搜索引擎服务器。系统管理基础管理：要求提供应用和数据服务器的登记管理和集群管理功能，并可针对全文库节点和索引节点进行维护。模型管理：要求针对本地数据模型的结构和分类提供维护管理功能。索引管理：要求针对资源、对象索引的构建任务情况和数据量情况提供监控功能。日志管理：要求针对采集的日志信息，提供用户登录和相关操作日志的查询功能。统计管理：要求针对本地资源、对象提供种类、总量、增量统计信息的查询功能，以及在线用户数和系统访问量的统计信息发布功能。权限管理：要求提供系统功能访问、数据访问、对象搜索、档案访问的权限管理功能。红名单管理：系统应将红名单信息进行安全级别分类，包括多个等级；同时，对于用户也可进行相应分类，一级用户可以查看一级及以下红名单，各级用户都可查看本级相应红名单。红名单管理主要是根据平台名单中人员的安全级别进行过滤，从而屏蔽普通用户查阅、修改、删除重要人员的信息，需提供页面功能截图。性能要求1、精确条件查询，要求响应时间≤1秒；2、模糊条件查询，在1000万条记录条件下，要求响应时间≤5秒；3、全文库入库性能≥10000条/秒；4、单表数据量1亿以内，单个关键词搜索1秒内返回结果；5、全库（100张表以内）50亿数据量，单个关键词全库搜索3秒内返回结果，档案主要信息3秒内展示；6、200个并发搜索下，响应时间≤3秒。2应用门户系统★对接要求在满足实现功能的前提下，提供市局不少于3000个PKI／PMI接入应用门户系统。技术要求采用J2EE开发，采用Html5、JQuery技术，应用模式为B/S须与公安PKI/PMI系统无缝对接，实现用户身份统一认证操作日志的存储须满足大数据环境下的分析应用，所支持的数据库包括常见的关系型数据库之外，必须支持大数据应用所需的hadoop和MPP数据库等作为数据源应用门户须支持以负载均衡设备进行访问负载均衡的方式进行多节点部署单点登录支持用户通过公安数字证书登录应用门户，并且在访问应用门户的各项功能以及应用时，不再重复进行登录操作需完全支持PKI证书登录平台，并能够通过平台访问应用资源。除了证书登录之外，还需要提供用户名/密码的登录方式，以满足特殊情况下的应用需要，提供页面功能截图个人门户提供给每一个用户使用的个人应用门户，用户可以通过应用超市将所需的应用添加到个人桌面上便于使用，需提供页面功能截图。应用超市将用户常用的应用按照使用频度集中展示出来，用户可以自行调整其顺序和显示位置。此外，用户还能添加新的应用到常用应用中来，需提供页面功能截图。实现要求由于现有的数字证书中用户信息内容有限，所以系统获取的证书信息还需要与警综平台记录的警员信息相结合才能获取用户的行政区划、组织机构、警种类别等其他详细信息门户上发布的应用，可以按照应用名称、下载次数、使用次数进行排序查询注册申请：对需要发布到应用门户的应用进行注册登记，登记时须要确定应用的发布方、开发方、运维方和应用的部署信息。审核管理：由应用的管理人员对注册的应用进行审批，审批的过程包括应用可用性的检查。经过审核的应用会自动发布到应用超市中供被选择使用。应用情况监测：通过系统能够对应用的发布、使用情况进行浏览、查询，能够对使用评价、应用的次数进行统计，能够对应用的状态进行监控。应用状态监控：应用是否存活的状态进行监控的管理功能。应用状态的监控需要通过应用预设的状态接口由门户平台后台管理程序自动进行状态检测，并将检测的结果及时记录并反馈到应用状态监控界面，以提醒应用的管理和运维人员及时处置状况异常的应用。平台授权管理主要是指根据平台的实际应用需要，对用户进行使用权限的授权管理。平台的授权管理与具体应用的授权管理各不相同，平台的授权管理关注于平台各个组成部分的使用授权，而应用的授权则主要关注于应用自身的使用授权，