日电东软私有云-大数据解决方案031929

单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT大数据解决方案创造数据的价值单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级1.WhyBigData2.WhyNNIT3.解决方案详细内容4.案例2单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级1.WhyBigData3单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级数据爆发时代的到来通过媒体流通的信息量的变迁比特数（×1017）【出处】2010年度信息流通统计调查报告书未被利用的信息19982000200220042008200004000060000800000被利用的信息量流通的信息量2006■2025年,社会的信息量爆发为06年的200倍！■今后如何利用大量未开发信息来创造新价值，是我们的课题多媒体信息网络电影/图像电视机・收音机社会媒体等非结构化数据的增加企业内信息交易信息日志信息模拟数据数字化传感器・机器等生成的信息图像/各种测量数据未被利用的信息比例99.4%4单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级信息时代无所不在的数据来源云计算中心商业旅游科研工业农林水产物流金融机构大厦公共设施住宅学校医院宾馆车站能源站商店回收设施工厂城市管理基础设施通信能源交通水学习生活工作移动互联网放送固定手机新能源煤气大规模集中电源蓄电池铁道航空海运道路上水处理下水处理产业排水处理5单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级大数据的商业价值美国第二大百货商Target通过数据分析帮助销售额提升超过50%广告信原有的美国婴儿用品营销:根据公开的出生记录在婴儿出生后，海量的广告促销Target的基于大数据分析的营销:分析消费者的行为，对孕妇进行提前促销购买无香护手霜,善存钙片等分析数据广告信6单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级大数据技术的应用行业7搜索社交游戏视频流通电信医疗交通公安制造航空电力金融民生核心～２０１２２０１２～单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级2.WhyNNIT8单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级大数据平台整体及NNIT注重领域处理大量数据处理多媒体数据数据库分布式处理面部识别图像分析数据挖掘语音识别：：运营商收集处理数据保健金融能源交通・物流安全推动人・物・IT系统之间的互动互联网数据WebDBLog传感器数据统计分析数据挖掘②对应激增的数据③处理不同类型的数据①从传感器・机器收集信息←NNIT注重领域提供大数据处理平台设计/构筑服务(使用NEC及开源产品)定制开发大数据处理系统(可能需要与NEC其他部门或其他公司合作)9单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级面向的客户NNIT大数据平台的潜在客户具有以下特点：有大量的文件或者数据需要处理/存储/访问例：医疗影像、地图文件、GPS记录、电商网站的海量图片非ＯＬＴＰ(非面向实时交易的系统)例：银行BI、谷歌街景、FaceBook等不会频繁修改已有数据内容例：ERP系统不适合使用10单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT大数据解决方案特点高性价比・使用通用硬件比使用存储设备节省３０％以上便捷・平台管理通过专用图形化管理系统ＯＤＰＭ，操作便捷・通过挂载可在１分钟内开始应用系统与平台间的文件交互而无需修改应用易扩展・在管理系统上简单操作即可通过增加节点来提升系统存储容量及性能・平台存储量从１０ＴＢ扩展到１０ＰＢ也只需简单增加节点即可完成・平台性能随节点增加线形增长整体解决方案・我们提供从系统整体设计优化、定制开发到数据迁移、系统实施等相关服务的整体解决方案11单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级ＮＮＩＴ大数据平台ODPF体系12MapReduce分布式处理组件ＯＦＳ分布式文件存储系统ＯＤＢ*1KVS型分布式DBＯＤＰＭ图形化的平台管理系统*1：现版本ODPF的分布式数据库主要功能以Hbase为主上图为平台管理系统ODPMＯＤＰＦ其他Hadoop生态圈组件SQL支持，数据迁移，ETL等单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级平台综合管理系统ODPM・整体一站式管理-管理作为前端主机的web/DB服务器(可为虚拟机)-管理NNIT大数据平台的整体配置/硬件/组件/运行状态等-管理平台中的文件和数据・丰富的管理功能使平台运用更便捷-Wizard向导功能：初期安装，节点追加等-配置管理：平台的初期设定及修改等-运维管理：监控、报警等-数据管理：文件及数据的访问控制，副本管理，内容检索等13前端主机管理界面OFSVolume管理界面单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级文件系统OFS14WebServer应用程序直接读写存放在平台上的文件和数据JmeterJmeterJmeter数据节点JmeterJmeterJmeter数据节点DBServerWebServerDBServer分布式文件系统(从KB大小的数十亿海量地图图片到GB级别的数据库文件)ＯＦＳ・便捷：无需修改前端应用程序即可连接OFS进行读写・高扩展性：通过简单追加数据节点即可线性扩展存储容量与性能・高性价比：硬件使用通用x86服务器避免昂贵小型机和存储设备・高可用性：自动副本管理机制对应硬件故障单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级3.解决方案详细内容15单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级服务内容（基于数据生命周期）数据生成数据存储数据处理数据应用分布式数据库，分布式文件系统采集、监测软件智能搜索与分析软件系统集成、IT基础设施服务咨询实施服务信息安全平台设备（网络设备、服务器等）采集设备信息服务硬件基础软件应用软件NNIT提供部分NNIT与母公司或合作伙伴共同提供部分16单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级解决方案内容#项目内容1信息服务系统集成整体解决方案2咨询顾问数据应用咨询3平台开发咨询4IT基础设施面向私有云的IDC需求设计5IaaS/PaaS6程序开发数据层应用程序开发7性能测试AP/DB/Filesystem层面的性能测试8应用软件采集，检测软件9智能搜索与分析软件10基础软件数据库SQL+NoSQL11非关系型数据库NoSQL12分布式文件系统13数据处理中间件14系统管理15硬件数据采集设备各种传感器，摄像头等等16数据平台设备网络设备，服务器等NNIT注力领域17单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级解决方案内容（信息服务）#项目内容备注1信息服务系统集成整体解决方案整合母公司及合作伙伴资源提供一站式服务2咨询顾问数据应用咨询帮助客户找出数据的附加价值3平台开发咨询根据客户需求提案大数据平台4IT基础设施面向私有云的IDC需求设计基于业务发展规划的IDC需求设计5IaaS/PaaS使用日电东软IaaS/PaaS作为基础平台6程序开发数据层应用程序开发对应用程序中需要与数据库及文件系统等平台层交互的数据层进行开发7性能测试AP/DB/FS层的性能测试性能测试及系统优化18单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级服务内容（基础软件）#项目内容备注10基础软件数据库SQL+NoSQLMySQL+ＯＦＳ,IFS(InfoFrameRelationalStore,byNEC)等11ＯＤＢ，Ｈｂａｓｅ12分布式文件系统ＯＦＳ可通过ＮＦＳ直接操作文件或应用系统使用ＡＰＩ操作文件13数据处理中间件HIVE,Pig,Sqoop等14平台管理ＯＤＰＭ图形化的平台综合管理系统19单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级目录4.案例20单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(1):移动位置服务21作为移动位置服务的后端平台提供文件及数据的存储和访问单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(1):移动位置服务22内测版:open.unistrong.com初期系统规模:14台机架式服务器（其中8台用于大数据集群）初期数据规模:100T・20亿个文件(30KB/个的地图图片及500KB/个的卫星实景照片)・数十万台车的GPS信息(2条/分)・用户上传的照片等文件系统性能：・地图访问并发：受限于互联网带宽(平台内部支持万兆数据交换)・GPS数据上传并发：每数据库节点1400条/秒单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(2):油井管理平台云平台用大数据处理平台分析处理来自物联网传感器的海量数据23单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(2):油井管理平台24初期系统规模:2千口新式油井(国内油井数7万口)初期数据规模:容量:2TB+,数据条数:二十亿条以上(每口井每分发送2次1K数据包，保存1年以上)系统效果：提高生产效率及管理水平●中短期故障(结蜡，卡泵，短路，漏液等)自动分析，●中长期生产经营信息(产量，电力成本控制等)自动分析单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(2):油井管理平台251亿条数据:3台8Corex86服务器10亿条数据：5台100亿条数据：10台对全数据进行带有模糊匹配查询的分析扫描任务单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(3):食品溯源消費期限零售企业流通企业成品制造企业原料制造企业养殖厂消费者农户加强监管·杜绝假冒伪劣产品提高安全安心的附加价值共享·掌握运输和保管状态食品溯源平台通过整合供应链上的各个环节达成对各种食品的综合管理26单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级NNIT案例(3):食品溯源作为山东某食品集团企业内产品溯源，年产品量亿级别，将来扩展后变成地区内数百家大中规模食品企业的溯源平台初期数据规模:包含原料在内的数据条数十亿级别系统用途：消费者对单个产品进行包括原料在内进行溯源精细生产管理BI分析27单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级参考：知名hadoop用户28它们都在使用改造过的hadoop平台单击此处编辑母版标题样式•单击此处编辑母版文本样式–第二级•第三级–第四级»第五级