搜索
拨开“云”层看大数据宝德Bigdata案例分享Dept:云计算事业部By:李强2014-02-15汇报提纲大数据市场发展趋势大数据行业应用宝德Bigdata产品宝德Bigdata案例分享麦肯锡列举的颠覆性技术及其潜在的经济影响程度云计算，决定未来经济的12大颠覆技术之一中国云服务市场规模中国大数据市场趋势大数据数据技术与服务预估,2016中国市场大数据技术与服务收入,2011年复合增长率，%,2010-20162012IDCSource:ChinaBigDataTechnologyandServices2012–2015Forecast&Analysis,IDC#CN2670201U大数据行业应用6应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）•纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；•横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；•注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造智慧城市媒体、移动互联网政府大数据行业应用风起云涌的创新革命性大数据应用医疗•电子病历的实时查询、搜索和实时共享•医疗影像数据的存储和检索•疾病的趋势分析，流行病告警•计算机辅助诊断（疾病分类等）•药物效果分析•药物相互作用（副作用）分析电信•详单和账单的采集、存储、实时查询和统计•用户上网记录的采集、查询、统计•用户行为分析，套餐推荐•用户流失性分析•3G网络优化，流量优化，网间优化•基站参数采集和分析公共部门•智能交通系统：交通信息的实时采集、实时统计和实时查询交通信息的实时分析，例如区间测速交通状况的模式分析和优化•智慧城市安保系统：图像视频的存储、检索和比对•物联网：传感器数据的实时采集、实时分析和实时告警金融•非结构化数据（例如签名、影像等）的存储和检索•准实时的交易统计和分析•交易相关性分析•客户风险分析•交易监控、合规分析、法规遵从制造•设备参数采集和监控•感器数据实时采集、分析和实时告警•失效分析和损失预估•预测性分析零售•统计和分析:准实时的售卖点销售统计•决策支持：从库存管理、价格制定到新店选址•新的商业/服务模式：定向广告、优惠券、日常生活助理等数据库(Oracle,SQL,mysql)文本,字符串大量的小文件,适度大小的存储随机读写访问可预计稳定的容量增长结构化的块数据和文件数据传统NAS和SAN主要应用这些数据的特点：有不可预知的暴发增长单位时间内极大的数据流量需要有序的读写传感器数据文档卫星遥感音乐音频文件交易记录计算机建模视频和图形非结构化数据数据仓库Bigdata处理平台应用X86架构产品宝德Bigdata产品架构—总体框图宝德Bigdata性能宝德Bigdata智能交通案例分享1.业务描述：•年过车信息数据量达数百亿级记录规模•市局和区县的数据中心两级架构，分布式存储，集中管理。•支持多条件组合快速查询：卡口名称、车道名称、车辆类型、车牌类型、车牌号码、车身颜色、车牌颜色、车速范围、车长范围、号牌段范围、时间范围。•支持海量过车信息的模糊匹配检索。•支持各种统计分析、数据挖掘：车辆违章率统计、过车识别率统计、套牌分析、关联性分析、黑名单等2.系统需求：•数据量（过车记录+违章图片+数据冗余+异地容灾）：~6PB•数据采集终端：12000个，写入性能24000记录/秒•用户数：1000案例分享：南京公安IntelHadoop集群约400台服务器每台服务器配置12块1TSAS硬盘，48GBDDR3内存，两路八核Intel至强服务器集群性能：写入100000条记录/秒，20000主键查询/秒系统特点：解决了海量过车信息（结构文本+图片）存储问题。解决了分布式数据查询问题。系统提供了易于使用的API，方便进行二次开发。系统做了较多优化，性能很好的满足了项目的实时性要求。系统的稳定性好。集群规模及指标及特点智能交通应用技术架构宝德Bigdata部署在南京公安局数据仓库体系结构抽取、清理装载、刷新公安数据库数据仓库管理系统--数据立方Hadoop等大数据库应用系统服务OLAP服务器OLAP服务器交管数据等查询决策者等报表违章等分析实时监控等元数据管理监测、运行与维护工具-hive套牌车等挖掘……数据源数据存储管理-数据集市OLAP前端展示交管数据库文档视频资料云存储Oracle，mysql等其他数据库….资源整合智能代理内部资源智能代理支撑平台内网门户外网门户业务应用安全平台数据资源应用数据库数据违章等查询安全认证体系资源目录库共享数据库决策数据库共享交换流程管理资源管理体系查询业务决策支持文件智能代理业务文档指挥调度公众领导业务人员公安数据视频数据UNIVERSITYUNIVERSITY交管数据…分析业务管理员数据共享丰富的报表系统展示支持丰富的各种报表展示，清楚给决策者直观的展示，业务使用者简单高效的展示页面。基于海量数据进行车辆管理分析实时路况信息区域号牌管理碰撞分析智能交通成果违法车辆追踪效率提升通过海量数据实时分析处理功能能将违法车辆数据定位时间由小时级缩减为分钟级甚至秒级恶性交通事故死亡人数减少通过监控系统收集车辆信息并且实时分析，能够对事故高发车辆（如工程货车）进行行为监控，降低恶性事故率。道路拥堵率下降通过路况监控设备收集路况信息并实时处理，能够精确绘制道路拥堵线圈，提供交管部门快速处理突发事故，并提供给大众平台供驾驶员参考从而疏导车流宝德Bigdata智慧城市案例分享案例分享：镇江云神大数据构建智慧城市宝德Bigdata部署在镇江云神智慧城市灵活便捷安全广泛合作更少污染和更完善社会服务更有吸引力生活质量更高“智慧城市”具备特征智慧城市成果宝德BigdataIPTV案例分享指标性能参数总吞吐量（与节点规模成正比）35个存储节点可提供不低于12GB/s的整体性能大文件4GB写入速率1GB/s大文件4GB读出速率800MB/sNFS、CIFS、FTP服务接口读写性能400MB/s可同时任意损坏节点数采用1:1副本容错，可同时损坏1个节点云存储平台为本次云媒资系统总体解决方案的一部分。主要针对海量的办公文件、关键数据、知识库文件、音视频文件、共享资料及其它各类数据的集中存储与共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。为云媒资系统数据存储提供便捷、统一管理和高效应用的基础平台支撑。项目背景项目挑战案例分享：佛山广电两路x86服务器（基于Intel®XeonE5600系列处理器）NameNode节点：2台DataNode（数据存储节点）：35台Zookeeper节点：2台集群监控节点：1台录播服务节点：24台Web查询应用服务节点：4台网络交换设备机框间通过万兆交换机连接，以完成快速的数据交换Intel®Hadoop发行版满足高性能的数据导入和快速查询。稳定、易于部署和管理的企业级方案。系统部署云存储系统部署宝德Bigdata部署在佛山广播电视台广电传媒成果90天的数据，播放数据7亿，非现编数据3亿，总估计在10亿每个表有20多个字段，一半字符串类型，一半数值类型，一行数据估计2000Byte每天50000万行，原始数据每天10T，100天是1PB的数据抽取样本数据1000万行，导入数据集市，数据量在180M500亿数据的若全部导入需要9000G的量，压缩比在11:1假设同时装载到内存中分析的量在1/3,那总共需要3000G的内存数据源及数据备份宝德愿与您一起携手，运用我们的经验、技术和资源，共同创造中国云计算之路。宝德科技您的最佳伙伴官方微博官方微信