大数据在水电工程行业的应用v1.1

2015年8月赛迪顾问股份有限公司中国电建贵阳勘测设计研究院有限公司大数据在水电工程行业的应用研究目录1大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345大数据概念的提出•最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。•2011年，麦肯锡出版了研究报告《大数据：创新、竞争和生产力的下一个新领域》，产学研界对“大数据”的关注达到历史性新高度。•麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。•互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。•越来越大、越来越快、越来越复杂，数据特性的演变和发展，催生了一个全新的概念——大数据。IBM定义大数据的3个特征：数量、种类和速度IDC定义大数据的四大特征(4V)：海量的数据规模(Volume)多样的数据类型(Variety)快速的数据流转和动态的数据体系(Velocity)巨大的数据价值和低密度(Value)Mckinsey定义：量极大，无法用常规数据软件进行获取、存储、管理和分析的数据集1P=106G1Z=1012G大数据的定义•结构化数据：存在于关系数据库中，多年来一直主导着IT应用；•半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础，这也是谷歌和百度存在的理由；•非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。更广的信息范围新的数据与分析类型实时信息来自新技术的数据非传统形式的媒体大数据量社交媒体数据最新流行词*2012年IBM对95个国家中26个行业的1144名专业人员调查结果大数据的范围描述技术海量数据存储技术分布式文件系统实时数据处理技术StreamingData流计算引擎数据分析技术TextAnalyticsEngineVisualDataModeling自然语言处理、文本情感分析、机器学习、聚类关联、数据模型数据高速传输技术服务器/存储间高速通信InfiniBandHadoop，x86/MPPMapReduce搜索技术文本检索、智能搜索、实时搜索EnterpriseSearch大数据涉及的关键技术能源与公用事业•智能电表分析•资产管理零售•全渠道营销•实时促销司法执法•多点监测•网络安全检测交通运输•物流优化•缓解交通拥堵金融服务业•欺诈检测•360°客户视图数字媒体•实时广告定位•属性分析健康与生命科学•病历分析•疾病监测通讯•客户资料货币化•网络分析&优化大数据已应用于各行各业目录7大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345全球进入大数据时代，数据呈现爆炸式增长趋势随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长信息处理技术的发展使数据价值能够被更好地挖掘和利用传统的数据处理技术已经无法应对新的挑战来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍各国政府高度重视大数据，上升到国家战略高度美国：奥巴马政府3.29宣布“BigDataResearchandDevelopmentInitiative”将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：工信部物联网十二五规划信息处理技术作为4项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等贵州省开放政府大数据实验2014年6月,贵州省政府出资1亿元,成立云上贵州大数据产业发展有限公司,专门运营政府搭建的云平台，并展开招标，服务器选择了浪潮,机房选择了中国联通,操作系统选择了阿里。在该平台中，基础设施层、系统平台层需要政府主导去做；应用层、增值服务层、智能终端层则应该更多地交给市场。2015年4月14日，全国首个大数据交易所——贵阳大数据交易所成立，用于政府、企业之间的数据交易。秉承国有控股、混合所有制、百分百市场化运营管理的体制，不同品种的数据根据品种、时间跨度等实行不同的价格机制。2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会（简称数博会）于5月26日在贵阳拉开帷幕，阿里巴巴、惠普、富士康等知名企业参展。李克强总理在贺信中说：“数据是基础性资源，也是重要的生产力”，“中国是人口大国和信息应用大国，拥有海量数据资源，发展大数据产业空间无限”在过去一年里，贵阳奇迹般地创造出五个“中国第一”—中国首个大数据战略重点实验室、中国首个全域公共免费WIFI城市、中国首个块上集聚的大数据公共平台、中国首个政府数据开放示范城市和中国首个大数据交易所。贵阳市已经成为国内大数据应用的先头兵12水电工程行业遇到大数据水电行业数据特征水电勘探设计工程数据的类型众多，不同类型数据包含的信息各具特点，综合各种数据所包含的信息才能得出工程项目真实的地质状况。水电行业面临的大数据问题水电工程行业企业对大数据产品和解决方案的需求集中体现在：可扩展存储、高带宽、可处理不同格式数据的分析方案。对贵阳院拥有的数据，进行全面深入、实时的分析和应用，是贵阳院应对新形势下的挑战，避免沦为大量数据，而不是大数据的的关键大数据为贵阳院带来新的机遇对数据的有效利用日益成为贵阳院进一步发展的关键知识共享：把项目的数据（建成、坝高、材料、建设工期、造价等）、经验、知识全部共享，提高知识资源利用价值。业务创新：对市场保持足够的敏锐度，及时捕捉市场空白，并迅速作出响应决策支持：多角度、多层次、多方面、多维度展示工程过程产生数据，为项目决策、生产经营提供决策支持。大数据将成为贵阳院发展的核心驱动引擎目录14大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345项目目标与工作范围项目目标在调研大数据建设外部经验和内部需求的基础，构建水电工程大数据框架，梳理贵阳院大数据应用场景，全面分析贵阳院大数据应用的可行性，为贵阳院水电工程信息一体化建设提供新思路。工作范围项目范围如下：1、调研大数据在其他行业的最佳实践和建设案例，分析贵阳院对大数据高级应用的需求，总结水电行业大数据应用的特征和要求，形成贵阳院大数据高级应用需求分析报告；2、研究适合水电企业的水电工程大数据框架，全面支撑大数据应用；梳理贵阳院大数据高级应用场景，并选择典型场景进行分析。15大数据平台目标架构及定位准实时采集批量采集Hadoop平台MPP，基于X86平台主数据仓库分布式数据库基于X86平台数据采集（云化ETL，流数据处理、爬虫）数据层获取层能力层精细化营销智能运营物联网应用应用商店客服应用基础分析能力数据挖掘能力实时分析能力自助分析能力多维分析能力数据共享能力指标应用报表应用主题分析专题分析互联网CATIA半结构化、非结构化数据OAERP财务人力项目管理业务平台结构化数据数据源分布式文件系统HDFS记录明细数据HBaseM/RHive记录汇总数据数据统一服务和开放SQL、FTP、WS、MDX、API、……分布式数据库（MPP）：存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。主数据仓库（与MPP合设）：存储指标数据、KPI数据和高度汇总数据。Hadoop云平台：负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。数据开放接口：向大数据应用方提供大数据平台的能力。数据采集（ETL）：负责源数据的采集、清洗、转换和加载包括：1、把原始数据加载到Hadoop平台。2、把加工后的数据加载分布式数据库和主数据仓库应用层目录17大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345与大数据应用相关-BIM技术政策推进：2011年住建部《2011年~2015年建筑业信息化发展纲要》2014年住建部《关于推进建筑业发展和改革的若干意见》2014年上海市《关于在本市推进建筑信息模型技术应用的指导意见》三维设计可视化，方便多方沟通便于有限元、CFD等数值模拟计算多专业协同保空间协调防冲突灵活的设计变更可在设计阶段便捷考虑经济性建筑性能分析日照分析、能耗模拟、声学计算、视线模拟、碰撞检查日照模拟自然通风系统模拟热能环境模拟受风作用的流体力学模拟大数据与BIM结合-仿真计算除建模进行结构计算分析外：大数据与BIM结合-项目管理精细化建筑信息模型施工模拟工程数量资源消耗工程造价变更设计物资采购验工计价限额领料与大数据应用相关-GIS技术一个GIS项目包括环节：定义一个问题获取软件或硬件采集与获取数据建立数据库实施分析解释和展示结果GIS是一种特定的空间信息系统：在计算机硬、软件系统支持下，对整个或部分地球表层（包括大气层和地下）空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述。大数据和3DGIS融合，实现车站和线路的一体化设计以及施工模拟、监测大数据与GIS结合-设计施工一体化大量的不相关信息(多角度反映事物特性)深度复杂分析（机器学习、人工智能等）对未来趋势和模式的可预测分析(数学、力学模型)数据价值密度较低（绝大部分数据无应用价值）与大数据应用相关-知识管理土压力大数据与知识管理结合-建模分析、协同共享c.建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）非结构化数据数据获取结构化数据分析应用数据集市数据集市EDW结构化元数据Hadoopa.建立非结构化信息的标签、摘要、索引、日志、内容等b.提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合ODSSQL与大数据应用相关-BI技术关系数据库引入对XML的支持仍然无法有效处理ETL主要关键技术自然语言理解，文本分词、语义分析，情感分析或者大规模计算技术非结构化数据索引技术，如搜索引擎倒排索引技术多媒体处理，包括图像识别，语音识别，多媒体索引等技术……大数据与BI结合-实时数据分析实时数据分析-经营风险控制27实时数据分析-客户360分析28实时数据分析-运营状态监测利用大数据探索实现大坝、发电等基础设施（设备）运行状态信息库的充实和监测管理的准确。水电行业需要储备规模巨大的状态库，部分国家正在将大数据技术用于基础设施运营状态监控，其收集到的数据除了解基础设施的运行状态提高运维效率以外，还可用于风险预警、应急指挥等管理。物联网技术的发展使人与物的沟通成为可能，物联网对物体状态的实时反馈满足了大数据的全数据、高频采样特点，只有大数据技术才能对这些数据进行分析。中国电子信息产业发展研究院云平台是基础设施架构云平台如何整合既有BIM、GIS系统？大数据是核心资产如何获取多种类、可靠、标准化储存的信息数据？分析、挖掘是重要手段数学理论、方法是基础发现、预测是最终目标新知识、新方法研发运管模式是支撑水电工程领域如何集成研发和应用？大数据应用研究方向华为大数据一体化平台京东大数据平台目录33大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345项目总体咨询流程上级信息化战略贵阳院业务战略企业内部访谈和调研需求分析行业调研大数据技术发展趋势大数据技术框架设计应用场景设计可行性研究完善启发参考大数据应用最佳实践启发参考谢谢！