大数据技术及制造业应用47

Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|大数据技术及制造业应用主要内容大数据概述大数据在制造业的应用大数据架构实践123Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted2社交媒体Twitter12TB/天Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|3制造业波音737引擎每30分钟飞行产生10TB数据Facebook2亿张图/天交通枢纽机场每天生成几十TB乘客数据健康与生命科学流行病早期预警ICU监控安全监控行政管理多模式监控GlobalPulse建立了安全检测每日价格指数发现通货膨胀的苗头电信通话详单记录CDRs每秒7.5次呼叫近3万亿行数据零售Target采集分析用户零售信息智能化推荐产品金融服务欺诈检测360度客户视图能源基于对气象大数据的分析进行风力发展布局选址大数据时代的背景人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设备的发展，数据的产生在不断加快，利用数据的方式也推陈出新。“大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段。各行各业每时每刻都在生成海量数据基于大数据的应用正改变着我们的工作和生活Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|什么是大数据？4数据量大Volume•数据体量大：对计算和存储的要求，从TB级跃升到PB级速度快Velocity•生成速度快：实时性，必须快速识别和快速响应才能适应业务需求多结构化Variety•来源多：企业内部、互联网、物联网等•格式多：包括结构化数据，音频、图片等非结构化数据高价值Value•浪里淘沙却又弥足珍贵，虽然价值密度较低，但是价值点比较高统计表明，人类文明至今获得的全部数据，90%在过去2年内产生，标志着数字化时代全面来临。而电子商务、社交网络、传感器等还在源源不断的产生数据，预计到2020年，全球数据规模将会达到今天的44倍。大数据时代带来的三个理念转变1、样本=总体在大数据时代，可以分析更多的数据，甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。•19世纪以来，当面临大量数据时，都依赖于采样分析。但是采样分析是信息缺乏和信息流通受限制的模拟数据时代的产物。•高性能数字技术的发展突破了这种限制。与局限在小数据范围相比，使用一切数据为我们带来了更高的精确性，也让我们看到了一些以前无法发现的细节——大数据让我们更清楚地看到了样本无法揭示的细节信息。2、容忍混杂性研究数据如此之多，以至于我们不再执着于追求精确度。•传统数据处理追求“精确度”，这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以我们必须尽可能精准地量化我们的记录。•大数据纷繁多样，优劣掺杂，分布广泛。拥有了大数据，我们不再需要对一个现象刨根究底，只要掌握大体的发展方向即可,适当忽略微观层面上的精确度会让我们在宏观层面拥有更好的洞察力。3、因果到相关不再热衷于寻找因果关系，而是转而寻找事物之间的相关关系。•寻找因果关系是人类长久以来的习惯。即使确定因果关系很困难而且用途不大，人类还是习惯性地寻找缘由。•在大数据时代，我们无须再紧盯事物之间的因果关系，不再把分析建立在早已设立的假设的基础之上。而应该寻找事物之间的相关关系，让大数据告诉我们“是什么”而不是“为什么”。Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted5大数据对行业的影响中信银行利用互联网地理数据，提升广告精准度，实现与第三方的双赢阿里小微金融基于电商平台数据，打造信用体系，实现互联网金融创新Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted6大数据对公众的影响Google公司利用用户的搜索关键字，进行流感和登革热的传播预测。淘宝利用电子商务平台上的搜索和购买行为，进行产品分析和市场细分。Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted7大数据带来了思维的创新决策思维•更加重视各类事物的关联关系，不仅仅局限于因果关系•更加重视快速预测，立即采取行动而不是等一个精确的结论管理思维•数据使流程更加透明，有助于推动管理的扁平化，提升管理效率•数据使视野更为全局，有助于合理调配企业资源，提升管理效益商业思维•数据可以是一种产品，满足客户的信息消费需求，换取商业利润•数据可以是一种服务，以数据能力汇聚商业资源，形成竞争优势Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted8大数据的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产方式，进而释放了生产力。大数据带来了技术的创新GIS地图、轨迹图、热力图、标签云图、辐射图Hadoop分布式计算平台、SQL-on-Hadoop、STREAM实时计算社会网络、自然语言处理、时序分析、逻辑回归网页埋点、网络爬虫、传感器技术9Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted信息展现处理架构分析算法数据获取主要内容大数据概述大数据在制造业的应用大数据架构实践123Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted10Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|11条形码RFID无线传感器工业自动控制系统二维码工业物联网ERP/MESCAD/CAM/CAE/CAI制造业大数据：制造业存储了超过其他工业部门的数据从2010年以来新产品数据达到接近2EBCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|工业4.0•多品种小批量智能产品的高精度卓越品质生产是未来像德国一样成功经济的发展趋势•80%制造创新基于信息通信技术，通过信息通信技术实现了智慧工厂、绿色和城市生产•第四次工业革命将基于信息物理系统、物联网和互联服务，它将产生大量的大数据流，这些大数据能够被搜集和分析用于指导高效高品质生产•基于信息物理系统的工业辅助系统能够支持、帮助和培训智慧工厂的下一代工人•多通道增强现实系统能够允许个性化的工作流程和快速学习新产品工艺12Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|工业互联网•美国在2012年2月份提出了先进制造伙伴计划，之后由GE提出了工业互联网的概念，投资10亿美元来提高效率。比如在提高效率方面，如果航空燃料的效率提高1%，就意味着在15年内节省300亿美元。GE在企业内部已经进行了实践，GE的氯化镍工厂部署了1万多个传感器，分布在生产线的不同环节，通过实时数据的采集、传输和集中处理、反馈，通过结果调配不同资源，及时跟踪设备信息，降低故障率，提高效率。正是在这样的实践基础上提出了工业互联网的概念。目前GE已经推出了24种工业互联网解决方案，包括石油、天然气平台的监控、机车、医疗等各方面。13Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|大数据可以在制造业各个方面创造价值产品创新数据驱动决策可视化决策数据情报分析工业物联网设备诊断用电量分析能耗分析质量事故分析产品故障诊断与预测故障实时诊断大数据应用、建模与仿真技术工业供应链的分析与优化分析和预测商品需求量提高配送和仓储的效能14主要内容大数据概述大数据在制造业的应用大数据架构实践123Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted15大数据的技术挑战Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restricted/HighlyRestricted16海量数据成本复杂的业务需求新技术，新方法Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal17大数据=非结构化数据+结构化数据+半结构化数据“有许多关于大数据的共识需要被质疑，最开始你认为Hadoop就是大数据，但是问题是Hadoop只是一种技术，而大数据不只是技术。大数据关乎业务需求，实际上大数据应该包括Hadoop和关系型[数据库]以及其他适用的技术。”–KenRudin,HeadofAnalytics,FacebookBigData=Hadoop+Relational+NoSQL…HDFS优点缺点大文件低延迟一次写入大量小文件多次读取多个写入器文件更新Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|18大数据关键技术分析（1）：Hadoop1.0HDFS+Map/Reduce适合“分而治之”的处理模式MapReduce任务以全量、离线、简单为主1.并行预处理（如各种日志文件的清洗、去噪、合并等，后集成进入DW）2.简单的统计分析与数据挖掘（用户访问行为摘要生成、流量统计汇总、简单客户分类与行为分析等）3.非结构化数据的处理与分析（如爬虫网页的分析处理、音频、批量文档等处理）不适合场景：1、低时间延迟数据访问的应用。例如几十毫秒范围，原因：hdfs是为高数据吞吐量应用优化的，这样就造成可能会以高时间延迟为代价2、大量小文件原因：namenode将文件系统的元数据存储在内存中，因此文件系统所能存储的文件总数受限于namecode内存容量。根据经验，每个文件，目录和数据块的存储信息大约占150字节，如果一百万个文件，且每个文件占一个数据块，那至少需要300MB的内存，但是如果存储十亿个文件，那么需要的内存将是非常大的3、多用户写入，任意修改文件：现在hdfs文件可能只有一个writer,而且写操作总是写在文件的末尾大数据关键技术分析（2）：SQL-on-HadoopCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleConfidential–Internal/Restric