搜索
工业大数据特点、价值及其计算西北工业大学计算机学院周兴社2015年04月18日工业大数据发展背景（1）工业发展进入新阶段经历自动化、进入网络化、智能化发展新阶段；美国提出智能制造；德国提出工业4.0;我国提出“互联网+”和“中国制造2025计划”；工业大数据发展背景（2）“制造业数字化网络化智能化”是新工业革命的核心技术制造业创新的三个层次：产品创新、制造技术创新、产业模式创新；数字化网络化智能化是制造业创新的重要途径与共性使能技术；以数字化网络化智能化为主线，必然形成工业大数据，需要大数据技术、平台与应用支撑；工业大数据发展背景（3）机器数据正在高速增长Wikibon发布《工业互联网与大数据分析：机遇与挑战》;未来10年，工业数据增速将是其它大数据领域的两倍。大数据咨询公司ThinkBig在“正在塑造大数据和企业未来的十大趋势”中，将“机器数据和物联网将占据中心舞台”列为首位，并指出“从RFID标签和工业仪器，到喷气发动机和消费电器，整个世界正在生产着越来越庞大的数据量；工业大数据特点分析（1）工业大数据来源•数字化设计如飞机全数字化设计；波音公司利用CATIA软件产生波音777的300万个零部件的尺寸和形状数据；我国飞豹飞机首次实现全数字化三维设计；智能化制造以智能工业机器人为典型代表的智能制造装备已经开始在多个领域得到应用；我国今年的工业机器人超过日本；网络化监测大型工业装备运行状态网络化远程动态监测；例如，波音737发动机在飞行中每30分钟产生10TB数据；陕鼓实现数百台旋转机械远程在线监测及故障诊断，物联化管理工业生产过程开始大量使用RFID实现零件与产品管理；工业大数据特点分析（2）工业大数据分类产品数据设计、建模、工艺、加工、测试、维护、产品结构、零部件配置、变更记录等数据。生产数据组织结构、业务管理、装备状态、质量控制、生产过程、采购库存、目标计划等数据。价值链数据市场营销、电子商务、客户、供应商、合作着等数据。外部数据行业、市场、竞争对手等数据。工业大数据特点分析（3）工业大数据同样具有“4V”特点大体量（Volume）；一类家电智能工业生产过程一天产生20TB以上数据；3D打印一个中规模部件产生几十GB数据；多样性（Variety）；三维图形数据，监控视频数据，文字档案数据；RFID数值数据；。。。。。快速性（Velocity）；发动机运行监测数据；工业机器人运动数据价值性（Valve）；工业大数据的价值是显性的；直接的；工业大数据特点分析（4）工业大数据具有自身特点多源性获取，数据分散，非结构化数据比例大；数据蕴含信息复杂，关联性强；持续采集，具有鲜明的动态时空特性；采集、存贮、处理实时性要求高；与具体工业领域密切相关；工业大数据潜在价值(1)提升工业生产制造效率与质量工业大数据可以带给生产、制造等领域更多创新基因，可在一定程度上推动经济内涵式增长；美国得克萨斯大学对多行业和大型企业的数据利用率和人均产出率进行了广泛研究，结果显示，数据利用率提高10%，财富100强企业人均产出提高14.4%；制造业平均提升20%。具体价值帮助企业实现目标市场细分及精准营销，支持产业链管理及优化，探索新生产模式及效果测评，提升工业企业运行与营销效率；利用大数据进行分析，可带来仓储、配送、销售效率的大幅提升和成本大幅下降，大大减少库存，优化供应链；支撑流程工业复杂系统机理开发与优化；典型案例西门子安贝格数字化工厂；75%的生产过程是由机器自动完成；实现生产过程数据采集与管理；核心是工业数据分析智能，实现100万次加工过程差错率仅有12次；海尔新型数字化网络化生产线---互联工厂围绕用户价值，实现全流程端对端互联，对家电制造业进行水平整合和垂直整合，打造冰箱、空调、洗衣机等家电互联型智能工厂。三层互联：用户、企业和资源连接实现内外互联、信息互联、虚实互联；三个转变：内部评价=》用户评价；采购零件=》模块供货方参与设计的模块采购；各方博弈关系=》价值共同体共创共享。海尔洗衣机互联工厂在50万用户参与交互中，从79个模块方案中确定2个最佳组合投产。设计的水晶滚筒洗衣机能耗比欧洲A+++标准节能40%；2013～2014年，海尔累计裁掉2.6万名员工，2014年海尔销售收入增长11%，利润增长39%。2015年初海尔家电出口逆势增29%；工业大数据潜在价值(2)支持工业设备节能降耗、提高寿命；工业大数据对提高设备可用性、减少非计划停机时间、降低维护成本、减少能耗等具有重要价值；及时发现能耗的异常或峰值情况，实现生产过程中的能源消耗实时优化；典型案例GE利用大数据分析避免了多起由阀门伺服和执行机构问题引起的飞机发动机故障，减少停机时间。GE的油气管道和电力设备每年承载着全球25%的电力输送。GE发布报告估测，每提高1%的燃油效率，航空业每年可节省20亿美元，而能源行业则能节省40亿美元;风力涡轮机制造商Vestas对天气数据及涡轮仪表数据进行交叉分析,并对风力涡轮机布局进行改善,由此增加了风力涡轮机的电力输出水平并延长了服务寿命；鲁南化工有限公司将多年积累的气化炉运行数据，包括近十几年的所有极差操作、最好操作、容易出事故的各种数据用于培训操作人员，使多喷嘴气化装置实现单炉年运行开工率达到97%以上。工业大数据潜在价值(3)支撑实现大规模定制生产新模式工业4.0实现大规模批量生产==》大规模定制生产；满足消费者个性化需求；工业大数据是大规模定制生产的重要基础；支持实现流行预测、精准匹配、时尚管理、营销推送等更多应用；消费者参与产品的需求分析和产品设计等创新活动中。有助于深入分析生产过程，了解其中原理，为生产过程的精细化控制提供服务。16大数据驱动的服装定制制造业典范---红领服装集团2014年，以零库存实现150%的业绩增长;大规模定制生产，每天能设计、生产2000种不同的个性化定制产品;公司核心竞争力是一套大数据信息系统，任何一项数据的变动能驱动其余9000多项数据的同步变动。10年时间自主研发由不同体型身材尺寸集合而成的大数据处理系统；2014年5月CCTV新闻联播3分钟报道；张、马参观后震惊；工业大数据潜在价值(4)支持实现智能生产与智能工厂发展愿景工业4.0是一个过程；需要从工业3.1，工业3.2不断演化；智能工厂是工业4.0的发展愿景；智能工厂=3D打印+工业机器人+工业互联网+工业大数据工业大数据及其应用直接决定了“工业4.0”所要求的智能化工厂的智能水平。工业大数据应用将带来制造业企业创新和变革的新时代。18ProductionIntegrationCenter智能工厂跨部门、全方位、全周期的生产管控工业大数据计算（1）工业大数据获取与预处理数据来源众多；数据采集设备种类多、接口复杂；必须支持数量众多的硬件连接驱动；支持万级以上大规模数据点快速采集；超效的数据压缩；分布式实时服务器数据存贮；支持数万事件精确时间标签分辨率；…20工业大数据计算（2）工业大数据管理工业大数据具有鲜明的多样化特点历史数据；当前生产流程的实时数据设计数据；工业设备运行状态的监测数据工业大数据存贮成本合理的数据存贮模式构建高比率压缩和高效存储技术的实现21大规模时间序列数据管理过程实时数据的高性能“专用”引擎设计；历史数据库与过程数据源的无缝连接集成；适应不同类型数据的统一访问化接口；基于时间/事件的高效数据检索；工业大数据计算（3）工业大数据应用集成工业大数据采集网络集成多种传感器；如西门子H-Class燃气轮机配备1500个传感器，用于以秒为间隔精确测定诸如温度、压力、气体成分和发电功率等等关键工作参数值。多种通讯协议；工业以太网；工业无线网；。。。。多种数据格式；多计算平台整合分布式计算平台内存计算平台流计算平台23工业大数据计算（4）工业大数据分析工业大数据分析是工业大数据计算的重点，是能否体现工业大数据价值的关键所在适应各类工业大数据分析的通用方法研究与开发面向具体工业领域数据分析的专用方法研究与开发关联分析是工业大数据分析需要解决的首要问题快速分析成为工业大数据分析应着重实现的分析方法面向具体优化目标的工业大数据应用分析工业大数据分析与应用需要考虑不同的企业信息化发展阶段的适应性。24工业大数据计算（5）工业大数据分析模型分布式并行计算模型是基础Hadoop/MapReduce主要面向静态数据的批处理实时性不够；流式计算模型是核心S4、Storm、Spark、…利用内存，减少I/O提供面向动态数据处理的原语表达能力不足，无法较好支持复杂算法容错机制、负载均衡等还需完善增量计算模型为提升Nectar、Nova、Percolator25提升大数据计算方法数据流实时分析;可扩展统计分析；异质数据混合计算；基于机器学习的智能分析；基于领域知识的分析；创新大数据计算应用模式大数据计算应用的关键是服务企业核心业务；如红领，海尔注重与企业主流业务的紧密对接与融合；成功的大数据分析重在为企业揭示风险并识别新发展机会;工业大数据计算（6）工业大数据颠覆传统制造过程的十条途径监控生产过程加快业务整合提高企业制造绩效改进生产流程预测供应商绩效监测生产设备状况合理计划生产细化质量管理环节追踪产能与财务状况监测产品运维状态工业大数据计算（7）工业大数据计算平台--GE工业大数据计算软件平台GE构建工业大数据中心；开发网络化感知能力的新一代工业装备GE能源监测和诊断（M&D）中心，收集全球50多个国家上千台燃气轮机的数据，每天为客户收集10千兆字节的数据;GE的下一代GEnX引擎中（装备波音787飞机）将会保留每次飞行的所有基础数据，甚至会从飞机实时传输回GE分析。这样一台引擎一年产生的数据量甚至会超过GE航空业务历史上所有的数据。传感器+工业网络+大数据=工业互联网；可发送电能消耗数据的GE动力涡轮机推出工业大数据与分析平台通用电气(GE)在2013年6月宣布推出第一个大数据与分析平台，由大型工业机器所产生的数据。该平台为支持工业互联网并把大数据转化为实时信息而开发，将惠及全球主要行业，包括航空、医疗、能源生产与分配、交通运输及制造业.GE的工业强化平台由新的ProficyHistorianHD(第一个基于Hadoop的历史数据管理软件)提供支持。Historian在一个安全、封闭的架构中提供实时数据管理、分析和机器与运营的连接，让全球重要行业能够从被动的工业运营模式转向预测模式。高效采集、存储和处理巨量时间序列过程数据GE高级历史数据库采用了时间序列友好的数据结构，使其性能大大优于传统的关系或关键值数据结构，可在大数据集和相关时间段内高效地进行查询。历史数据库为真正的实时数据提供速度大幅加快的读写性能和微秒级分辨率；GE高级历史数据库能够与过程数据源连接，直接获取数据和合并整个企业的数据；实现高比率压缩和高效存储;能够在线存储长达10年的数据，将存储容量从60百万兆字节缩减到10百万兆字节；支持实时的巨量时间序列过程数据的高效访问；每天运行数百个数据分析算法，具有快速的分析与预测能力。、工业大数据计算（7）IBM发布企业级大数据和分析平台近期宣布企业级大数据和分析基础架构平台—IBMPowerSystems，以及Power平台上全面覆盖各种复杂行业应用场景的企业级大数据和分析应用解决方案。PowerSystems面向大数据和分析的各个应用场景，形成具有硬件/软件融合、功能特色的大数据和分析解决方案；静态批量大数据处理；实时大数据处理；数据仓库整合；数据集市构建；支持制造、电信、能源、交通以及公共事业等行业快速步入大数据时代；发展我省工业大数据应用（1）充分认识工业大数据应用现处初期，面临挑战；工业领域尚未建立“数据文化“；缺乏”让数据说话”的氛围；工业物联网或工业互联网处于初期阶段，工业领域历史数据累积与完整性差距较大；工业物联及其数据安全问题突出，传统数据保护方法难以适应；IT的IOE基础架构难以适应；计算平台结构需调整和优化；工业大数据分析方法及其软件有待自主研究和开发；缺乏复合型人才数学分析能力+数据管理能力+工业领域知识；