精准农业 & 统一架构大数据平台

基于Trafodion的大数据平台及智慧农业应用精准农业&统一架构大数据平台2016年7月精准农业•今天全球人口超过70亿，预计在2050年全球人口将达到96亿1。•在2030年，中等收入（中产阶级）将达到50亿人。（一般认为中等收入有更多可支配收入用于食物消费，从而产生更大食品需求2。•如果上述数字成立，在短时间内，各种食物总量需要翻一番才能满足世界人口需求3。1Worldpopulationprojectedtoreach9.6billionby2050withmostgrowthindevelopingregions,especiallyAfricasaysUN..2013UnitedNations.ReprintedwiththepermissionoftheUnitedNations.(2012),OECDYearbook2012:BetterPoliciesforBetterLives,OECDPublishing.’sGrowingPopulation,InnovativeStrategiesNeededtoCombatHunger,ExpertsTellSecondCommittee.GeneralAssembly,MeetingsCoverage..2009UnitedNations.ReprintedwiththepermissionoftheUnitedNations.至2030年，全球人口将需要目前两倍的食品1“GlobalFood:WasterNot,WantNot”,InstitutionofMechanicalEngineers,January20132“WaterataGlance:Therelationshipbetweenwater,agriculture,foodsecurityandpoverty”,FoodandAgricultureOrganizationoftheUnitedNations3China'sCorruptFoodChain,”byYanzhongHuang,NewYorkTimes,August17,2012每年，30%-50%的食品在从田间到消费者的食物供应链中损失1农业占据70%淡水使用。到2050年全球需要1万亿美元的灌溉系统投入2。中国每年94M+的人可能因细菌性食源性疾病而得病3收入增加是食品需求增加的主要驱动力主要增长来自在各个发展中区域这意味着，按照当前水平，到2030年，我们需要1.7个地球来生产食物。不能继续现状存储、运输、市场和分发环节等不同处置发展改进的食物监测、处理和包装方式构建灵活的供应链，采用新方法储存食物种植技术在食物处理和包装上革新，减少食物浪费采用减少水使用的技术，发掘革新的水再循环和水处理方式，从而降低水用量。提高亩产满足未来2030年对农业的需求可持续增长精准农业的演进远超过去时代的增量效益犁19世纪机械化和GPS定位过去现在将来困惑的农民(精准农业需要海量的数据处理）对农业的新增长潜力传感器（如茎秆液流）传感器负载的无人机农业气象站多普勒天气预报精准农业方案互联农业服务农业服务公司与承包商一起，针对每个农户土地和需求情况，提供种子，肥料，防治病虫害等建议，帮助农户提高产量。大中型农场小型农户精准农业类型•提高农场的整体财务；•降低浪费，增加产量：o监控环境和各个操作，产生基于数据的执行策略，进而降低花销，降低环境影响，避免种植失败，优化产量和提高收入。o收集一系列数据，包括田间的传感器，归一化植被指数（无人机监测），田间种带有传感器的农业机械，天气预报数据，土壤数据库，实时图像等。o基于种植种类制定规则，收集数据，通过数据分析引擎，提供可行的操作建议。农业产业链需要端到端的效率提升从田间到家庭消费者的全流程改进精准农业方案当前农业的众多流程是分隔的，非标准化的。各种技术和系统相互分离，没有互通。如何将农业的各个系统标准化，信息能够互通，从而为商业决策提供支持？•灵活的模块选项，采用流水线式开发，降低工作量和系统成本；•通过大数据平台构成数据湖，实现数据共享和各种数据应用；•将行业经验，行业标准，产业流程架构与技术相结合，形成产业能力，驱动可持续发展和价值。精准农业系统开发肥料和作物保护•精准农业控制•空间分析粮食类食品相关流程•生产决策•农机作业•种植者关系管理•渠道管理-跟踪与溯源•集装箱运输•种植者财务结算与会计蛋白类食品相关流程•家畜家禽饲养、产卵、孵化•家禽屠宰、加工切割•肉类加工、蒸煮杀菌/冻结•货柜运输•收益管理•污染防治精准农业提升产业链效率产业链中的各个流程环节的优化付款流程客户清单合同管理订单管理财务控制总账主数据管理财务报表采购支付采购管理发票管理订单处理客户关系管理客户管理客户主数据管理现场销售管理供应链管理供应链计划需求管理供应链网络协同商品交易和风险管理商产业组织和交易管理位置管理风险控制监管政策的变化•在欧盟，共同的农业政策改革意味着农民将承担更多的风险责任；•多德-弗兰克华尔街改革和消费者保护法案将要求美国农业企业参与场外掉期，必须遵守新的流动性和审计报告的要求，以及其他各种约束；•类似衍生品改革立法。农产品市场波动投入成本上升•中国经济增长的大宗商品热潮已导致在农业主要指成本增加，如石油和化肥的投入增加；•在未来十年，投入成本将继续上升到近几十年的峰值水平或以上（2007/2008峰值）需求的增加•不断增长的中产阶级意味着饮食正在发生变化，增加了对肉类的需求；•到2030年时，联合国估计，对农产品的需求将比今天高约60%；•到2030年时，人口将超过80亿。各种因素加剧农产品市场波动商品投机交易增加•1998年6月至2003年6月商品衍生品合约涨了19倍，2008年达到峰值13万亿美元。•在此期间，农产品衍生产品的交易增长超过了股票衍生产品的交易；•2008年到达峰值后，在有组织的交易所交易的大宗商品衍生品交易量开始逐年恢复（尽管柜台交易继续下降）。环境变化•极端天气条件和温度变化将显着影响产量；•今天的农业使用全球所有淡水的70%，联合国预计，在未来30年内，14%的额外水将需要用于农业用途。对土地的压力•生物燃料的增长造成了与粮食生产的竞争，甘蔗和玉米的土地面积和价格均产生波动；•各种工业用地和保护区，将需要更少的土地产生更大的食物量。农业产业链中的无线互联网应用初级产品价值链汇集和处理配送零售和消费促成因素•农业信息服务•信息平台•帮助热线•金融服务•移动支付系统•小额保险系统•小额贷款平台•农业合作•健康和营养知识•采后存放•市场交易平台•贸易协定•买卖双方匹配•质量标准•智能物流•跟踪和溯源系统•供应商网络管理•配送网络管理•低碳运输•消费者教育•供需匹配•食品外观标准收益•移动技术应用主要体现在初级生产和销售过程中支持小农户，提高运输效率和农产品收集•移动应用范围四个主要方向•改善金融服务•提供农业信息•通过数据可见性提高供应链效率•加强对市场准入管理融合信息技术操作技术安全、管控和运营智能机器应用行业分析传感器驱动计算•操作效率•新型服务•超常规增长精准农业中的物联网应用IT和OT的互联产业物联网将两个原本隔离的技术领域整合在一起：1.企业IT系统，包括资源规划、客户关系管理、决策支持系统等。2.OT(Operationstechnology)作业技术，包括监测和控制现场设备/农田机械，生产流程和制造流程等。未来两者会合二为一。但是当下而言，仍然需要时间。每个技术领域在不同商业领域，执行不同的技术标准，由不同的供应商提供产品和服务。今日现实•当前设备中的软件，传感器和控制设备需求升级更新，以增加新的功能。•各个系统（各管理应用，农场数据源）和各个外部系统有限的集成，形成各个隔离的数据井。•旧的操作系统和应用系统存在安全隐患，易被攻击。•设备、产品或厂级的嵌入式技术和智能控制尚待推广。明天愿景•传感器、通信和其他作业技术协同工作。•IT系统很大可能部署在云技术平台。•标准的快速软件开发技术用于智能设备开发。•统一数据平台，通用数据模型与传感和控制架构，支持数据洞察和行动决策，贯穿整个组织和生态系统中的合作伙伴•产业物联网具备可信性，具备弹性应对各种突发情况管控维护报表安全数据捕获数据传送数据处理数据展示数据分析业务规则形成数据存储/数据湖数据存储/数据集市•传感器•视频•无线传输4G/5G•大数据•数据抽取•UI/UX•设备•基于数据的决策•驱动层共享数据管理数据集成和实时数据处理应用场景•传感器数据存储和提取•历史数据归档和检索•远程专家/协同合作•传感数据可视化•时间序列数据•无人机实现设施透视统一架构大数据平台基于Trafodion的大数据平台16大数据革命批处理•大规模批处理•企业级报告•数据挖掘非交互式•数据准备•增量式批处理•仪表盘,scorecards交互式•可定制报告•Drilldown可视化数据钻取•数据探索操作式•实时分析事务型SQL=OLTP+事务处理反应时间数小时秒级17术语定义–1DataLake数据湖单一数据源平台，支持不同操作时间要求的数据操作，同时支持结构化和非结构化数据。可以存放海量原始数据的数据湖，和传统的数据仓库对应。•数据仓库中的数据是经过加工的结构化数据，往往是有分类的，可以使用传统数据库进行存储；•数据湖存储非加工数据，比如日志，视频等非结构化数据，以及结构化数据，并且不分类，没有为了特定程序进行设计和加工。BI/AnalyticDatabase商业智能分析数据库为商业智能和分析而优化的数据处理技术。包括数据清理，ETL，数据挖掘等。生产报表，也支持adhoc查询，数据反范式设计。EnterpriseDataWarehouse(EDW)企业数据仓库作为企业唯一的数据仓库，EDW提供统一的数据服务，查询结果有效一致。数据设计支持跨部门，支持海量数据，并支持大量的查询请求。18术语定义–2DataMart数据集市和EDW类似，但更专注于部门级别而不是公司级别的统一数据服务。提供EDW不能提供的，针对部门的特殊数据服务需求。OperationalDataStore(ODS)介于数据仓库和业务数据库之间的系统。业务系统没有海量历史数据，数据仓库有海量历史数据，但数据只读。ODS保存来自业务系统的海量历史数据，并且需要频繁的增删改查，往往用来支持对近期数据的OLTP查询，以减轻业务系统负载。OLTP数据库业务系统，承载着企业的核心业务需求.主要处理小的增删改查请求，需要处理大量的并发和海量的请求。一般符合第三范式。目前常用的大数据平台为处理多种数据类型采用混搭架构，存在大量额外的数据迁移Hadoop平台MPP分布式关系型数据库Oracle数据仓库大数据平台数据类型复杂，涵盖了传统的结构化数据，也涉及到实时流数据，以及互联网应用等非结构化数据HadoopHive/MR/R深度改造需要大量开发人员，实施周期长，无法提供SQL兼容；Oracle处理详单大量占用计算资源，处理能力有限；引入MPP解决其他平台数据采集范围扩大存储有限，同时计算能力不足问题；但无法达到Hadoop平台的计算能力；产生多次数据迁移和大量中间表格，需要大量人工处理混搭架构HadoopSQL-on-HadoopDBMS统一架构整合Hadoop生态，形成数据湖(DataLake)；同时支持HBase，Hive和Spark直接访问，即支持非结构化