农业大数据技术

农业大数据技术XXXCONTENTS目录大数据技术以往案例农业大数据大数据平台架构医疗分析社交媒体分析自然语言处理大数据技术第二章数据管理技术数据分析技术数据可视化技术核心团队大数据技术-平台架构OracleMySQLSQLServerETL清洗分布式数据库Flume&Sqoop抽取层日志点击流其它数据接口HDFS分布式文件系统NoSQL数据库（图数据库）HBase列族数据库Pig分析工具Hive数据仓库数据层结构化业务数据、机器数据半结构化数据、机器数据序列化算法库机器学习Storm内存流式计算框架HadoopMapReduce计算框架Spark并行计算框架计算层运营分析日志分析个性化推荐供应链分析互联网金融征信数据管理接口管理监控管理运维管理任务管理运维管理权限管理配置管理文件系统外部数据接口数据库分布式缓存可视化数据展现引擎层数据推送核心团队大数据技术-数据管理技术OracleMySQLSQLServerETL清洗分布式数据库Flume&Sqoop日志点击流其它数据接口HDFS分布式文件系统结构化业务数据、机器数据半结构化数据、机器数据序列化NoSQL结构化数据，通过两种途径抽取并存放到HDFS分布式文件系统中：•能够序列化的数据，直接存放到HDFS中；•不能够序列化的数据，通过数据整理后统一存放在分布式数据库环境中，再经过序列化后再存放在分布式数据库环境中，整理后还不能序列化的数据也直接存放到HDFS中。半结构化和非结构化数据：•各种日志数据（通常序列化半结构化数据）直接存放到HDFS中；•点击流和数据接口中的数据（通常序列化半结构化数据）直接存放到HDFS中；•非结构化的数据直接存放到HDFS中。第一步-数据抽取并存储核心团队大数据技术-数据管理技术第一步-数据处理OracleMySQLSQLServer分布式数据库Flume&Sqoop结构化数据数据处理要解决的问题：•重复的数据处理•确实的数据处理•格式不统一的数据处理•检查数据逻辑错误•需要进行计算的数据处理数据处理对收集到的数据进行加工整理，形成适合数据分析的样式，是数据分析前必须经历的过程。•数据处理包括数据清洗、数据转化、数据提取、数据计算等处理方法。•数据处理最基本的目的是从大量杂乱无章、难以理解的数据中，抽取并推导出解决问题有价值、有意义的数据。数据清洗数据转换数据提取数据计算核心团队大数据技术-数据管理技术第二步-数据规划HDFS分布式文件系统NoSQL数据库（图数据库）HBase列族数据库Pig分析工具Hive数据仓库数据层HadoopHDFS分布式文件系统中存放海量的结构化和半结构化数据，需要合理化组织数据的存储：1、相关业务结构化数据和有一定格式关系的半结构化的数据存放在HadoopHive数据仓库中，并根据业务需求，根据特定的业务主题进行数据集市的构建；2、相关业务中半结构化的数据直接存放在HDFS分布式文件系统中，一定格式关系的半结构化数据存放在HadoopHbase列族数据库中和其他NoSQL数据库中。HadoopHive数据仓库电商业务运行指标业务主题物品相关性分析业务主题数据集市核心团队大数据技术-数据分析技术第三步-大数据计算框架算法库机器学习Storm内存流式计算框架HadoopMapReduce计算框架Spark并行计算框架计算层适用于离线的大数据统计分析适用于大数据并行计算、实时分析针对查询分析的实时性和延时需求，可选择不同的数据计算框架构建查询分析业务：•Storm实时大数据分析：一个分布式的、容错的、实时的内存流式计算系统；•Hadoop离线大数据分析：大数据离线批处理系统，大量离线数据计算MapReduce;•Spark并行大数据计算：HadoopMapReduce的通用的并行计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。核心团队大数据技术-数据分析技术第四步-大数据分析引擎运营分析日志分析个性化推荐供应链分析互联网金融征信文件系统外部数据接口数据库分布式缓存可视化数据展现引擎层•行业属性+算法=业务数据分析引擎（帮助用户自动化分析大数据）•基础设施数据引擎（机器数据引擎、日志数据引擎）•行业业务属性决定计算的逻辑，计算数学是实现计算逻辑的方法（利用数学领域的算法和理论）•数据分析不仅仅指运算数据，还包括全面了解数据分析所处的背景和环境•数据分析结果可以保存在多种结构中•数据也可以再不同的分布式集群之间进行传输、复制、同步•数据分析结果可以通过多种展现形式（表格、各种展现图）进行数据展现数据统计图表化表达历史数据，省略过程数据。核心团队大数据技术-数据可视化技术可视化技术数据空间视觉空间数据可视化旨在借助于图形化手段，清晰有效地传达与沟通信息。1数据结果展示化功能强大、交互性强、适用范围广；集成了大量的图形算法、可视化算法，降低复杂的图表的成本。2数据分析过程可视化需要对数据的分析过程进行可视化，更好地探索规律、查找问题。3VR/AR阶段的虚拟现实的可视化虚拟现实提升概率思维、多维数据的可视化、高密度信息的展示、以及提供情境使人们更全面地理解问题。4人工智能串联决策层（人）和数据层的最佳桥梁。发现大数据背后隐含的规律，产生洞见。5大数据技术-可视化框架工具TableauTableau是大数据可视化的市场领导者之一，在为大数据操作、深度学习算法和多种类型的AI应用程序提供交互式数据可视化方面尤为高效。大数据技术-可视化框架工具农业大数据平台大数据技术-医疗分析利用人工神经网络、文本数据挖掘提取等技术，构建一个临床决策支持系统。通过对癌症患者医学影像、诊断报告及药物评论等信息的处理分析，为临床医生提供建议，以促进临床决策，减少人为的医疗错误，更好的提高医疗质量和患者安全。有数据显示：有效的临床决策系统可以提高医生决策准确性64%和病人康复结果13%准确率83.2%卷积神经网络文本挖掘与分析搜索引擎优化遗传规划算法随机森林法大数据技术-社交媒体分析基于社会化媒体大数据的质量监控与需求分析采用智能文本挖掘分析技术对产品质量进行定位与追踪，其中，自动社交网络爬虫搜索引擎系统可进行时时刻刻、无人为干预的数据收集与分析，代替人为监督。以社会化媒体数据作为来源进行产品质量监控与需求分析，数据来源新颖。在算法上采用多种维度分析建模，不断调整训练集，自动进行模型建造与参数估计，使系统智能深度学习，技术指标较现有的通用模型相比提高40%。基于实时数据采集分析功能，建立各类产品客观、公正并可及时更新的产品质量标准数据库，结合智能深度学习系统，使该模型可应用于各类制造业产品。01020304大数据技术-自然语言处理自然语言处理系统基于并行计算系统和分布式爬虫平台，利用强大的半监督机器学习引擎，结合独特的语义联想、句法分析等技术，对文本进行中文语义分析。系统针对性开发词汇级、短串级、篇章级三级语义算法，能够极速阅读和理解文本的含义，实现搜索、推荐、舆情、挖掘等语义分析应用，帮助用户从数据提炼信息，从信息凝练知识，用知识创造价值。分词+词性分析依存文法分析命名实体识别(NamedEntityRecognition,NER)交通运输业情报快速生产线企业画像以往案例第三章案例-情报快速生产线情报快速生产线系统，利用分布式文本数据采集技术实现对互联网情报数据的分布式采集，利用基于并行处理学习和人工智能的数据挖掘技术，针对文本情报数据完成分词、词性标注、信息抽取、主题建模、文本分类等深度学习处理，生成不同维度的统计类和事件类行业情报报告。案例-情报快速生产线多维分析案例-情报快速生产线关键词云案例-情报快速生产线图片人脸识别案例-情报快速生产线图片人脸识别案例-情报快速生产线视频人脸识别案例-企业画像系统企业画像系统是从全国企业信用信息公示系统、中国知识产权网、法院裁判文书网等近百家开放网站提取官方数据，利用深度学习、特征抽取和图构建技术，实现企业信息、企业发展、司法风险、经营风险、经营状况、知识产权等多维度全方位可靠、透明企业画像描绘。案例-企业画像系统企业工商信息案例-企业画像系统企业股权结构案例-企业画像系统企业关系分析案例-企业画像系统企业链图农业大数据体系农业数据采集美国应用案例中国应用案例农业大数据第四章农业大数据体系基于物联网等技术的应用，农业领域积累了大量的数据，为大数据应用于农业奠定了基础。从国内国际的发展来看，大数据正在驱动农业发展路径发生变化，以提高农业效率，保障食品安全，实现农产品优质优价，农业大数据蕴含着巨大的商业价值。大棚/农田种植草原/沙漠绿化畜牧/水产养殖农业物联网数据中心各类农业物联网传感器、控制器、摄像头空气温湿度/土壤温度、墒情/酸碱度/CO2/水质等数据农田、草原、沙漠的视频监控数据农业生产设施如灌溉系统的控制网关/网络农业物联网大数据平台，为第三方专业应用提供开放、统一的数据管理和分析平台。智慧农业应用领导/投资人消费者农户化肥厂商/农科站技术人员通过数据中心大屏、手机App展示农场、草原、沙漠绿化等实景，直观感受实际效果，提供大数据分析通过手机App获取所购买产品的生产过程参数、视频信息，让消费者买的放心获取农业、养殖业生产过程中的空气、土壤、水质各类环境参数，在专家系统指导下合理种植、养殖，制定正确的自动化控制计划获取农业生产的第一手数据、评估化肥使用效果，为农业生产提供实时、远程的技术支持农业大数据-数据采集卫星遥感测绘卫星数据和气象数据，综合各个产地十几年的数据进行计算分析，可以对农作物产量预测、病虫害预测等提供参考12345678土地数据除了卫星遥测的土地数据，再基于各地的土肥站数据、测土配肥和水肥的推广数据、土地平整和滴灌设备的数据，可以建立起相对完整的土地数据，再在生产和植保过程中通过无人机等工具采集补充种植数据种植数据主要通过农业生产全过程的田间管理服务、托管服务等方式采集种植数据，包括种植品种、生产工序、施肥施药和采收等数据植保数据植保数据是指围绕植保的农技、农化、农机等数据无人机数据通过农业无人机在授粉、施肥施药、植保、病虫害检测等过程中采集的农作物监测数据、植保数据，以及对病虫害的预测、产量预测分析农产品数据通过智慧农业的摄像头对农产品成长过程的监测，在采收后的分拣检测（果型大小、甜酸度或淀粉度、农药残留检测、金属残留检测等），农产品箱垛物流跟踪，农产品的电子标签等数据电子商务数据农产品电子商务的交易、销售数据社交数据通过对社交媒体、互联网的农产品相关的数据，以及吃货消费者的碎片化数据，还有大小农户、农机手、飞手等的众包数据，采集大量分散的碎片化的大数据农业大数据-美国应用案例美国利用大数据打造精准农业智能农业机械席林是美国伊利诺伊州的一个农场主，他和父亲二人经营着1300英亩（约7900亩）田地。他的父亲已经83岁了，地里的活儿全靠席林自己上阵，即便在农忙时节，他也不用雇工，最好的帮手是农场里的那几台农业机械。智能农业机械设备的驾驶室配备着全球卫星导航系统和自动驾驶系统，机器会按照设定的路线工作，施肥、打药完全自动化。大多数时候，席林会把平板电脑待在身边，内置的APP软件会提醒他何时适宜下地查看，该打药或是该施肥了，以及提供实时、未来几天的天气数据。农业大数据-美国应用案例美国利用大数据打造精准农业大数据进农田：精确安排农场生产计划席林对农场的土地情况了如指掌，他聘请了专业服务公司做土壤分析测试。测试报告给出各个地块详细的土壤成分数据，还有种植不同作物时所需要的肥料、水分以及未来产量等数据。据此，他可以精确安排农场的生产计划。在席林的平板电脑里安装了ClimateCorporation的气象数据软件。他把农场的坐标和相关信息通过软件上传，即可获得农场范围内的实时天气信息，如温度、湿度、风力、雨水等，这些信息可以帮助他判断每个地块的播种、收获、耕作时间。智能化农