4农业大数据4.1农业大数据的内涵,农业是产生大数据的无尽源泉,也是大数据应用的广阔天地。农业数据涵盖面广、数据源复杂。关于农业大数据,顾名思义,就是运用大数据理念、技术和方法,解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题,是大数据理论和技术在农业上的应用和实践。农业大数据是大数据理论和技术的专业化应用,除了具备大数据的公共属性,必然具有农业数据自身的特点。通常所讲到的农业,实际上应涵盖农村、农业和农民三个层面,具有涵盖区域广、涉及领域和内容宽泛、影响因素众多、数据采集复杂、决策管理困难等特点。狭义的农业生产是指种植业,包括生产粮食作物、经济作物、饲料作物和绿肥等农作物的生产活动等,不仅仅涉及到耕地、播种、施肥、杀虫、收割、存储、育种等作物生产的全过程各环节,而且还涉及跨行业、跨专业、跨业务的数据分析与挖掘,以及结果的展示与应用,乃至整个产业链的资源、环境、过程、安全等监控与决策管理等。广义的农业生产是指包括种植业、林业、畜牧业、渔业和副业五种产业形式,均应该包含在农业大数据研究的范畴中。随着精准农业、智慧农业、物联网和云计算的快速发展要求,农业数据也呈现出爆炸式的增加,数据从存储到挖掘应用都面临巨大挑战。物联网在农业各领域的渗透已经成为农业信息技术发展的必然趋势,也必将成为农业大数据最重要的数据源。大量的农业工作者和管理者,既是大数据的使用者,也是大数据的制造者。由于农业自身的复杂性和特殊性,农业数据必将从基于结构化的关系型数据类型,向半结构化和非结构化数据类型转变。相对于采用二维表来逻辑表达的关系型数据结构,农业领域更多的是非结构化的数据,如大量的文字、图表、图片、动画、语音/视频等形式的超媒体要素,以及专家经验和知识、农业模型等。大量事实已经证明,非结构化数据呈现出快速增长的势头,其数量已大大超过结构化数据。尤其是农业生产过程的主体是生物,易受外界环境和人的管理等因素影响,存在多样性和变异性、个体与群体差异性等,都决定了对数据的采集、挖掘与分析应用的难度。如何挖掘数据价值、提高数据分析应用能力、减少数据冗余和数据垃圾,是农业大数据面临的重要课题。4.2农业大数据的主要应用基于目前农业信息技术主要应用领域和产生大数据的主要来源分析,大数据的主要应用领域包括以下几个方面:①生产过程管理数据:设施种植业、设施养殖业(畜禽和水产等)、精准农业等。提高整个生产过程的精准化监测、智能化决策、科学化管理和调控,是农业信息化的紧迫任务。②农业资源管理数据:土地资源、水资源、农业生物资源、生产资料等。我国农业资源紧缺、生态环境与生物多样性退化,要在摸清家底的基础上,进一步优化配置、合理开发,实现农业高产优质、节能高效的可持续发展。③农业生态环境管理数据:土壤、大气、水质、气象、污染、灾害等。需要进行全面监测、精准管理。④农产品与食品安全管理大数据:产地环境、产业链管理、产前产中产后、储藏加工、市场流通领域、物流、供应链与溯源系统等。⑤农业装备与设施监控大数据:设备和实施工况监控、远程诊断、服务调度等。在上述应用中,关键是农业环境与资源、农业生产过程、农业产品安全、农业市场和消费的监测和预测等。⑥各种科研活动产生的大数据,如大量的遥感数据,包括空间与地面数据;大量的生物实验数据,如基因图谱、大规模测序、农业基因组数据、大分子与药物设计等。4.3农业大数据的主要任务基于大数据的理论和技术,不断推进农业大数据技术的创新与应用实践,结合国家农业现代化和农业信息化发展战略,突破农业大数据的一些关键技术,谋划和凝练一批农业大数据的示范和应用项目,将大数据提升到与物联网和云计算同等重要的地位,抢占大数据这一新时代信息化技术制高点,推进智慧农业不断发展。在市场经济条件下,农业的分散经营和生产模式,使得在参与市场竞争中对信息的依赖性比任何时候都更加重要:信息和服务的滞后性,往往对整个产业链产生巨大的负面影响。由于市场经济的特点,农业生产很难在全国范围内形成统一规划,致使农业生产受市场波动影响颇大,而且农业生产很多方面是依靠感觉和经验,缺少量化的数据支撑。大数据时代,不仅可以通过建立综合的数据平台,调控农业生产,还可以记录分析农业种养过程、流通过程中的动态变化,通过分析数据,制定一系列调控和管理措施,使农业高效有序发展。4.3.1优化整合农业数据资源我国农业信息技术在经历了多年的发展,研发了涵盖多层面、多领域的农业信息化系统,构建了很多不同级别、面向不同领域的数据资源,形成了庞大的信息资源财富。我国大量的涉农网站,汇集了很多信息资源。但由于体制和利益等原因,这些数据相互之间缺乏统一标准和规范,在功能上不能关联互补、信息不能共享互换、信息与业务流程和应用相互脱节,形成了所谓的信息孤岛。数据缺乏标准、难以共享,必然导致低水平重复建设、数据利用率低、信息资源凌乱分散和大量冗余等。基于云计算构架和大数据技术,整合数据资源、规范数据标准、统一标识和规范协议等,实现计算资源虚拟化建设,是消除数据鸿沟、发展农业大数据资源的关键所在,否则就构不成大数据,就会成为无水之源、无本之木,造成巧妇难为无米之炊的困境。通过构造虚拟化技术平台,实现IT资源的逻辑抽象和统一表示,将在大规模数据中心管理和解决方案交付方面发挥巨大的作用,是支撑云存储和云计算系统的基石。