畜牧业信息监测与大数据分析技术应用

畜牧业信息监测与大数据分析技术应用许世卫研究员中国农学会农业监测预警分会理事长农业农村部农业信息服务技术重点实验室主任内容一、畜牧业数据特征二、畜牧业信息监测方法三、大数据分析技术与系统四、未来展望一、畜牧业数据特征随着物联传感技术、互联网技术、移动通信技术的发展，数据迅速增多。畜牧业是规模数据高速增长的产业监测技术高度集中的产业分析技术高效作用的产业智能系统广泛应用的产业数据对畜牧业智能化养殖与管理起关键支持作用全产业链牧草种植饲料生产良种繁育生态育肥精深加工粪污利用科技研发市场营销Data1、数据量大、数据类型多样畜牧业数据获取，是对畜牧业饲料投入、动物饲养、疾病防疫、屠宰加工、运输销售等产业链环节中现象描述、特征值提取的数字化记录。巨量数据•目前，中国每年产生并被存储的数据总量超过800EB，相当于全人类讲过的话160倍•农业每年产生的数据量约为8000PB，且每年以50%-80%的速度增长复杂类型数值型：统计报表文本型：行业报告图像型：传感监测2、产业流信息流高度融合投入饲养加工销售粮食生产牧草种植饲料产业养殖设备制造动保产业疫苗研发兽药生产畜牧养殖良种繁育生态育肥粪污利用屠宰加工精深加工加工设备制造添加剂肉制品销售副产品销售副产品加工出口投入品价格投入量成本收益……生产量生产环境监测质量安全管理……初加工量深加工量制品生产量……消费量贸易量库存量市场价格畜牧业产业链监测数据畜牧业全产业链数据反映了畜牧业行业特征、信息流变化和产业关联关系3、数据标准化要求高畜牧业数据标准化程度较高。标准化的数据源自于统一的生产流程和规范的技术标准。畜牧业标准体系•畜禽养殖标准化•饲草料加工标准化•草原草业标准化•质量安全标准化•环境保护标准化•······产业链标准化数据•品种谱系•生长环境•养殖管理•营养配比•安全追溯•······标准化的数据为开展畜牧业大数据分析提供了较好的先决条件可比性可靠性可应用性数据价值增强4、非结构化数据价值大随着养殖物联网、互联网和数字媒体等技术进步，畜牧业产业链中，以文本、图形、图像、音频、视频等非结构化数据为主的信息急剧增加，蕴藏着巨大的价值。利用人工智能和大数据技术，挖掘畜牧业非结构化数据，实现畜牧业高质量发展、绿色发展。以牛奶产业链为例数字型：奶牛存栏、饲料流通量、牛奶产量等文本型：产业链安全事件报道、疫情监测、行业报告等视频图片型：奶牛场环境条件、个体生长监测等消费占比大：猪肉及制品占我国城乡居民肉类消费的63%产业集中度较高：2018年全国11个省贡献了60%的猪肉产量四川9%河南9%湖南8%山东8%湖北6%云南6%河北5%广东5%广西5%江西5%安徽4%其它30%畜牧业数据透视：生猪产业快速发展畜牧业数据透视：牛羊肉产业贸易逆差明显扩大0.00200.00400.00600.00800.00万吨牛羊肉产量牛肉产量羊肉产量0.0050,000.00100,000.00150,000.002016年1月2016年3月2016年5月2016年7月2016年9月2016年11月2017年1月2017年3月2017年5月2017年7月2017年9月2017年11月2018年1月2018年3月2018年5月2018年7月2018年9月2018年11月2019年1月2019年3月2019年5月万吨牛羊肉月度进口量牛肉进口数量羊肉进口数量牛羊肉产量稳定持续增长牛肉贸易逆差明显扩大，主要进口地由澳洲转为南美国家畜牧业数据透视：禽类规模化养殖仍待提高，生产较为集中肉禽蛋禽规模化养殖不断提高，但仍然偏低禽蛋、禽肉生产集中化程度高山东、河南、河北、辽宁、江苏、湖北6省占全国禽蛋总产量60%以上山东、辽宁、广东、广西、安徽、江苏6省占全国禽肉总产量50%以上二、畜牧业信息监测方法畜牧业全产业链大数据监测体系全产业链数据：生产、消费、库存、贸易、价格、成本六大类数据，覆盖畜牧业全产业链。•农业农村部畜禽生产调查体系和有关国际组织数据，畜牧业生产数据。包括存栏量、出栏量、环境监测、个体监测等。生产数据•农村固定观察点系统、农业农村部兽医局屠宰监测系统、国家统计局抽样调查、各级农产品消费追溯系统等开展监测。消费数据•国际组织数据，国别合作研究，采集我国月度和年度商业调节库存储备，世界主要生产国商业库存。库存数据•海关总署，联合国粮农组织、世界银行、经合组织及G20-AMIS等有关数据库，全球主要贸易国进出口数据。贸易数据•农业农村部畜禽生产调查和农产品集贸市场、批发市场监测，农业农村部屠宰加工厂监测点监测，大型超市和零售企业交易数据、国际期货市场价格监测。价格数据•农业农村部畜禽生产数据调查监测，获取不同规模养殖中的饲料费用、水电费、疫病防控费、死亡损失费等直接物质与服务费用，以及固定资产折旧费、管理费等间接费用。生产成本统计报送监测依托数据采集体系，对数据统计和报送。监测的数据来源广泛，多由部门地区按报表方式进行。如：国家统计局、农业农村部等多部门数据，也有专业机构开展的调查，形成报表型数据。国家统计数据抽样调查数据相关研究数据地方统计年鉴国际机构数据专业机构调查数据数据来源主要来源：实时传感监测畜禽产品市场监测•专用设备：•3类市场：田头、批发、零售•13个维度：获取肉类价格、交易量、等级等数据畜禽生长监测•传感器：•个体生长监测：体温、体重、体长等•养殖环境监测：温度、湿度、氨氮浓度等•产业链追溯监测：养殖地、出栏时间、检疫量等网络抓取来源：面向主题的聚焦爬虫，专注于在海量的网络信息中，有效地识别与畜牧业相关的互联网信息资源，包括网络舆情、网站信息、Web数据库等。种子URLInternet链接过滤器本地磁盘页面分析器页面采集器http://...http://...http://...URL队列基于基准数据和实时数据：开展精准化、科学化管控，更加深入全面地发现畜牧业发展中的问题，推动畜牧产业智慧化，满足各产业链主体不同层次需求。消费者生产者管理者安全追溯消费画像产销匹配质量监管政策评估科学计划精准饲养标准化加工疫病防治品牌营销品种指标单位频率最新时间上期值最新值涨跌涨跌幅(%)本周涨跌幅(%)本月涨跌幅(%)本季涨跌幅(%)本年涨跌幅(%)现货价:小麦:全国均价元/吨日2019/7/172273.892275.001.110.050.17-0.15-0.15-8.1期货收盘价(连续):CBOT小麦美分/蒲式耳日2019/7/16509.40507.60-1.8-0.35-0.35-0.98-0.980.12出库价:早籼稻元/吨周2018/4/272314.932316.351.420.06----现货价:中晚稻:全国均价元/吨日2019/7/172415.002415.0000000-1.43期货收盘价:CBOT稻谷美元/英担日2019/7/1611.8811.78-0.1-0.84-0.845.085.0816.87现货价:玉米:郑州市场元/吨日2019/7/162060.002060.00000006.19期货收盘(活跃):黄玉米元/吨日2019/7/171927.001925.00-2-0.1-0.16-0.57-0.573.44期货收盘价(连续):CBOT玉米美分/蒲式耳日2019/7/16441.00435.20-5.8-1.32-1.325.845.8415.87市场价:育肥猪配合饲料:全国元/公斤日2019/7/33.023.0200-00-1.31市场价:蛋鸡配合饲料:全国元/公斤日2019/7/32.862.8600-00-0.69市场价:肉鸡配合饲料:全国元/公斤日2019/7/33.133.12-0.01-0.32-00-0.64大宗价:鸡蛋元/公斤周2019/7/128.089.891.8122.4-22.422.423.93活鸡价格:全国均价元/公斤日2019/7/178.098.230.141.731.486.616.61-14.8大宗价:白条鸡元/公斤周2019/7/1213.3013.00-0.3-2.26--2.26-2.26-9.0922个省市：平均价格：生猪元/千克周2019/7/1217.5418.300.764.33-4.334.3340.6622个省市:猪粮比价-周2019/7/128.689.010.333.8-3.83.835.69市场价:后备母猪:四川元/头日2019/7/1213861378-8-0.58--0.58-0.580.3622个省市：平均价格：仔猪元/千克周2019/7/1250.3749.93-0.44-0.87--0.87-0.87116.5222个省市:平均价格:猪肉元/千克周2019/7/1225.7925.08-0.71-2.75--2.75-2.7520.11小麦稻米玉米饲料禽类生猪基于多维数据的现状分析结果本年度，主要农产品中生猪、玉米、鸡蛋、鸡肉等产品均出现了明显上涨。非洲猪瘟爆发后，生猪和能繁母猪存栏同比大幅下降，猪价上涨迅猛三、大数据分析技术与系统畜牧产品分析预警模型以模型为核心的供需预测分析技术最优化分析模型时间序列模型动态模拟模型均衡模型模型集成技术关联分析模型人工智能模型…生产量预测：投入类、管理类产量预测模型群，产量形成的复杂因素解析消费量预测：差异化消费量预测模，分析畜禽产品不同消费去向价格预测：循环神经网络价格分析，多维条件畜禽产品价格预测主要模型技术：猪肉产量过程分析猪肉产量测算猪肉产量等于生猪出栏数量与每只生猪主产品产量的乘积。式中，Yi代表第i月的猪肉产量，Ni代表第i月生猪出栏数量，Y*代表每只生猪的主产品产量。根据《全国农产品成本收益资料汇编》中的统计信息，每只生猪的主产品产量平均为110公斤，即Y*=110。因此，猪肉产量预测只要测算每个月的生猪出栏数量。YNYii主要模型技术：基于生育机理的生猪出栏数量测算生猪的养殖过程：从出生到出栏一般需要6个月左右，妊娠期约4个月，能繁母猪每年产2窝，每窝产仔9头。结合育龄结构信息，假设后备母猪数量为X1、能繁母猪数量为X2、0-2月龄仔猪数量为X3、2-4月龄中猪数量为X4、4月龄以上大猪数量为X5、监测当月出栏数量为X6。当月出栏（第1个月）量：61XN第2个月出栏量：)1(21152XN式中：1为6月龄以上大猪的死淘率第3个月出栏量：)1(21-1153XN第4个月出栏量：)1(21244XN2为2-4月龄中猪至出栏的死淘率第5个月出栏量：)1(21-1245XN第6个月出栏量：)1(21336XN3为0-2月龄仔猪至出栏的死淘率项目参数项目参数妊娠期/天114160-170日龄重/千克90-100哺乳期/天35每头母猪年出生活仔数/头19.8断奶至受胎时间/天7-14每头母猪年产35日龄活仔数/头17.8繁殖周期/天163母猪年产36-70日龄活仔数/头16.9母猪年产胎窝数/窝2.24母猪年产71-170日龄活仔数/头16.5母猪窝产活仔数/个9-10屠宰率/%75母猪临产前进产房时间/天7每头母猪年提供肥猪活重/千克1650哺乳仔猪成活率/%90每头母猪年产肉量/千克1238断奶仔猪成活率/%95公母猪年更新率/%25-33生长育肥猪成活率/%98母猪情期受胎率/%85出生重/千克1.3公母比例（本交）1:2535日龄重/千克8-8.5后备母猪配种月龄/月8-970日龄重/千克25-30后备公猪配种月龄/月9-10相关参数CAMES系统运行—基于大数据平台通过数据建模、机器学习算法等分析快速实现农业大数据分析场景大数据分析平台，通过算法分析模块组建分析流程，动态可视化呈现分析结果特点优点实现建立数据对数据集中存储，可弹性创建删除集群并行处理数据完整、智能的智能运维，实现了数据的集中存储与弹性计算，资源分配动态调整，保证存储和分析的统一性和高效性提供大数据存储与计算融合特点