探讨大数据分析技术在空管中应用

2016年9月探讨大数据分析技术在空管中应用***内容提纲一、数学知识二、技术背景三、主流技术四、空管需求五、应用场景分析1一、数学知识数学知识3概念；算法；建模；分析与挖掘。1数学概念（1）4基本定义英文名称：Mathematics，简称Maths或Math，是研究数量、变化、空间、结构以及信息等概念的一门学科。数量代数；变化函数；空间几何；结构拓扑；信息分析（e.g.统计分析）。推理严密：每一个结论的成立都需要足够合理的条件支撑；结论唯一：每一个结论都是确定的，不是模棱两可的。1数学概念（2）5特点抽象性；符号抽象：e.g.∞（无穷大）；无实物参考：e.g.“直线、平面”（无限延伸）。严谨性；广泛性。日常生活应用广泛：e.g.买菜、购物等吃穿住行；其他学科领域依赖：e.g.力学、天文学、物理学、化学等。1数学概念（3）6问题分类白化问题灰色问题模糊问题信息准确；信息不准确；问题清晰。信息不准确；问题清晰。问题不清晰。1数学概念（4）7空管应用举例空域结构优化；空中交通流量管理；4D轨迹优化；机场进离场排序等。1数学算法（1）8概念英文名称：Algorithm，是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，代表着用系统的方法描述解决问题的策略机制。特点有穷性；确切性；输入输出；可行性。1数学算法（2）9分类迭代特点：函数内部实现循环，通过使用计数器结束循环。递归特点：重复调用函数自身实现循环，遇到满足终止条件的情况时逐层返回来结束。穷举特点：对所有可能的情况逐一验证。回溯特点：从一条路出发，能进则进不能进则退，换一条路再试。动态规划特点：求解决策过程最优化的数学方法。1数学算法（3）10空管应用举例卡尔曼滤波算法（监视目标跟踪处理）；地图投影算法（经纬度坐标转换为直角坐标）；视频压缩算法（景象记录）；带约束优化算法（进离场排序）等。1数学建模（1）11概念英文名称：Modeling，是对事物抽象的一种描述。特别声明数学建模：工程建模；通过使用数学符号，数学式子，程序，图形等对某一事物或问题进行抽象描述。1数学建模（2）12空管应用举例4D轨迹估算（质点运动数学模型）；中期冲突探测（几何运动数学模型）；短期冲突告警（质点运动数学模型）；空域侵入告警（质点运动数学模型）等。1数据分析挖掘(1)13概念数据分析：DataAnalysis，通过使用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据挖掘：DataMining，通常是指从大量的数据中通过算法搜索隐藏于其中信息的过程。1数据分析挖掘(2)14区别数据挖掘，目标不是很清晰，要依靠挖掘算法来找出隐藏在大量数据中的规则、模式、规律等；联系数据挖掘，是数据分析的基础支持，简单来说，就是先对原始数据进行业务关联性、时效性、有效性等逻辑性挖掘，其次抽取有效数据，清理、格式化数据，为数据分析提供数据支持。数据分析，一般要分析的目标比较明确，分析条件也比较清楚。1数据分析挖掘(3)15常用方法回归分析、聚类、关联规则、特征、变化和偏差分析、web页挖掘等。数据分析现状传统数据分析技术比较成熟，e.g.基于SQL数据库查询的统计分析。基于大数据的数据分析，发展迅速，良莠不齐，任重而道远。1数学概念（4）16空管应用举例飞行计划配对统计；出入境飞行计划统计；军民航飞行计划统计；空域飞行流量信息统计等。二、技术背景技术背景18数据；存储；计算。2数据（1）19数据英文名称：Data，是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。特点数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵。数据本身没有意义，数据只有对实体行为产生影响成为信息时，才会产生重要价值。2数据（2）20传统数据特点：应用：数据量小初级建模信息相对较少辅助维护…………2数据（3）21大数据特点应用数据量大；预测分析；现状处理复杂，难度大，云架构、并行处理是共识；数据复杂。决策评估。结合行业进行充分发掘是难题，也是未来企业保持行业竞争优势的重要砝码。存储现状存储设备变强，e.g.服务器和工作站，硬盘和内存容量越来越大，由M-G-T增长；2存储22存储方式多样，e.g.移动介质、固定介质、私有云、公共云等。存储技术先进，e.g.NAS、SAN、ISCSI。2计算23技术现状分布式计算特点：将大的任务分解成小的任务，在多台计算机上同时计算，被分解后的小任务互相之间有独立性，节点之间的结果几乎不互相影响，实时性要求不高。并行计算特点：将大的任务分解成小的任务，在多台计算机上同时计算，倾向于海量数据分析处理，计算的结果相互影响，实时性要求高。云计算特点：由分布式计算、并行计算发展而来的，处于萌芽阶段，但是未来发展的趋势。三、云平台架构云平台架构25IAAS服务层；PAAS服务层；SAAS服务层。云平台架构26用户接入云应用SaaS应用云平台PaaS平台云资源IaaS平台ERP/OA/CRM/HR/BA/SCM/PM/EAM…客户、个人、开发/实施伙伴等创建的应用服务第三方SaaS应用服务客户自建SaaS应用服务SaaS应用服务支付、物流、政务等第三方云应用服务；外部行业服务组件…aPaaS门户应用引擎平台管理数据管理应用管理安全管理伙伴管理软件资产生命周期管理：需求设计开发测试部署iPaaS门户BPMESBEAIMDM管理PortalLDAP公共云集成服务IaaS云计算运营管理平台–公共服务自助管理/调度管理/资源管理/用户管理/资源监控/计费/安全服务/网络虚拟化的基础设施层云计算云存储云网络云安全空管云管理平台aPaaS平台服务（applicationplatformasaservice）iPaaS平台服务（integrationasaservice）SaaS管理门户：配置管理/自助管理/授权控制/消息服务/计费/安全管理IAAS服务层：主要提供基本架构服务，包括基本的计算服务、网络服务、存储服务、灾备服务、安全服务等；3云平台架构(1)27IAAS服务层PAAS服务层：基于IAAS层，面向SAAS层提供数据存储、数据分析挖掘等服务。SAAS服务层：基于PAAS层，提供与行业相关的应用服务或呈现服务。四、空管需求空管需求29飞行流量；管制压力；信息现状；技术发展。乘坐人次增多；4空管需求(1)30飞行流量现状飞行航线增加；飞行器架次增加；军民融合；低空开放。飞行流量增多，业务需求==工作高效化自然因素；4空管需求(2)31管制压力影响因素：军航活动；航班量大；管理严格；惩罚严厉。管制压力增大，使用需求==工作智能化信息现状职责多；4空管需求(3)32机构多；员工多；系统多；数据多。空管信息孤岛，共享需求==数据共享技术发展大数据挖掘技术；4空管需求(4)33存储技术；并行计算技术；云平台架构；大数据分析技术。技术发展，提供支撑==不可能变可能4空管需求(5)34（四）技术发展，提供支撑，不可能变可能（技术保障）（一）飞行流量增多，工作高效化（业务需求）（三）信息孤岛现状，数据共享（现状问题）（二）管制压力增大，工作智能化（使用需求）需求+问题+保障空管大数据分析技术应用天时、地利条件具备，如何做怎么做，需要人和，暂时欠缺。五、应用场景分析应用场景分析36场景1：4D轨迹估算；场景2：飞行冲突调配；场景3：日志分析；场景4：雷达数据处理。5应用场景分析（1）374D轨迹估算（1）通常做法实现弊端利用飞行情报并结合BADA库内机型参数，对计划未来航段进行估算；如果4D轨迹估算的模型太复杂，精度较高，但接收雷达目标信息后对未来航段更新比较耗时，易造成人机界面显示比较慢；接收到雷达目标信息后，对配对的飞行计划进行修正。如果4D轨迹估算的模型太简单，精度较低，造成飞行计划冲突告警虚警率较高，影响管制员日常操作。5应用场景分析（2）384D轨迹估算（2）大数据分析技术应用利用大数据分析技术，对同一航班的历史数据进行统计分析，分析在同一航路点航班的过点时间和高度信息，然后对原4D轨迹估算的结果进行修正或直接强制使用，提高4D轨迹估算的精度。5应用场景分析（3）39飞行冲突调配（1）通常做法实现弊端若是飞行预先调配或飞行前调配，一般选择进行地面等待，通过调整飞行时间间隔，使之满足安全标准，依据大多是管制员的工作经验；依赖管制员的经验；若是飞行中调配，一般采取调整高度、速度和空中等待这样的措施，拉大横向间隔或纵向间隔，使之满足安全标准，依据也大多是管制员的工作经验。效率低资源浪费。5应用场景分析（4）40飞行冲突调配（2）使用现状大数据分析技术应用飞行冲突调配系统有成品，e.g.川大智胜有一套智能化飞行冲突调配系统，曾在成空有部署。对探测到的冲突场景进行分析，找到历史相似的场景（数据挖掘）；推广难度大，系统提出的调配方案通常与管制员操作习惯不匹配，调配方案可靠性一般被管制员质疑，选择相信自己经验。通过分析历史相似场景的调配方案，修正现有系统的调配方案（数据分析）。5应用场景分析（5）41日志分析通常做法实现弊端ATC系统技术监控进程、一些主要进程实时生成日志文件；资源浪费；系统故障、进程出问题时，日志文件才会被用到，而且日志上的部分信息只有研发人员才会看懂。过分依赖供应商。大数据分析技术应用智能化故障诊断。5应用场景分析（6）42雷达数据处理通常做法接收到点迹，经过预处理、处理周期性输出系统航迹；如果在若干个周期内，没有收到点迹信息，系统航迹将会自动消失。大数据分析技术应用当航空器出现特情时，管制员无法监视到当前航迹，而系统保留该目标当前时刻之前的信息，通过大数据分析技术，结合历史数据和机型参数信息，进行预测，为应急搜救提供辅助。1.mp4结束语