遥感大数据应用报告人类进入大数据时代1遥感大数据及其特点遥感大数据挖掘与应用结论与展望信息高速公路到网络空间1993年9月,美国启动“信息高速公路”计划,即国家信息基础设施(NII),引发了席卷全球的信息化革命;1994年,美国启动了国家空间数据基础设施(NSDI)的建设1995年,中国启动了推动全国信息化的“八金”工程,标志着我国信息化建设开始起步利用卫星导航定位技术、卫星遥感技术、网络地理信息技术和计算机虚拟现实技术,大量的表述地球自然形态和人类活动的几何与社会属性数据和信息被送入电脑,并在互联网上流通,形成虚拟的网络空间(Cyberspace)数字地球的提出1998年,美国副总统戈尔提出“数字地球”概念,全球开始步入数字地球和数字城市建设新阶段目前,我国已建成数字中国基础框架,已有600多个城市初步建成数字城市基础框架,国家测绘地理信息局发布在互联网上的“天地图”成了数字中国和数字城市的载体智慧地球2006年以来,物联网、云计算等新一代信息技术正式推出,实现了工业化与信息化的综合集成通过无所不在的传感网将网络世界与现实世界关联起来,形成虚实一体化的空间(Cyberphysicalspace),将自动和实时地感知现实世界中人和物的各种状态和变化,由云计算中心处理其中海量和复杂的计算、控制并产生智能反馈2009年,全世界各国正式提出建设智慧地球和智慧城市智慧地球可为人类生存繁衍、经济发展、社会交往和文化享受等诸多方面提供各种智能化的服务:实现低碳、绿色、可持续发展大数据的兴起NatureScience出版社分别于2008年、2011年出版了《BigData》、《Dealingwithdata》专刊,指出大数据时代已到来2012年3月,美国奥巴马政府宣布正式发布了“大数据研究和发展倡议”,意义堪比20世纪的信息高速公路计划无所不在的亿万个各类传感器将产生越来越多的数据,数据量级将从现在的GB、TB(TeraByte)级逐步增长到PB、EB和ZB(ZettaByte)级。迫切需要通过分析这些结构复杂、数量庞大的数据,以云端运算整合分析,便能快速地将之转化成有价值的信息,从中探索和挖掘自然和社会的变化规律利用大规模有效数据分析预测建模、可视化和发现新规律的时代即将到来大数据的特征Volume(体量大):大量TB、PB、EB级以上的数据等待处理;Velocity(速度快):需要响应以秒甚至毫秒计的流数据的不断产生;Variety(模态多样):数据来源和类型繁多,文本、图片、视频等结构化和非结构化数据并存;Veracity(真伪难辨):由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性;Value(价值巨大):大数据使得人们以前所未有的维度量化和理解世界,蕴含了巨大的价值,大数据的终极目标在于从数据中挖掘价值。此“5V”又译为:体量、速度、多样性、真实性和价值。数据挖掘的定义从海量、多源大数据中自动发现和提取隐含的、非显见的模式、规则和知识的过程。数据挖掘比数据处理和信息提取有更大的难度,需要基于大数据和知识库的智能推理。基于智慧城市的大数据和云计算,数据挖掘的目的是从中窥探和挖掘自然和社会的变化规律,人们的生活、行为及喜好,社会的潮流、思维和舆论趋向,推断市场对产品、服务甚至政策等各方面的反应。数据挖掘过程数据获取数据存储数据计算数据传送与分配数据挖掘数据呈现数据安全数据采集、编索与整合需要低成本存储与分布式处理大量的仿真和计算任务须协调数百个参数需要将高维图像等多媒体数据降维后度量与处理需要可视化计算结果分享与访问控制,安全与隐私保护数据仓库选择数据选择变换挖掘融合抽取信息融合信息变换的数据数据融合、取样、多分辨率分析去噪、特征抽取、标称化降维处理分类/群集可视化/认证数据挖掘算法9准备阶段合并压缩清洗过滤格式转换包发现阶段统计分析线性分析、非线性分析、线形回归、因子分析、单变量曲线、双变量统计时间序列分析知识发现人工神经网络、决策树方法、遗传算法、规律推理可视化多变量的图形分析并给出变量的关系寻找规按律建立模型解释阶段关联规则揭示数据间的内在联系,例如发现政府、部门网站上各种文件之间访问的相互关系,获得不同网页间关联度,便于组织站点的内容分类照分类的公共属性描述来分配类别,利用历史数据推导和预测聚类包括客户群聚类、web网页聚类,以便网站为用户提供特定的服务序列挖掘出数据的前后时间顺序关系,找到那些“一些项跟随另一项”的内部事务模式路径发现web站点中常被访问的页面,了解用户的网络行为,以便改进页面及网站结构的设计空间数据挖掘金字塔(PyramidofSpatialDataMining)时空数据挖掘和知识发现的方法统计方法和空间统计学归纳方法聚类方法空间多测度、多时相分析方法探测性的数据分析Rough集方法数据场和云模型图像分析和模式识别神经网络、证据理论、遗传算法数学形态学...报告内容人类进入大数据时代1遥感大数据及其特点遥感大数据挖掘与应用结论与展望遥感传感器无所不在(Ubiquitous)地球空间信息的数据获取将从空天地专用传感器扩展到物联网中上亿个无所不在的非专用传感器智能手机:具有通信、导航、定位、摄影、摄像和传输功能的时空数据传感器城市中视频传感器:由于数量众多,能提供PB和EB级连续图像。这些都将大大地提高地球空间信息学的数据获取能力空天地传感器资源(专业和非专业)天上的卫星已超过1000个(美国500多个,俄罗斯120多,中国135个);空中的有人飞机和无人机超过10000架;地面移动测量系统和智能驾驶车上百万辆(光学和激光雷达);海上移动测量系统(光学、激光雷达和声纳);城市的各种智能传感器(中国视频头2000多万);人人手中的智能手机与智能手表(10亿多个)。15国际商业遥感技术进展中外卫星遥感的性能差别在轨运行卫星数量:205+300;135;空间分辨率:0.15m;0.5-3m;卫星定轨精度:3-5cm;3-5cm;卫星定姿精度:0.001gon;0.005gon;无控制目标定位精度:5-10m;5-20m;有控制目标定位精度:0.3-0.5pixel;0.5-1pixel;量化级别:10-12bit;8-10bit;卫星侧摆变轨速度:1分钟;1-3分钟美国中国差别在缩小,”从无到有”走向”从有到强”.中国气象卫星:FYSeriesPolarOrbitsGeostationaryOrbitsFY|1A1B1C1DFY|3A3B3C3HFY|2A2B2C2D2EFY|4SecondGenerationFirstGenerationFY-3AlaunchedonMay27,200818TherouteforfuturedevelopmentofFYseries2006FY-2D2007FY-3A(TEST)2010FY-2F2008FY-2E2009FY-3B(TEST)2011FY-3AM12012FY-3PM12012FY-2G2013FY-4A(TEST)2013FY-3RM(TEST)2015FY-4EAST12014FY-3AM22017FY-3AM32015FY-3PM22016FY-4WEST12017FY-4MS(TEST)2018FY-3PM32016FY-3RM12019FY-3RM22019FY-4EAST22020FY-4WEST22020FY-4MS中国气象卫星发展路线图为了满足国民经济建设和社会信息化发展的需要,建议在我国对地观测系统中列立测绘卫星系列,包括:¨高分辨率立体测图卫星¨干涉雷达卫星¨激光测高/激光雷达卫星¨重力卫星¨导航定位卫星测绘卫星系列规划资源三号基本情况20资源三号卫星我国第一颗民用高分辨率立体测图卫星,主要用于1:50000立体测图及更大比例尺基础地理产品的生产和更新,以及开展国土资源调查与监测。卫星重量2640公斤星上固存容量1TB平均轨道高度505.984公里;轨道倾角97.421度;降交点地方时10点30分;轨道周期97.716分钟回归周期59天平台基本参数21载荷参数三线阵相机多光谱相机光谱范围0.5~0.8um蓝:0.45-0.52um绿:0.52-0.59um红:0.63-0.69um近红外:0.77-0.89um地面像元分辨率下视:2.1米前后视:3.5米5.8米焦距1700mm1750mm量化比特数10bit10bit像元尺寸下视24576X7um;前后视16384X10um;9216X20um静态传函优于0.2优于0.2幅宽52公里52公里视场角6度6度搭载载荷及参数:三线阵相机和多光谱相机北斗位置云公共服务平台(羲和计划)位置云中国北斗全面运营服务★2012年12月27日,北斗系统对中国及周边地区正式提供全面运营服务。★国务院新闻办公室举行了北斗系统新闻发布会,正式公布了“北斗”系统空间信号接口控制(ICD)文件。中巴双方代表中巴双方代表中巴双方代表中巴双方代表中巴双方代巴双方代表定位精度:水平方向10米;垂直方向10m测速精度:大于0.2m/s授时精度:50纳秒(单程)短报文通信广域差分&地基增强覆盖的亚太范围地区北斗地基增强系统湖北示范验证总体目标:通过地面基准站系统的增强服务,实现北斗系统在湖北省的高精度导航定位服务能力。具体目标:建立湖北省均匀分布的6个框架网基准站(平均边长220km),实现全省范围单频米级导航定位服务建立示范区24个区域基准站(平均边长60km),实现区域三频厘米级精密定位服务建立湖北省北斗精密定位服务系统,开展在测绘、气象和交通等领域的北斗高精度定位导航应用示范实时精密定位性能分析定位模式模糊度固定成功率初始化时间(秒)内符合精度/m(平均)外符合精度/m(平均)平面高程平面高程GPS双频+BDS三频100%5.760.0040.0180.0100.036GPS双频+BDS双频80%27.460.0030.0150.0110.042BDS三频83%16.400.0070.0200.0130.052BDS双频40%50.780.0030.0150.0140.045GPS双频44%40.280.0060.0210.0120.048高精度导航性能分析可用于智慧交通中车辆控制和智能驾驶2013年11月,中心在泰国春武里府建成首个北斗卫星海外CORS示范站单站测试GPS北斗GPS+北斗可见卫星数(颗)6-813-1419-22使用卫星数(颗)6-813-1419-22泰国北斗CORS站精度分析三站测试内容指标测试载体车载,最高速度80km/h定位精度平面2厘米,高程5厘米导航精度平面0.5米(可实现车道级精度导航)北斗在泰国等低纬度东盟地区的精度与性能优于GPS第27页泰国北斗地基增强试验系统的精度分析HRMS(米)3.551.651.60RMS(米)7.843.443.03报告内容人类进入大数据时代1234遥感大数据及其特点遥感大数据挖掘与应用结论与展望遥感大数据挖掘与应用3.1无控制全球测图;3.2三维智慧城市;3.3生态环境动态监测;3.4灾害应急管理;3.5人类社会活动分析;3.6遥感强军(能打仗、打胜仗);3.7精准农业;……3.1无控制全球测图对资源三号卫星全国数据进行整体无控制区域网平差计算(8810景,原始数据量20TB),采用选权迭代验后方差估计的粗差探测方法,从20亿个匹配点中自动选择300万个坚强连接点,遥感影像自主定位精度从15米提高到5米,可满足全球测图要求米经过系统误差补偿和粗差剔除的结果(5米)第31页超大规模ZY-3数据无控制区域网平差第32页全国DOM/DSM自动化生产2mDOM5mDSM数据量40TB,60个计算节点耗时15天完成第33页全国DOM/DSM自动化生产第34页黑龙江测绘局海南测绘局浙江省测绘局大连测绘院山东省国土测绘院约8000余个检查点检测影像3000余景,抽检率约40%,检验区域约覆盖50