时空大数据云计算与智慧城市3

1SDBGroup时空大数据、云计算与智慧城市陈荣国中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室2016.042SDBGroup1大数据243报告提纲时空数据云计算5智慧城市块数据3SDBGroup一、大数据4SDBGroup时代变迁-大数据时代机械化时代：以蒸汽机、内燃机的发明为驱动，释放化学能替代肌肉的能量，用机械力解放了人力畜力，引发了工业革命，引起了社会变革，改善了人们生活。电气化时代：以发电技术、输电技术、电器技术的发明为驱动，释放了能量的空间限制，让能量能高速高效地聚集和转移，让机械化应用从工厂转移到了千家万户。信息化时代：以计算机技术的发明为驱动，让信息和知识能高效、高速传输和传播，信息/知识成了社会的主要财富，信息/知识流成了社会发展的主要动力，让产业结构正在实现制造经济向信息经济的转化，改变了人们的生产和生活方式。大数据时代？？：分布式存储、移动计算、深度学习。更广的数据采集，更细的数据加工，使得数据应用革命性地繁荣。机器自动产生大量的数据5SDBGroup大数据特征（4V）1.Volume：海量的数据规模，PB~EB2.Velocity：快速的数据流转和数据处理体系3.Variety：多样的数据类型：结构化、半结构化、非结构化4.Value：价值密度低，商业价值高结构化数据：可描述为二维表格的数据，用SQL管理半结构化数据：非关系描述的其他结构化数据，如XML、HTML、EML等非结构化数据：如图片、音频、视频等6SDBGroup大数据内涵大数据仅是数据本身吗？还是技术？系统？或应用？（1）百度百科：大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。（2）维基百科：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。7SDBGroup大数据内涵狭义上，大数据仅是资讯、信息而已但其内涵涉及到流转、管理、处理、应用等（1）从对象角度看，大数据是大小超出典型数据库软件采集、储存、管理和分析等能力的数据集合（2）从技术角度看，大数据技术是从各种类型的大数据中，快速获得有价值信息的技术及其集成（3）从应用角度看，大数据是对特定的大数据集合、集成应用大数据技术、获得有价值信息的行为所以认为“大数据”是数据、技术和应用的统一体8SDBGroup9SDBGroup大数据方法与传统方法的对比10SDBGroup大数据可视化分析大数据的可视化和绘制主要是基于并行算法设计的，能合理利用有限的计算资源，高效地处理和分析特定数据集的特性可视化通常会结合多分辨率表示方法，以获得足够的互动性能11SDBGroup二、时空数据世界的哲学定义：时空及有无的划分匡定为世界大数据无处不在，它是现实世界到信息世界的映射，是对现实世界的采样无论是现实世界，还是信息世界，其实质是世界世：往世、现世、来世，指的都是时间，一维的时间界：物体的边界、位置，也就是多维的空间狭义上：时间+空间=世界宇宙也可以理解为时空：宇宙是“时间无尽永前、空间无界永在、质量无限永有”的存在。宇宙O={→T=∞；S（x,y,z）=∞；M=∞}12SDBGroup时空数据时空数据也是现实世界到信息世界的映射，是对现实世界的采样时空数据往往是多维的，既有空间，也有时间时间决定了时空数据的现势性及演变过程空间决定了时空数据的位置空间属性和关系属性，包括时空关系•文献指出世界上80%的数据与空间有关，实际上世界上几乎100%的信息都与时空关联，因为世界就是时空•世界上85%的数据是半结构化和非结构化的13SDBGroup数据类型：多维数据：真三维模型、实景影像、BIM、点云媒体数据：视频图像、影音多媒体位置数据：LBS轨迹数据、室内地图…物联网数据：各类传感器实时数据、半/非结构化数据时空数据具备的4V特征：Volume：遥感、街景、视频、BIM、位置等数据规模达PB~EBVelocity：LBS、BIM、遥感、实时传感信息需要快速流转和处理Variety：矢量、栅格、多媒体、BIM、LBS等数据类型多样Value：海量实景数据中蕴含极高的应用价值时空数据的4V特征14SDBGroup包括：设计标准、系统体系结构、存储架构、查询处理架构、弹性扩展架构、安全访问控制体系等文件底层与分布式文件系统（如HDFS）结合，研究虚拟块数据管理容器MPP与云计算平台（如Hadoop）结合，研究块数据并行分布式查询处理架构时空大数据管理采用混搭架构15SDBGroup研究结构化、非结构化、半结构化、流化数据的一体化存储和组织模型，重点突破三大数据库：多维数据库、全媒体数据库和位置数据库解决基于大规模文件和基于数据库的统一存储管理问题解决基于时间的块数据存储组织和快速检索问题跨结构一体化时空大数据存储模型16SDBGroup16跨结构一体化时空大数据存储模型矢量数据影像数据三维模型地名地址街景影像视频监控报表数据17SDBGroup融合GeoSQL+NewSQL+云计算平台，研究实现BigGeoSQL并行查询处理引擎同时支持实时计算和批处理计算支持时空数据融合查询优化与处理实现高效的时空数据序列运算能力BigGeoSQL分布式并行查询处理BigGeoSQL=BigSQL+GeoSQL18SDBGroup三、块数据-概念“条数据”：为在某个行业和领域呈链条状串起来的数据。但这些数据被困在一个个孤立的条上，相互之间却不能连接起来。如城市各委、办、局独立管理的数据。行业的“一张图”（如国土一张图）也是条数据条数据的特征：（1）领域单一（2）数据封闭（3）数据垄断（4）源自事务流教育医疗交通安全生产国土规划19SDBGroup“块数据”：狭义上，块数据是一个物理空间或者行政区域内形成的涉及人、事、物的各类数据的总和。广义上则是有关块的数据、技术和应用的统一体块数据是从数据到“数聚”的过程，这是块数据的起点。数据是分散的、分割的、碎片化的，当这些分散的、分割的、碎片化的数据聚合在一起的时候，就开始产生“块”块数据“人”的块数据20SDBGroup“物”的块数据条数据与块数据块数据块数据块数据条数据条数据条数据条数据条数据条数据块嵌套21SDBGroup块数据思维条条关系入块：条条数据是相互关联的，入块必须遵循块数据标准条块关系组构：条数据是块数据中的基本要素，但具自主性。条数据与条数据在块中是无缝协同的块块关系互联：快数据在块间的交换，既可以是条状态连接，也可以经过加工、选择、组合、衍生后进行块间交换22SDBGroup块数据的特征1.高度关联性：块数据的来源可能是一条街道、一个社区、或一个城市，其高度关联性体现为：块上人与人之间的社交关联块上人与组织间的关联块上人与物的关联块上人与空间的关联块上人与物、事件、空间的相互关联2.多维性：数据来源的广泛性数据模式的多元性数据主体的时空性23SDBGroup块数据的特征3.活性：随时随地都在更新更快的更新率更高的鲜活度更快的相应速度4.主体性：以人为本的数据（状态、行为、意识）5.开放性：数据的交换与共享数据的开放与利用24SDBGroup块数据与时空数据块是一个物理空间或者行政区域，本身就是面状的空间数据。块具备空间属性和空间关系。智慧城市中的块可以大到整个城市区域，也可小到一个社区、街道或商区块中的对象（人、事、物）具有时态特征（成、住、坏、空），也就是动态存在的。如某个建筑物，从开始建设、到竣工、到使用、到最后损毁，其状态是随时间变化的所以说块数据是块内时空数据的聚集，时空数据分析是块数据分析的基础25SDBGroup块数据在智慧城市中的应用块数据集成管理-实现智慧城市大数据一体化融合应用块数据位置服务-实现智慧城市移动互联综合应用块数据分布式管理-实现智慧城市“横向跨部门、纵向跨层级”的分布式应用块数据云服务-构建智慧城市数据云平台和全方位创新的应用体系四、云计算-概念Gartner高级分析师BenPring评价道：“它正在成为一个大众化的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一个对互联网的比喻，“云”是很容易理解的。但是一旦同“计算”联系起来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云计算仅仅定义为计算的升级版——基本上就是互联网上提供的众多虚拟服务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护之外消费的任何事物都处于“云”之中。人云亦云众说纷纭提交请求硬件软件服务存储网络云用户按需付费服务云计算-业务模式1服务可租用：用户所需资源不在客户一端而在网络2服务可计量：服务能力具有分钟级或秒级的计量能力3高性价比：具有较之传统模式5倍以上的性价比优势云计算云计算的定义与特征（12345）通过网络接入弹性可扩展的物理或虚拟资源池，并可以以按需、自服务的方式对资源进行部署和管理的服务模式1个定义1：提供者以租代售，由卖产品变为卖服务，提高资源利用率并降低服务成本2：使用者以租代买，提高投资回报率2个角色3种模式1：SAAS(软件即服务)2：PAAS（平台即服务）3：IAAS（基础设施即服务）1：私有云2：社区云3：公有云4：混合云4种部署1：宽带网络接入2：按需服务3：资源共享4：快速弹性扩展5：服务可度量5个特点云计算-技术特性虚拟化技术硬件虚拟化系统虚拟化应用虚拟化并行运算技术映射（Map)归约（Reduce)云计算-4大支撑技术四大技术是拆分分布技术是合成一机变多机一算变多算一存变多存海量数据管理技术列族存贮主服务器子表服务器海量数据存贮技术元数据节点数据节点一库变多库云计算-四大效能31SDBGroup32SDBGroup33SDBGroup34SDBGroup35SDBGroup大数据、云计算、物联网和移动互联网的关系36SDBGroup大数据、云计算、物联网和移动互联网的关系物联网对应了互联网的感觉和运动神经系统云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础物联网、传统互联网、移动互联网在源源不断的向大数据层汇聚数据和接受数据37SDBGroup五、智慧城市-概念与核心技术智慧城市集云计算、物联网、移动互联、大数据之大成基于全面物联、充分整合、激励创新和协同运作实现以用户创新、开放创新、大众创新、协同创新为特征的知识社会环境下的可持续创新通过价值创造，以人为本实现经济、社会、环境的全面可持续发展四大特征：全面透彻的感知、宽带泛在的互联、智能融合的应用以及以人为本的可持续创新类似共产主义？如何实现？38SDBGroup智慧与智能从感知到记忆到思维的过程，称为“智慧”智慧的结果就产生了行为和知识，将行为和知识表达的过程称为“能力”，两者合称“智能”，将感觉、记忆、回忆、思维、表达、行为的整个过程称为智能过程，它是智力和能力的表现感知（采集数据）记忆（管理数据）思维（分析数据）39SDBGroup智能至少包括三个方面的能力：理解、分析、解决问题的能力归纳推理和演绎推理能力自适应环境而生存发展的能力智能的表现在多个方面，如观察力、记忆力、想象力、创造力、分析判断能力、思维能力、应变能力、推理能力等智慧与智能智慧交通-智能交通40SDBGroup如何实现初级的智慧城市？李德仁院士：智慧城市=数字城市+物联网+云计算（+大数据）第一步：物联网平安城市：全方位监控无线城市：移动互联感知城市：城市具有视觉、听觉、感觉…第二步：数字城市将城市时空信息和其他有关信息融合，对城市进行多分辨率、多尺度、多时空和多种类的多维描述，将城市的过去、现状和未来的全部内容在网络上进行数字化虚