搜索
空间大数据目录一、大数据的涵义与研究意义二、与空间信息和位置相关的大数据三、空间大数据的应用四、空间大数据的存储五、总结一、大数据的涵义与研究意义大数据：大型复杂数据集的聚合，这些数据集的规模和复杂程度常超出目前数据库管理软件和传统数据处理技术在可接受时间下的获取、管理、检索、分析、挖掘和可视化能力。一、大数据的涵义与研究意义大数据的特点：１）Volume（体量大）：大量TB级以上已有的数据等待处理；２）Velocity（速度快）：需要响应以s甚至ms计的流数据不断产生；３）Variety（模态多样）：数据来源和类型繁多文本、图片、视频等结构化和非结构化数据并存；４）Veracity（真伪难辨）：由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性；５）Value（价值）：大数据使得人们以前所未有的维度量化和理解世界，蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。大数据的核心：预测一、大数据的涵义与研究意义研究大数据的意义：科学进步图灵奖获得者吉姆•格雷提出：大数据是科学研究的第四范式，是从计算密集型科研发展到以大数据为基础的数据密集型科研方法。科学研究方法的发展真正的革命并不发生在分析数据的机器，而在于数据本身和我们如何运用数据。一、大数据的涵义与研究意义研究大数据的意义：社会变革2009至今美国政府全面开放了40万联邦政府原始数据集。大数据已成为美国国家创新战略、国家安全战略、国家IT产业发展战略以及国家信息网络战略的交叉领域、核心领域。21世纪数据的价值有可能等同于20世纪的石油，大数据研究使得人们降低了对因果关系的渴求，而关注相关关系。只需要知道是什么，而不需知道为什么。这将使得理解现实和做决定的基础也将受到根本性挑战。社会价值一、大数据的涵义与研究意义研究大数据的意义：经济增长二、与空间信息和位置相关的大数据指直接或间接关联着相对于地球的某个地点的数据，包括自然地理数据和社会经济数据。空间媒体数据地理数据轨迹数据包含位置的数字化的文字、图形、图像、视频影像等媒体数据，主要来源于移动社交网络、微博等新型互联网应用指通过GNSS等测量手段以及网络签到等方法获得的用户活动数据，可以被用来反映用户的位置和用户的社会偏好。位置大数据的分类二、与空间信息和位置相关的大数据地理数据内容：土地覆盖类型数据、地貌数据、土壤数据、水文数据、植被数据、居民地数据、河流数据、行政境界及社会经济方面的数据等。特点：数据体量大、较为规则化、变化较慢。二、与空间信息和位置相关的大数据轨迹数据内容：个人轨迹数据、群体轨迹数据、车辆轨迹数据等特点：数据体量大、信息碎片化、准确性较低、半结构化出租车轨迹数据示例二、与空间信息和位置相关的大数据空间媒体数据内容：互联网图像视频数据、社交网络数据在线电子商务数据、城市监控摄像头数据特点：数据来源混杂、数据异构性大、数据价值密度低，实时性强二、与空间信息和位置相关的大数据社会交流、个性化信息推送、驾驶安全、智能驾驶为个人生活服务城市规划、疾病控制、智能交通、节能减排、环境保护、应急响应企业调度、门店选址、广告推送、位置营销为企业经济服务为城市运行服务位置大数据的作用三、空间大数据的应用1.空间大数据与智能交通Inrix是美国的一家交通数据处理公司，也是全球领先的道路交通信息和驾驶员服务供应商。他们设计的APP是一款致力于为全球交通问题带来智能数据和先进的分析方法的交通智能化平台。三、空间大数据的应用利用大数据预判未来交通信息和路况是核心2012年英国伦敦奥运会利用INRIX软件和在线服务确保交通顺畅;在美国有超过25个州的交通部门使用INRIX数据辅助交通管理。三、空间大数据的应用2015年2月11日，国内智能交通行业领军企业北京千方科技股份有限公司与INRIX签署战略合作协议。千方科技在国内智能交通行业具有深厚的理解和市场、技术积累，INRIX在欧美地区具有成熟的交通信息化解决方案和先进理念。双方将结合各自的优势，整合交通信息化及数据分析解决方案和产品，共同拓展智能交通行业市场，双方将在交通大数据分析、增值挖掘、交通仿真等技术方向深度交流，提升双方专业化及技术能力。不过，由于涉及国内职能部门的数据保护问题，国内手机用户还未能够体验这款App。三、空间大数据的应用2.空间大数据与社会生活2014年春节期间，百度地图定位可视化大数据播报的国内春节人口迁徙情况。2015年最近一周南京夫子庙景区热力图三、空间大数据的应用3.空间大数据与应急管理2013年4月15日，波士顿马拉松爆炸案事发几小时内，数以千计的在场群众将事发现场拍摄的照片和视频放到了公共网络平台上，这些照片和视频图像来自各种相机，手机和平板电脑。不到一天时间，嫌犯被确认并在纽约被抓获这是一种典型的利用空间社会媒体的位置大数据与反犯罪机构的专业能力结合，建立的城市安全与应急新体制位置大数据研究涉及到数据采集、数据处理、计算和存储以及可视化等一套完整的方法体系四、空间大数据的存储四、空间大数据的存储海量数据的高效存储支持丰富的数据类型处理速度快数据库应当易于扩展大数据下对于数据库的需求四、空间大数据的存储CAPNOSQLBASE不保证遵循ACID原则分布式的非关系型的四、位置大数据的存储必须保证两者权衡一致性可用性分区容错性BASE四、空间大数据的存储灵活高可用性高性能易扩展NoSQL数据库的特点四、空间大数据的存储Key-value型文档型图形数据库列式存储四、空间大数据的存储定义一个大的有序结构数组HashValue[m]，用来存放各信息查询哈希表哈希函数当查询的时候再使用哈希函数得到这个下标值编写一个哈希函数将关键值的名字转换为HashValue[m]中的某个下标值xKey-value型四、空间大数据的存储文档集合数据库集合就是一组文档。集合是无模式的。多个文档组成集合多个集合数据库。它包含多个键/值对文档中的键/值对是有序的文档型数据库四、空间大数据的存储四、空间大数据的存储四、空间大数据的存储分类Examples举例典型应用场景数据模型优点缺点键值（key-value）TokyoCabinet/Tyrant,Redis,Voldemort,OracleBDB内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。Key指向Value的键值对，通常用hashtable来实现查找速度快数据无结构化，通常只被当作字符串或者二进制数据列存储数据库Cassandra,HBase,Riak分布式的文件系统以列簇式存储，将同一列数据存在一起查找速度快，可扩展性强，更容易进行分布式扩展功能相对局限文档型数据库CouchDB,MongoDbWeb应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容）Key-Value对应的键值对，Value为结构化数据数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构查询性能不高，而且缺乏统一的查询语法。图形(Graph)数据库Neo4J,InfoGrid,InfiniteGraph社交网络，推荐系统等。专注于构建关系图谱图结构利用图结构相关算法。比如最短路径寻址，N度关系查找等很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。四、空间大数据的存储四、空间大数据的存储这便是一个document，使用JSON格式，一目了然。其中的geom即为Geometry类型的数据，即地理空间数据，也是采用JSON格式存储，这样后续的空间索引与空间查询将十分方便。四、空间大数据的存储db.xqpoint.find({geom.coordinates:[122.53233,52.968872]})精确查询邻域查询db.xqpoint.find({geom.coordinates:{$near:[122,52]}})db.xqpoint.find({geom.coordinates:{$near:[122,52]}}).limit(5)db.xqpoint.find({geom.coordinates:{$near:[122,52],$maxDistance:5}}).limit(5)四、空间大数据的存储范围查询box=[[80,40],[100,50]]db.xqpoint.find({geom.coordinates:{$within:{$box:box}}})center=[80,44]radius=5db.xqpoint.find({geom.coordinates:{$within:{$center:[center,radius]}}})polygon1=[[75,35],[80,35],[80,45],[60,40]]db.xqpoint.find({geom.coordinates:{$within:{$polygon:polygon1}}})五、总结大数据研究带来的挑战多源数据的分析和挖掘空间大数据的位置安全结合地理计算的可视分析可扩展的动态海量数据管理新的数据共享机制需要建立感谢你的聆听•1、不是井里没有水，而是你挖的不够深。不是成功来得慢，而是你努力的不够多。•2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。•3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋斗出一个绝地反击的故事，所以有什么理由不努力!•4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!•5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来。阳光那么好，何必自寻烦恼，过好每一个当下，一万个美丽的未来抵不过一个温暖的现在。•6、无论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。•7、生命的美丽，永远展现在她的进取之中;就像大树的美丽，是展现在它负势向上高耸入云的蓬勃生机中;像雄鹰的美丽，是展现在它搏风击雨如苍天之魂的翱翔中;像江河的美丽，是展现在它波涛汹涌一泻千里的奔流中。•8、有些事，不可避免地发生，阴晴圆缺皆有规律，我们只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改变它的轨迹。•9、与其埋怨世界，不如改变自己。管好自己的心，做好自己的事，比什么都强。人生无完美，曲折亦风景。别把失去看得过重，放弃是另一种拥有;不要经常艳羡他人，人做到了，心悟到了，相信属于你的风景就在下一个拐弯处。•10、有些事想开了，你就会明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎样，最后收拾残局的还是要靠你自己。•11、人生的某些障碍，你是逃不掉的。与其费尽周折绕过去，不如勇敢地攀登，或许这会铸就你人生的高点。•12、有些压力总是得自己扛过去，说出来就成了充满负能量的抱怨。寻求安慰也无济于事，还徒增了别人的烦恼。•13、认识到我们的所见所闻都是假象，认识到此生都是虚幻，我们才能真正认识到佛法的真相。钱多了会压死你，你承受得了吗?带，带不走，放，放不下。时时刻刻发悲心，饶益众生为他人。•14、梦想总是跑在我的前面。努力追寻它们，为了那一瞬间的同步，这就是动人的生命奇迹。•15、懒惰不会让你一下子跌倒，但会在不知不觉中减少你的收获;勤奋也不会让你一夜成功，但会在不知不觉中积累你的成果。人生需要挑战，更需要坚持和勤奋!•16、人生在世：可以缺钱，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不能盗名;可以低落，但不能堕落;可以放松，但不能放纵;可以虚荣，但不能虚伪;可以平凡，但不能平庸;可以浪漫，但不能浪荡;可以生气，但不能生事。•17、人生没有笔直路，当你感到迷茫、失落时，找几部这种充满正能量的电影，坐下来静静欣赏，去发现生命中真正重要