大数据及数据可视化分析53

大数据及数据可视化分析郑州大学信息工程学院宋伟2014.08.19汇报内容一、相关背景二、可视化分析介绍三、目前相关工作信息爆炸科学数据爆炸SloanDigitalSkySurveyATLUM/ConnectomeProjectBigData大数据(bigdata)，指的是所涉及的数据信息量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）“数据是新的石油。”----AndreasWeigend（Amazon前首席科学家）“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会接近上帝俯视人间星火的感觉？”大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。BigData特点（4V）Volume数据量大大数据的起始计量单位PB-EB-ZBVariety类型繁多包括网络日志、音频、视频、图片、地理位置信息、科学、医学等多类型数据，对数据处理能力提出了更高要求。Value价值密度低信息海量，但价值密度较低价值高只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。Velocity速度快时效高处理速度快，时效性要求高。区分于传统数据挖掘最显著的特征。对大数据的关注越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。1、2013年3月22日，奥巴马政府宣布投资拉动大数据相关产业发展，将“大数据战略”上升为国家意志。2、2012年,联合国发布大数据政务白皮书。3、最为积极的:众多的IT企业IBMPC软件和服务大数据分析软件(全新业务增长点)。百度、腾讯、阿里巴巴……数据为王BigData相关内容大数据技术从多种类型数据中，快速获得有价值信息的能力大数据工程大数据的规划建设运营管理的系统工程大数据科学大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系大数据应用大数据与云HalVarian,Google’sChiefEconomistTheMcKinseyQuarterly,Jan2009“将来几十年中，处理数据的能力将会成为至关重要的技术——理解数据、加工数据、提取数据价值、可视化数据、与数据交流。…因为现在我们的确拥有无处不在的、可自由获取的数据。”“Theabilitytotakedata—tobeabletounderstandit,toprocessit,toextractvaluefromit,tovisualizeit,tocommunicateit—that’sgoingtobeahugelyimportantskillinthenextdecades,...becausenowwereallydohaveessentiallyfreeandubiquitousdata.”汇报内容一、相关背景二、可视化分析介绍三、目前相关工作可视化(Visualization)利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。虚拟现实技术:以图形图像的可视化技术为依托科学可视化信息可视化数据可视化可视化样例treemap可视化样例：地图Konyatownmap,Turkey,c.6200BCAnaximanderofMiletus,c.550BCMilestonesProject……可视化的作用可视化的作用：记录信息GalileoGalilei,1616LeonardoDaVinci,ca.1500引用：TheHistoryofVisualCommunicationTheGalileoProject,RiceUniversityWilliamCurtis(1746-1799)记录信息E.J.Muybridge,1878可视化的作用：记录信息PhotoFinishes:InformationRichRogervonOech感知海洋.avi可视化作用：记录信息后现代主义新闻可视化的作用：分析推理Halley’sWindMap,1686PlanetaryMovementDiagram,c.950可视化的作用：分析推理W.Playfair,1786W.Playfair,1801可视化的作用：分析推理M.Wattenberg,2005可视化的作用：抽象LondonSubwayMap,1927HarryBeck,1933NewYorkTimes,2010可视化的作用：展示隐含模式E.Tufte,Writings,Artworks,NewsC.J.Minard,1869可视化的作用：展示隐含模式E.Tufte,VisualExplanations,1997JohnSnow,1854可视化的作用：展示隐含模式NYTimes可视化的作用：展示隐含模式可视化的作用：传播思想PreventableWoundsOtherwikipedia.orgF.Nightingale,CrimeanWar,1856可视化的作用：传播思想可视化的作用：传播思想HansRosling,TED2006可视化的作用：传播思想AaronKoblin,TED可视化的作用：传播思想AaronKoblin,TED可视化目标：信可视化目标：达可视化目标：雅汇报内容一、相关背景二、可视化分析介绍三、目前相关工作所做的相关工作UniversityofMaryland(VisitingScholar,2013.4-2014.4)1、研修内容与形式Davinci（Datavisualization,computing,andinteraction）Lab研究内容：科学可视化；大数据表示、处理与交互在研项目：大脑神经可视化，医学信息、生物信息的可视化与交互应用：协助诊断治疗、病因推导…ABIDevelopment:PathBubblesforDynamicVisualizationandIntegrationofBiologicalInformation(NSFAwardNumber:1260795$400,007.00)GV:Small:CollaborativeResearch:SupportingKnowledgeDiscoverythroughaScientificVisualizationLanguage(NSFAwardNumber:1302755$173,593.00）41ProjectExampleSource：EffectsofStereoandScreenSizeontheLegibilityofThree-DimensionalStreamtubeVisualization42Sample：PICTURES浅层应用GephiGnuplotTulip用散点图和平行坐标图对一个4维数据进行可视化困惑与尝试MutualInformation、causality、visualclutter、HumMod44蝙蝠飞行数据DepartmentofEcologyandEvolutionaryBiologyatBrownUniversityThemarkedbatswereflownineitherHarvardUniversityConcordFieldStationWindTunnelinBedford,MAorinaflightcorridoratLubeeBatConservancyinGainesville,FL.452、启发与研究以蝙蝠飞行数据及研究方法为基础，SAX+BOP+集成学习方法离散化、网络化、可视化方法Weka、Python、Gnuplot、Tulip……46Experiment1:SAX+BOP+Ensemble4748Experiment2:时间序列的离散化、网络化与可视化DualitybetweenTimeSeriesandNetworks(AndrianaS.L.O.Campanharo,etc.)49网络及可视化结果样例时间序列数据503、下一步工作计划参数选定对特征提取、机器学习、可视化效果的影响；大规模数据应用效果；与实际应用的结合（ECG、EEG等医学数据）51ClusteringandhierarchicalgraphsExploremulti-levelgraphswithGephibyfacilitatingexplorationandeditionoflarge,hierarchicallystructuredgraphs,e.g.,socialcommunities,biochemicalpathwaysornetworktrafficgraphs.Aggregatenetworksusingdataattributesorusebuilt-inclusteringalgorithm53