大数据概论

大数据概论大数据与智能技术学院任东海1第一讲：大数据概述大数据的概念大数据的来源大数据的特征大数据的影响大数据与云计算、物联网2大数据时代背景-第三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次1980年前后个人计算机信息处理Intel、IBM、苹果、微软、联想第二次1995年前后互联网信息传输雅虎、谷歌、BAT等第三次2010年前后物联网、云计算信息爆炸涌现一批新的市场标杆企业大数据3什么是大数据大数据：“超过典型数据库工具的硬件与软件环境所能获取、存储、管理和分析的数据”，换句话说，“用现有的一般技术难以管理的大量数据”。“用现有的一般技术难以管理”指的是目前企业数据库主流的关系数据库已无法管理结构复杂的数据；或是因为量的增加，导致查询数据的反应时间超过容许范围等等的庞大数据。4数据的产生方式变革被动式主动式感知式运营式系统阶段用户原创内容阶段物联网中的自动数据生产方式数据伴随着一定web2.0时代-用户大量传感器、摄像头的运营活动而产原创内容，智能手机生并记录在数据等移动设备加速内容库中产生5大数据从何而来网络和社交媒体网页收索博客推特图片音频视频点击量6商业流程机器与传感器条码技术GPS可携带健康检测仪飞机、火车汽车各种应用上的传感器物联网卫星医疗图像低中高种类和速率体量高中低大数据的四个特征巨量性（volume）多样性（variety）快速实时性（velocity）价值密度低（value）7大数据特征——数据量大天文学和基因学是最早产生大数据变革的领域，2000年，斯隆数字巡天项目启动时，位于新墨西哥州的望远镜，在短短几周内收集到的数据已经比天文学历史上总共收集的数据还要多；在智利的大型视场全景巡天望远镜于2016年投入使用，其在5天内收集到的信息量相当于10年的信息档案。2003年，人类第一次破译人体基因密码时，用了10年才完成了30亿对碱基对的排序；而在10年之后，世界范围内的基因仪15分钟就可以完成同样的工作量。伴随着各种随时设备、物联网和云计算、云存储等技术的发展，人和物的所有轨迹可以被记录，数据因此被大量生产出来。8大数据特征——数据类型多样数据格式（文本、音频、图片、视频、模拟信号等等）多样；数据来源（组织内部运作、组织外部）多样。例如：北京交通智能化分析平台数据来自路网摄像头、公交、轨道交通、出租车、以及省际客运、旅游、停车、租车等运输行业，还有问卷调查和地理信息系统数据。4万辆浮动车每天产生2000万条记录，交通卡刷卡记录每天1900万条，手机定位数据每天1800万条，电子停车收费系统数据每天50万条等等，这些数据在体量和速度上都达到了大数据的规模。如此类型繁多的异构数据，对数据处理和分析技术提出了新的挑战，也带来了新的机遇。9大数据特征——快速实时性数据增长速度快、处理数度快、时效性要求高，与传统数据挖掘的最大区别。有的数据爆发式产生，欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据；有的数据是涓涓细流式产生，但是由于用户众多，短时间产生的数据量依然非常庞大，例如日志、gps位置信息等。IBM有一则广告，讲的是“1秒，能做什么”。能检测出台湾的铁道故障并发布预警；能发现得克萨斯州的电力中断，避免电网瘫痪；能帮助一家全球性金融公司锁定行业欺诈，保障客户利益。大数据时代的很多应用，都需要基于快速生成的数据给出实时分析结果，用于指导生产和生活实践。秒级响应。10大数据特征——价值密度低大数据看起来很美，但是，价值密度却远远低于传统关系数据数据库中已经有的那些数据。在大数据时代，很多有价值的信息都是分散在海量数据中的。11大数据的影响大数据对科学研究的影响4种范式：实验、理论、计算、数据大数据对思维方式的影响“全体而非抽样”“效率而非精确”“相关而非因果”12大数据的影响大数据对社会发展的影响大数据决策成为一种新的决策方式大数据应用促进信息技术与各行业的深度融合大数据开发推动新技术和新应用的不断涌现大数据对就业市场的影响大数据对人才培养的影响13大数据、云计算与互联网云计算：一种基于互联网的超级计算模式，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。在远程的数据中心里，成千上万台电脑和服务器连成一片电脑云。旨在整合和优化各种IT资源并通过网络提供给用户廉价的服务。物联网：物物相连的互联网，利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。14大数据、云计算与互联网15大数据云计算物联网云计算为大数据提供技术基础，大数据为云计算提供用武之地云计算为物联网提供海量数据存储能力、物联网为云计算提供广阔应用空间物联网是大数据的重要来源，大数据技术为物流网数据分析提供支撑大数据概论-第二讲大数据处理流程人人网好友推荐的奥秘行业应用中的大数据16大数据处理流程17数据采集传感器、物联网、app等各种途径人人网好友推荐的奥秘18读取网页数据19绘制简单的好友关系网络图-子群分割20基于好友关系的一种简单推荐人人网好友推荐逻辑：根据共同好友的数量来进行推荐21行业应用中的大数据智慧城市（包括公共安全、智慧交通、智慧环保等）医疗金融&征信电商&物流通信文娱投资价值判断22行业应用-智慧城市23行业应用-智慧城市24行业应用-智慧城市25行业应用-智慧城市26行业应用-智慧城市27行业应用-医疗28行业应用-医疗29行业应用-金融30行业应用-金融31行业应用-电商&物流32行业应用-电商&物流33菜鸟物流网络34阿里平台Nike发货郑州-北京韵达快递员在附近通知韵达公司让快递员取货韵达公司收到货物，按规定的时间送到阿里的中转仓圆通正有干线车辆要发车到北京通知圆通把nike货物装上车送到北京阿里中转中心显示顺丰正在要去nike买家小区的周围通知顺丰公司前去送货12345678下单查询通知查询通知通知查询通知行业应用-电信35行业应用-文娱36第三讲：数据可视化数据可视化的概念可视化的重要作用可视化的基本图表可视化的工具37数据可视化的概念数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。利用数据可视化方法，枯燥乏味的数据转变为丰富生动的视觉图像，不仅有助于简化人们的分析过程，在很大程度上提高了分析数据的效率。数据可视化是数据分析流程中的一个重要环节。38可视化的重要作用-记录信息394041图1.8人类历史上第一幅城市交通图，呈现了罗马城的交通状况可视化的重要作用-记录信息42可视化的重要作用-信息的推理分析43可视化的重要作用-信息的推理分析44可视化的重要作用-辅助理解数据45可视化的重要作用-辅助理解数据46数据可视化的基本图表柱状图直方图饼图折线图散点图雷达图……47柱状图48直方图49饼图50折线图51散点图52雷达图530102030405060708090100数学语文英语物理政治体育成绩科目成绩数学100语文80英语90物理70政治85体育50可视化的工具入门级工具EXCEL信息图表工具GoogleChartAPI、大数据魔镜、Tableau地图工具ModestMaps、Leaflet高级分析工具R54