大数据信息化智能时代

大数据信息化智能时代Bigdatadisruptiveera大数据概念1云计算技术2大数据引领颠覆性时代3国内大数据现状4应用案例5目录引言—大数据时代背景在互联网无孔不入的时代，我们的一举一动都产生了大量的数据。这些原始数据的应用标志成“大数据爆发时代”的到来随着计算机和互联网技术的迅速崛起与普及，我们已经离不开手机、电脑、智能电视等智能终端设备，日常生活基本上都可以数字化地呈现、记录、分析。引言—大数据成为发达国家发展策略国外奥巴马政府以“BigDataisaBigDeal”为题发布新闻。宣布投资2亿美元启动“大数据研究和发展计划”以图增强收集海量数据、分析萃取信息的能力。“大数据”已成为发达的国家政府发展策略国内中国召开第1个以大数据为主题的香山科学会议，成立专家委员会，中关村启动3只大数据产品投资基金美国国务院采用大数据技术开发新的美国护照系统。IBM宣布投资1亿美元用于大数据研究；美国IT公司开始意识到大数据技术能够为公司创造价值；大数据公司引入汽车行业高管人员扩展营销业务；引言—国外大数据“风生水起”引言—大数据引领新全球视野2000年以来，搜索、广告和电商利用大数据获得丰厚回报2011年麦肯锡总结大数据现象并发布报告，点燃大数据热潮2012年初世界经济论坛讨论大数据一题引起政商界高度关注2012年，美国、英国、日本等政府积极开放数据，并资助大数据研发IBM、沃尔玛等传统企业大规模并购大数据公司，进军大数据领域大数据=战略资源共识互联网咨询公司IT和其他行业经济界政府1、大数据概念目录什么叫大数据如何理解：人类每天产生的数据无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合——维基百科数量大、获取速度快或形态多样的数据，难以用传统关系型数据分析方法进行有效分析，或者需要大规模的水平扩展才能高效处理——美国NIST定义：想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开第一层面是理论，理论是认知的必经途径第二层面是技术，技术是大数据价值通过从云计算、分布式处理技术、存储技术和感知技术的整个过程。第三层面是实践，实践是大数据的最终价值应用体现。大数据结构“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据4V特点大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商；现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统；终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系；大数据组成方式展现方式：大型控制中心、移动终端在多样性、体量、速度三大特征的指引下，大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和快速决策。2、云计算技术目录什么云计算？概念性定义：云计算本身不是计算，也不是单纯的技术，是基于资源隐藏理念的虚拟化方法论广义的定义:IT基础设施、资源、需求性服务的交付使用模式（服务器、存储器、处理器）狭义的定义：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。云计算概念•云计算为大数据资源、大数据挖掘提供技术设施（软硬科学技术)•大数据挖掘为云计算建设和运作提供决策云计算与大数据云计算与大数据应用价值和潜力提高生产效率，降低成本、节省能源、可持续发展的有效手段改变IT现状的应用模式带动传统产业的升级改造转型，调整产业经济结构促进商业、产业、事业模式发生变化云计算应用价值3、大数据引领颠覆性时代目录云计算、物联网从政绩工程变成实用工程国内各地制定云计算“十二五”规划云计算、物联网园区中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘和分析的技术发展，我们即将步入基于大数据的智能化时代。卖license卖服务从对license的需求到对整体解决方案、服务的需求•易复制、利润率高•边际成本为零•卖人头•盗版•客户粘度高•软硬一体化•利润率较卖license低，需要解决复用问题因泛在计算而导致行业需求变化利用好海量的大数据，解决中国软件公司卖人头、卖授权、无粘度的商业模式，转变为以数据服务为核心的新商业模式。带来商业模式的转变促进IT系统投资新热点模式不同行业中，企业信息化成熟度差异明显；政府等行业的信息化成熟度明显领先，总体处于扩展和整合优化阶段；除金融和电信之外的服务行业的信息化建设成熟度相对较低,仍处在成长阶段。对大数据的处理需求将启发对于IT系统投资新热点，证实IT推动业务发展，增加对IT投资。从IT系统走向大数据决策分析未来着眼点在于服务2000制造业金融电信政府互联网企业自动化走向初步信息化快速发展整体解决方案需求年600亿投资规模信息化走向移动互联化基本架构已经建立相对成熟500亿以上投资规模手工化向自动化转型：成熟度低成长阶段中国建筑信息化投入占总收入0.03%建筑流通移动互联化数据智能化大数据大数据关键技术与产业研究第22页互联网和移动互联网快速产生的各类数据用户行为数据系统日志数据……网页数据用户交易数据互联网企业大数据应用场景互联网企业大数据应用基本特点满意度分析定向广告提升服务质量社会服务个性化推荐其它……如Twitter对提到产品的文本进行搜集并按规则打分，得到客户对产品的满意度评价如Facebook对用户基本属性、行为习惯和兴趣等进行语义分析，为广告商提供基于数据挖掘的自助式广告下单服务系统如亚马逊利用大数据技术为用户提供社会化推荐、广播式个性化推荐等服务，加快了产品传播的速度如Facebook对大量用户产品使用状况的数据进行分析，优化产品设计及服务，改善用户的使用体验如谷歌基于用户搜索数据推出的产品谷歌流感趋势，可以迅速、准确的对流感进行预报定向广告和个性化推荐简单的大数据应用已在互联网领域广泛开展，且大部分企业具备自行实施应用的技术能力掌握有大量用户行为数据的互联网巨头可以较好提供社会化服务互联网企业领跑大数据应用零售业沃尔玛零售数据商业智能分析系统，可以了解到全球4000多家门店每天的销售情况并辅助制定销售策略。美国DNAnexus为医疗机构和用户提供了基因数据的管理、分析和可视化能力。医疗能源能源机构Vestas综合考虑温度、降水、风速、湿度、气压等因素，确定锋利涡轮机的最佳安置地。制造业日本小松公司根据挖掘机工作情况进行大数据分析，判断下一年度的市场需求。金融美国征信所Equifax对海量信息进行交叉分析，推出70余项新服务。其它：农业、气象……传统行业传统行业大数据应用基本特点数据源主要来自企业内部、类型较少、实时要求较低企业逐渐重视大数据，但当前应用相对简单，处于探索阶段掌握大数据技术的企业较少，主要由ICT企业提供技术支持电信运营西班牙电信“智慧足迹”产品可提供基于位置的大数据分析。互联网与传统行业融合创新大数据应用和产品金融与互联网融合交通与互联网融合阿里小贷：基于对用户交易行为的大数据分析，为阿里面向中小企业实施信用贷款提供支撑德国电信利用大数据技术实施德国政府的无拥塞交通研究项目其它：……互联网与传统产业不断融合，将催生新的大数据创新机会融合创新的大数据应用案例目前较少，应用处于起步阶段。融合发展能够将互联网的在线、数据快速积累和获取等优势带至传统行业，为实体经济发展带来新的突破，将是未来大数据发展的重要方向。创造各个领域的行业新潜力4、国内大数据现状目录我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%我国已有数据资源还存在标准化、准确性、完整性低，利用价值不高我国政府、企业和行业信息系统建设缺少统一规划和标准，形成众多“信息孤岛”，数据跨部门整合与开放程度低数据来源如何“开放融合”大云、经分、网管、飞信等自主研发大云分布式计算平台经营分析、网管中逐步引入大数据技术结合飞信等互联网业务推动大数据应用构建数据共享服务体系深度数据挖掘将数据分析结果引入到应用开发支撑自有业务发展离网预警、综合网管等等•数据源：在传统BI基础上叠加非结构化数据•闭环应用：将数据分析结果应用到客户挽留等流程•反馈修正：通过感知应用效果，不断纠正分析模型建立数据分析平台，从而实现营销服务向“大数据、超细分、微营销”转型以“移动用户上网记录查询和分析系统”和“移动用户IP地址溯源和日志留存系统”、“3G基站辅助规划系统”、“移动用户NET取号系统”为基础以移动互联网流量监测分析平台为切入点日志、地址、基站等国内运营商实践不易获得用户互联网或其他行业某一维度的深度行为信息电信运营商互联网运营商用户行为的全维度信息用户身份的锚点用户身份：电话号码、姓名、职业等用户账户：语音、数据流量账户信息用户访问记录：消费、社交、游戏等用户位置：LBS去了淘宝，买了什么？不知道，需对数据包进行深度分析，VPN网络更不易精确到某一用户。用户上网某一维度的深度行为信息淘宝：用户消费行为的深度信息。腾讯：用户社交行为的深度信息。不易获得用户行为的全维度信息淘宝：无法获得用户消费以外的行为信息。阿里入股新浪微博的原因之一。什么时间，什么地点，访问了什么网站不易获得用户的真实身份特征互联网注册信息多为虚拟ID，少数为实名注册。运营商与互联网大数据竞争优势技术的使用者资源的提供者服务的运营者运营商价值定位5、应用案例目录Google精确掌握用户行为、获取需求谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。美国Facebook斥资190亿美元收购了移动端新锐公司WhatsApp。根据彭博社的数据显示，此次收购是自2001年时代华纳(TimeWarner's)斥资1240亿美元并购美国在线(AOL)后，互联网公司最大的一起收购案Facebook买到了什么用户价值：whatsApp用户平均价值在70美元FacebookCEO扎克柏格:对whatsApp的收购显然能帮助我们加快移动服务领域的扩张速度互联网企业应用法国电信开展针对用户消费的大数据分析评估，借助大数据改善服务水平，利用大数据手段诊断出通话中断产生的原因是网络负荷过重，并根据分析结果优化网络布局，为客户提供了更好的体验，获得了更多的客户以及业务增长；T-Mobile采用Informatica平台开展大数据工作，通过集成数据综合分析客户流失的原因，在一个季度内将流失率减半；SK电讯新成立一家公司SKPlanet，专门处理与大数据相关的业务，通过分析用户的使用行为，在用户作出决定之前，推出符合用户兴趣的业务，防止用户流失英国O2在英国推出了免费WiFi服务，以积累更多的用户，从而收集到更多的用户数据，用在精准的媒体广告和营销服务方面。NTTDoCoMo通过制作精细化表格，收集用户详细信息，大大加强了CRM系统和知识库，准确定位目标客户，提高了业务办理的成功性。放眼全球市场，电信运营商在大数据发展方面仍处在初级阶段，但是一些发达国家运营商的经验值得借鉴，主要包括两个方面：一是提升服务质量，改善内部管理；二是确立商业模式，创造外部收益。确定商业模式，创造外部收益提升服务质量，改善内部管理美国AT&T将与用户相关的数据出售给政府和企业以获利。AT&T开始将用户在WiFi网络中的地理位置、网络浏览历史记录以及使用的应用等数