大数据介绍及公司大数据规划

大数据时代三分技术、七分数据、得数据者得天下平均每一分钟中国互联网上发生了什么？百度搜索查询48.7万次5万条微博465名新用户1.37亿人同时QQ在线556篇博客文章83名新博客4944条心情更新6597篇日志发布13.9万张照片上传3125条状态更新发布417篇日记更新97个视频上传到优酷，内容总计14个小时5.6万人淘宝在线交易额230万元80篇新帖子发布新回复1200篇大数据时代的到来facebook社交网络…淘宝、ebuy电子商务…微博、Apps移动互联…一切都在被记录，一切都在数据化大数据时代的到来这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代已经来临..大数据起源：1980年，家阿尔文•托夫勒的《第三次浪潮》公司大数据平台建设规划4.大数据部如何开展工作3.大数据在企业中的运用2.什么是大数据1.大数据时代的到来目录一、什么大数据大数据的定义1大数据的特征2大数据与传统数据的区别3“大数据”或称巨量数据、海量数据、大资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。一、什么是大数据大数据的定义：1.Volume2.Variety3.Value4.Velocity数据类型多样价值密度低高速数据量巨大大数据的特征数据的存储单位有：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、NB、DB，它们按照进率1024（2的十次方）来计算：1Byte=8bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB1TB=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB1YB=1,024ZB=1,048,576EB1NB=1,024YB=1,048,576ZB1DB=1,024NB=1,048,576YBGBTBPBEBZB二、大数据的特征1.Volume数据量巨大二、大数据的特征2.Variety数据类型多样3.Value4.Velocity价值密度低高速如今的数据类型早已不是单一的文本形式，订单、日志、音频结构化数据（20%)、半结构化数据和非结构化数据(80%)犹如沙里淘金实时获取需要的信息1大数据主要是结合人工智能进行机器的自动数据挖掘2大数据主要是用来作预测的3大数据是“关注相关性，不关注因果”大数据与传统数据的区别一、什么是大数据VS大数据其实是人们根据电脑的优势，找出了一个全新的数据分析、挖掘方式，与传统的方式完全不同二、大数据在企业中的运用大数据应用案例1大数据的运用范围2大数据的价值3价值链中大数据的三种模式4Target，一家比父亲更早知道女儿怀孕的超市曾经有一位男性顾客到一家塔吉特超市店中投诉，商店竟然给他还在读书的女儿寄婴儿用品的优惠券。这家全美第二大零售商，会搞出如此大的乌龙？但经过这位父亲与女儿进一步沟通，才发现自己女儿真的已经怀孕了。未卜先知怀孕案例二、大数据在企业中的运用Target公司是如何做到的呢？1、数据信息记录2、数据模型建立3、数据实时监控4、精准营销根据大数据模型,Target制订了全新的广告营销方案，结果Target的孕期用品销售呈现了爆炸性的增长。公司大数据分析技术从孕妇这个细分顾客群开始向其他各种细分客户群推广，Target的销售额也因此从每年的440亿美元增长到了670亿美元。二、大数据在企业中的运用*•通过用户行为分析实现精准营销是大数据的典型应用，大数据在各行各业特别是公共服务领域同样具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象二、大数据在企业中的运用5）利用大数据找到新的商业机会，开发产品4）了解同行经营情况，针对性提升自己的业绩3）为精准营销提供支持2）真正实时的了解客户1）给予上下游产业链者市场预判大数据的价值二、大数据在企业中的运用•1、手握大数据，但是没有利用好•2、没有数据，有大数据思维及技术•3、既有数据，又有大数据思维及技术金融机构，电信行业，政府机构等IT咨询和服务企业，比如，埃森哲，IBM等Google，Amazon，BAT三巨头等按大数据价值链分，分为三类二、大数据在企业中的运用大数据部岗位概述1大数据部工作关注点2大数据部2015年工作计划3三、大数据如何开展工作有技术有大数据思维有数据大数据部岗位总概述：建立更多的数据收集渠道去积累更多的数据，利用相关技术进行整理、分析，将数据转化为企业的资产！一、数据从哪里来？二、如何利用它？企业运营大数据的三要数三、大数据如何开展工作2、数据在哪里3、怎么获取我们是呼伦贝尔旅游全产业链供应商，业务覆盖所有与旅游相关的产业，拥有智慧旅游网，门户网站、酒店系统等平台。主要关注公司内部运营数据，旅客行为数据，合作、入驻商家运营数据，行业竞争业态数据。1、需要什么数据旅客、合作商家、入驻商家、拥有相关资源的企事业和政府单位（如百度、携程等互联网企业；电信、移动等通讯企业；公安、交通等政府相关部门）三、大数据如何开展工作一、数据从哪里来？3、怎么获取数据的拥有者是我们数据的提供者和受益者。通过网站、app、400电话等平台进行采集。景点、酒店、商场、演艺等服务点收集旅客数据。吃、住、行、游、导、购等商家入驻前产品数据采集。公司内部运营数据积累。拥有相关资源的企事业和政府单位：项目合作、购买方式进行数据采集，利用国家相关政策、整合政府资源（如智慧旅游等项目）向百度、携程等拥有大数据资源的企业购买三、大数据如何开展工作一、数据从哪里来？自我采集：合作与购买：基于大数据4V特征，要开发利用大数据，需要特殊的技术。关键技术一般包括：大数据采集、大数据统计分析、大数据挖掘、大数据展现和应用等技术三、大数据如何开展工作二、如何利用它？1、大数据采集技术：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。使用的产品：MySQL，Oracle，HBase，Redis和MongoDB等2、大数据统计分析：海量的来自前端的数据快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。使用的产品：Hadoop（Pig和Hive），YunTable，SAPHana和OracleExadata基于大数据4V特征，要开发利用大数据，需要特殊的技术。关键技术一般包括：大数据采集、大数据统计分析、大数据挖掘、大数据展现和应用等技术三、大数据如何开展工作二、如何利用它？3、大数据挖掘技术：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求。使用的产品：HadoopMahout4、大数据统展现与应用：可视化工具及大数据产品使用的产品：大数据魔镜（国内）、googlecharts三、大数据如何开展工作Hadoop主要功能HBaseMapReduceHiveHDFS快速的数据读取大数据存储统计复杂计算并行处理HDFS：分布式文件系统有较强的容错性可在x86平台上运行，减少总体成本可扩展，能构建大规模的应用HBase：非结构化NoSQl分布式数据库基于分布式文件系统HDFS，保证数据安全列式存储，节省存储空间提供大数据量的高速读写操作Hive：分布式关系型数据库数据可保存在HDFS，可提供海量的数据存储类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理通过MapReduce实现大规划并行计算MapReduce：大规划并行计算引擎可将任务分布并行运行在一个集群服务器中四、公司大数据平台建设规划购买VS自建摩尔定律大数据平台的建设，公司应分三个阶段大数据平台建设初步阶段采集大数据，形成“入口”能力（1~2年时间）大数据平台建设中期阶段应用“入口”大数据，服务产品化（2~3年时间）大数据平台建设成熟期垂直整合，“入口”能力释放（持续发展）•开发能采集用户大数据的智能产品、完善运营大数据的采集能力•形成大数据采集、存储和管理的技术平台•内外部数据梳理和整合，形成统一的用户大数据和运营大数据•整合数据挖掘资源和能力，应用内外大数据支撑产品领先和消费体验领先战略发展•大数据技术平台成熟•基于用户的大数据内生和应用平台形成•形成1~2个领先型大数据产品•拥有强大的数据挖掘资源和能力，对大数据进行价值挖掘和应用，数据价值开始显著发挥•形成网络化的大数据采集体系•整合相关资源形成开放生态圈平台，成为平台生态圈发展的主导者•基于生态圈平台，能为用户提供多元化的精确性服务，抢占用户的心理份额、生活份额、钱包份额。四、公司大数据平台建设规划