大数据时代的大数据思维

大数据时代的大数据思维茅宁南京大学管理学院不讲大数据就“OUT”了如何理解大数据技术：大云平移产业：商业革命资产：数据资产思维：管理革命和思维革命大数据时代：改变我们的生活、工作和思维方式Gartner公司（3V+1）：大数据是指数量大、变化快和（或）多样化的信息资产，需要新的处理形式，从而强化决策、促进洞察力和优化流程数据量（Volume）全量超大规模（海量）K、MB（兆）、G、T、P、E、Z、Y、N、D、C大数据的起始计量单位至少是P（1000个T）不仅是规模，更重要的是增长速度到2012年，人类生产的所有印刷材料数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB整个人类文明所获得的全部数据中，有90%是过去两年内产生的到了2020年，全世界所产生的数据规模将达到今天的44倍速度（Velocity）：实时变化（输入和处理速度快）对处理时间的要求种类（Variety)）：多样化（多源异构）结构化非结构化：文本、图象等价值（Value）:价值密度低大海捞针？数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键例：Facebook上市前有形资产价值66亿美元，但估值1040亿美元2009年-2011年间收集了2.1万亿条获利信息大有大的道理戴明：除了上帝，任何人都必须用数据来说话对大部分事物来说，平均值都差强人意但在决策中，大量个体的平均值往往是最好的猜猜瓶子里有多少钱？猜得最准的个人距离正确答案10美元所有猜测的平均值距离正确答案3美元365美元数据、模型和理论的关系光大是不够的数据并不是越多越好对数据分析能力的挑战：由人来解读转化为洞察见解科斯：如果你总是拷问数据，数据迟早会招供的有一位美国数学家最怕坐飞机他研究了近20年的统计数据，发现恐怖分子带炸弹上飞机的概率非常低但他还是不放心，又做进一步研究，发现两个人同时带炸弹上飞机的概率为零于是他坐飞机都自己携带一枚炸弹水生动物不要羡慕陆生动物的四个蹄子，它真正需要的是生出一个肺，而不是用腮呼吸林彪的大数据思维辽沈战役期间，林彪要求每天要进行“军情汇报”由值班参谋读出各单位用电台报告的当日战况和缴获几乎是重复着千篇一律枯燥无味的数据一天，参谋汇报当日战况时，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”见无人回答，接连问了三句为什么那里缴获的短枪与长枪比例比其它战斗略高为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?为什么在那里俘虏和击毙军官与士兵的比例比其它战斗略高?“我猜想，不，我断定!敌人的指挥所就在这里!果然，部队很快就抓住了敌方指挥官廖耀湘大数据内涵的三维度解析技术实践理论数据信息采集、传输、存贮、处理和分析能力——云技术、分布式处理技术、存贮技术、感知技术——分析技术：可视化分析、数据挖掘算法、语义搜索引擎、数据质量与数据管理、预测性分析大数据特征大数据价值大数据思维公共（互联网）数据政务数据产业（企业）数据个人（用户）数据（i-data)大数据的本质用母体代替抽样统计抽样的局限性用数量代替精确拥抱混杂性：容错性更强用相关性代替因果性知道是什么比知道为什么更重要演绎与归纳的区别演绎：通过一般规律推导出具体事实（从因到果）归纳：从具体事实中总结出一般规律大数据的启示：决策分析观念的转变传统抽样数据、局部数据和片面数据经验、假设和价值观未来要全体不要抽样要效率不要绝对精确要相关不要因果分析过去，提醒现在，展望未来GaryLoveman博士的经历1989年在MIT获经济学博士学位后在哈佛商学院任教专长是数据挖掘和服务管理：客户心理分析数学只是象牙塔里学究们出于个人兴趣的消遣，而对真实世界的决策没有帮助，这让他一度感到沮丧1994年在HBR发表一篇文章引起企业关注1997年接受主营赌场业务的哈拉斯娱乐公司（Harrah’sEntertainment）邀请，担任该公司COO他只准备待两年，为此请了两年学术假期再没有返回哈佛大学，2003年接任该公司CEO关键：使用数学运营赌场哈拉斯娱乐公司的特色每年在信息系统上的投资超过1亿美元推行了一套名为“完全回馈”（TotalReward）的会员卡制度，所有消费都用卡到2010年，已积累超过4000万会员的信息，是博彩业最大的客户数据库公司从地方性企业成长为全球最大的博彩公司（拥有39家本土赌场、13家海外赌场）2010年改名为凯撒娱乐公司(CaesarsEntertainment）利用大数据提供优质服务通过对顾客消费模式的分析，计算出顾客的长期价值（customerworth）一个顾客理论上长期会在Harrah’s总共消费多少26%的客户贡献了82%的收入：前者并不是大多数赌场一直在争取的金领豪客，而是中产阶级的中老年顾客（教师、医生、银行职员等）系统能根据顾客背景资料及历史消费模式计算出顾客的痛苦点（painpoint）如果他输钱超过痛苦点，今晚的赌博会成为一个痛苦的回忆，离开Harrah’s后一去不返实时做出对策：提供免费餐券劝退投资决策电影《永无止境》的故事一位落魄的作家库珀服用了一种可以迅速提升智力的神奇蓝色药物，然后他将这种高智商用于炒股在短时间掌握无数公司资料和背景：将世界上已经存在的海量数据（包括公司财报、电视、互联网、小道消息等）挖掘出来甚至将FaceBook、Twitter的海量社交数据挖掘得到普通大众对某种股票的感情倾向通过海量信息的挖掘、分析，使一切内幕都不是内幕，使一切趋势都在眼前在10天内赢得了200万美元，神奇的表现让身边的职业投资者目瞪口呆启示：如果人类将剩余80％的大脑潜能激发出来大数据实践广泛应用数据、使用统计与量化分析方法、使用描述性与预测性模型以及基于事实的管理方法影响决策和行动核心：用大数据思维去发掘大数据的潜在价值以基于大数据的预测分析为例消费行为：营销人的社交活动：恋爱、离婚、生育人的思考与决策：竞选、论文评分、情绪人的放弃：惠普对30多万员工的离职风险评估事故：保险、破产疾病和死亡撒谎、欺诈、犯罪西格尔，《大数据预测》，中信出版社，2014年4月大数据预测的147项案例Google流感预测：国家、地区是分析过去，提醒现在，展望未来。百度预测景点预测疾病预测城市预测房地产预测票房预测就业预测金融预测世界杯预测高考预测百度大数据产品百度司南：一站式营销决策平台人群分析品牌分析媒体分析舆情分析百度统计百度精算百度推荐百度筷搜？大数据：价值潜力与捕捉难度大数据对企业的革命性影响有能力从以自我为中心改变为以客户为中心从产品创新到需求创新：强需求胜过好产品导致管理方式的重构业务本身就可以自决策，不必要依靠膨大的组织和复杂的流程改变了商业逻辑从观察、思考、推理、决策到直接获得答案决策文化变革：让数据做主从全新视角来发现新的商业机会和重构新的商业模式广角镜+显微镜农夫山泉用大数据卖矿泉水“大自然搬运工”，在全国有十多个水源地“搬上搬下，银子哗哗”：一瓶超市售价2元的550ml饮用水，其中3毛钱花在了运输上如何根据不同的变量因素来控制物流成本道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求业务员每天例行公事：到销售点拍摄10张照片：水怎么摆放、位置有什么变化、高度如何……一天要跑15个，下班之前150张照片传回总部，产生的数据量在10M全公司1万个业务员，每天100G，每月3TB基因测序与个性化医疗的实现一种新型基因检测技术，能够从血液或唾液中分析测定基因全序列意义：预知未来健康状况，有针对性地进行保健和治疗，帮助人们从被动预防治疗走向主动预知健康乔布斯和影星安吉丽娜·朱莉市场比保健市场更为庞大，未来将达到几百万亿美元问题：消耗时间、代价昂贵一个肿瘤患者的基因组容量是2-3T借助于大数据，基因测序的成本已经从几十万美元逼近1000美元大关大数据实践为企业创造价值的可能途径客户群体细分，量身定制特别服务发现隐藏线索，进行产品和服务创新模拟现实环境，发掘新的需求加强部门联系，提高管理和产业链条效率例1：提供个性化定制性服务美国明尼阿波利斯市郊外的一位父亲收到了美国第二大零售商Target寄来的有关养育婴儿的优惠券收件人是他那还读高中的女儿这位父亲起初勃然大怒，准备同该商家理论但后来发现女儿确实不小心怀了孕根据25种典型消费品的消费大数据构建了“怀孕预测指数”商家正是根据这位少女在该店的购物记录，通过该指数，准确无误地预测到了她的预产期于是立即启动了个性化服务例2：把握居民电力消费行为特征人类对自身能源消耗的细节并不了解在这些细节中暗藏了大量无效率的能源浪费不同的消费形态造成不同的发电成本不同发电成本负担的消费者支付了相同价格，从而造成巨大的无效率现有定价机制无法根据消费形态不同区分不同价格通常假设居民电力消费行为具有“双峰”特点由智能电表得到的大数据分析不支持：每隔15分钟测量虽然总体呈现此模式，但个体模式各异（只有10%）通过大数据技术设计高效节能电力消费模式例3再现现场环境发现新的需求PRADA在纽约的旗舰店中每件衣服上都有RFID码每当一个顾客拿起一件PRADA进试衣间，RFID会被自动识别，数据会传至PRADA总部每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间，数据都被存储起来加以分析如果有一件衣服销量很低，以往的作法是直接干掉如果RFID传回的数据显示这件衣服虽然销量低，但进试衣间的次数多某个细节的微小改变就会重新创造出一件非常流行的产品大数据相关技术苏珊.朗格，《哲学新解》某些观念有时会以惊人的力量给知识状况带来巨大的冲击由于这些观念能够一下子解决许多问题，所以，它似乎将有希望解决所有基本问题，澄清所有不明了的疑点每个人都想迅速地抓住它们，作为进入某种新实证科学的法宝，作为可以用来建构一个综合分析体系的概念轴心这种“宏大概念突然流行起来，一时间把几乎所有的东西都挤到了一边