搜索
1.大数据时代的思维变革1.大数据时代的思维变革——更好“更好”——不是因果关系，而是相关关系知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法林登与亚马逊推荐系统•1997年，林登，亚马逊，推荐书籍•1998年“item-to-item”协同过滤技术•书评团队被解散–评论家所创造的销售业绩–计算机生成内容所产生的销售业绩•海明威作品与菲茨杰拉德的书•知道是什么就够了，没必要知道为什么•据说亚马逊销售额的三分之一都是来自于它的个性化推荐系统。关联物，预测的关键•相关关系：相关关系的核心是量化两个数据值之间的数理关系。–强和弱•通过给我们找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。•实例：沃尔玛——蛋挞与飓风•生活中的相关关系–身高与前臂的长度•小数据时代的相关关系•大数据时代的相关关系–谷歌流感预测：5亿个数学模型建立在相关关系分析法基础上的预测是大数据的核心。数据驱动的关于大数据的相关关系分析法，取代了基于假想的易出错的方法。大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。实例•FICO提出“遵从医嘱评分”一系列变量→是否按时吃药•益百利预测个人收入–信用卡交易记录→预测个人收入1$–证明一个人的收入状况10$•中英人寿保险公司申请人的健康隐患信用报告、市场分析报告→高血压、糖尿病和抑郁症5$血液尿液样本130$•美国折扣零售商塔吉特怀孕预测•预测分析法–一个能发现可能的流行歌曲的算法系统–防止机器失效和建筑倒塌–异常情况与正常情况•通过找出一个关联物并监控它，我们就能预测未来。•实例：UPS与汽车维修预测–2000年，60000辆收集和分析数据的花费比出现停产的损失小得多。•当收集、存储和分析数据的成本较高的时候，应该适当地丢弃一些数据。•医疗设备获取病人的数据•安大略理工大学IBM医院–卡罗琳·麦格雷戈•检测处理即时的病人信息早产儿病情诊断•16个数据点1260/秒•在明显感染症状出现的24小时之前，可发现•早产儿的稳定是病情感染前的准备..是什么，而不是为什么•在小数据时代，相关关系分析和因果分析都不容易，都耗费巨大，都要从建立假设开始。•非线性关系–小数据时代，计算机能力的不足限制了非线性关系的研究–实例：幸福的非线性关系•因果关系是否存在–不费力的快速思维–费力的慢性思维–实例：感冒、狂犬疫苗•我们的直接愿望就是了解因果关系。即使无因果联系存在，我们也还是会假定其存在。•研究证明，这只是我们的认知方式，与每个人的文化背景、生长环境以及教育水平是无关的。当我们看到两件事情接连发生的时候，我们会习惯性地从因果关系的角度来看待它们。•看看下面的三句话：–弗雷德的父母迟到了；–供应商快到了；–弗雷德生气了。–……•弗雷德为什么生气?•快速思维模式使人们偏向用因果联系来看待周围的一切，即使这种关系并不存在。–冬天不戴帽子和感冒•狂犬疫苗这个例子来说，–1885年7月6日，法国化学家路易·巴斯德（LouisPasteur）接诊了一个9岁的小孩约瑟夫·梅斯特（JosephMeister），他被带有狂犬病毒的狗咬了。–巴斯德刚刚研发出狂犬疫苗，也实验验证过效果了。梅斯特的父母就恳求巴斯德给他们的儿子注射一针。–巴斯德做了，梅斯特活了下来。–发布会上，巴斯德因为把一个小男孩从死神手中救出而大受褒奖。–一般来说，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。相关关系很有用，不仅仅是因为它能为我们提供新的视角，而且提供的视角都是很清晰的。而我们一旦把因果关系考虑进去，这些视角就有可能被蒙蔽掉。–实例：kaggle二手车质量竞赛橙色的车•因果是相关关系的一种。相关关系分析通常情况下能取代因果关系起作用，即使不可取代的情况下，它也能指导因果关系起作用。–实例：曼哈顿沙井盖的爆炸改变，从操作开始•实例：曼哈顿沙井盖爆炸–每年，因沙井盖内部失火，纽约每年有很多沙井盖会发生爆炸。•联合爱迪生电力公司（ConEdison）每年都会对沙井盖进行常规检查和维修。•2007年，联合爱迪生电力公司向哥伦比亚大学的统计学家求助，希望他们通过对一些历史数据的研究，预测出可能会出现问题并且需要维修的沙井盖。改变，从操作开始•这是一个复杂的大数据问题。–仅纽约，地下电缆就有15万公里；–曼哈顿有大约51000个沙井盖和服务设施，–很多设施都是在爱迪生那个时代建成的–有二十分之一的电缆在1930年之前就铺好了。–1880以来的数据都保存着，却很杂乱，改变，从操作开始•这是一个复杂的大数据问题。–仅纽约，地下电缆就有15万公里；–曼哈顿有大约51000个沙井盖和服务设施，–很多设施都是在爱迪生那个时代建成的–有二十分之一的电缆在1930年之前就铺好了。–1880以来的数据都保存着，却很杂乱，•负责这个项目的统计学家辛西亚·鲁丁（CynthiaRudin）–将杂乱的数据整理好给机器处理–发现了大型沙井盖爆炸的106种预警情况。–在布朗克斯（Bronx）的电网测试中，他们对2008年中期之前的数据都进行了分析，并利用这些数据预测了2009年会出现问题的沙井盖。•预测效果非常好，在他们列出的前10%的高危沙井盖名单里，有44%的沙井盖都发生了严重的事故。•最重要的因素是这些电缆的使用年限和有没有出现过问题。大数据，改变人类探索世界的方法大量的数据从某种程度上意味着“理论的终结”。——2008年，《连线》主编克里斯·安德森•大数据是在理论的基础上形成的。•理论贯穿于大数据的整个过程。–数据的收集、分析、结果解读大数据带来的思维方式的变化•处理的对象往往是全部数据，而不是部分数据的采样–采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。•不再执迷于精确性–精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。–错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。–大数据的简单算法比小数据的复杂算法更有效。•更加关注相关性，而不是因果性–预测依靠的是相关性。–很多情况下知道“是什么”即可，不必知道“为什么”。2.大数据时代的商业变革下一讲