大数据分析的应用和产品

1大数据分析的应用和产品大数据很火。2月18日，微软宣布投资三家中国云计算和大数据公司。2月19日，IBM宣布将与AT&T在大数据分析领域展开合作——AT&T计划贡献出一个全球可访问的移动网络，用来收集数据并将其发送至应用程序；IBM公司则主要致力于生产用于数据管理和分析的软件。“读心术”、“未卜先知”，都是大数据分析头上的耀眼光环。不管你信不信，“数据”真的会说话。人们在互联网上的一切行为都会留下数据，而通过对这些数据的分析，就能够得到消费习惯、职业、喜好甚至性格等信息。在这些信息的基础上，政府可以治理交通，减少犯罪率，而企业则可以利用这些数据进行有针对性的营销，提升业绩。虽然目前大数据分析还处于发展的初级阶段，要从海量的非结构性数据中提取出有用信息并不是一件容易的事儿，但是很多企业已经开始利用大数据分析并推出了相关的应用和产品。大数据分析究竟能做什么？大数据分析又正在做什么？让我们一起来看看吧！洞察“人类大迁徙”“春运”，被誉为人类历史上规模最大、有周期性的人类大迁徙。过去，我们只是粗略地知道在40天左右的时间里，有几十亿人次的人口流动。现在，随着大数据时代的到来，我们可以描绘出能够揭露更多细节的“迁徙地图”。2014年的春运，央视首次推出了“据说春运”特别节目，基于“百度迁徙”提供的可视化大数据服务，实时播报国内春节人口的迁徙情况，例如最热门的迁出城市，最热门的迁入城市等等。尽管采用的是大数据这一当前最时髦的科技手段，但浅显易懂的“迁徙地图”，还是几乎让每个老百姓都看得明白。那么，这张“迁徙地图”是如何绘制的呢？原理上其实并不复杂。目前，几乎每个中国人都拥有一部手机，而每部手机每一天基本上都会产生3次与位置相关的数据：既包括来自基站的数据，也包括用户在使用定位、导航等与位置相关服务时产生的数据。因此，只要调2用一个用户春运路程的起点和终点数据，并在样本量足够多的前提下，就可以绘制出能够反映真实情况的“迁徙地图”。透过“迁徙地图”，人们就可以知道春运的种种细节，这的确是件新鲜事儿。例如，“迁徙地图”北京和成都之间的迁徙路线连续几天成为最热门的线路。事实上，这一通过数据采集和分析得出的结果，也与成都铁路局的实际统计情况非常吻合，这显然证明了大数据分析是很“靠谱儿”的一种手段。超级“营销顾问”有没有人比你自己还了解你的购物需求？这并不是一个伪命题。通过精准的大数据分析，有些消费行为是可以被预测出来的。WeatherCo是美国一家能够基于对人们查看天气情况的时间、地点和频次的分析预测消费者行为的机构。该公司积累了超过75年的气象信息，覆盖北美等地区的天气、云量等方面的数据。基于这些大数据，WeatherCo不仅能为用户提供单纯的天气信息，而且可以通过数据挖掘，分析天气会对用户消费产生什么影响。比如，某位消费者有在下雨天购买零食的习惯，那么，当他下次查询到天气预报可能有雨时，系统会自动推送一些优惠的零食商品信息给他。这种对用户消费行为的预判，不仅能让用户感受到一种全新的购物体验，而且还可以吸引那些对广告投放精准度要求较高的广告主。例如，WeatherCo发现，在达拉斯，杀虫剂在春天露点（湿度指标）低于平均水平的时候会非常热销；但在波士顿杀虫剂则是在3春天露点高于平均水平的时候畅销。宝洁的营销总监KevinCrociata表示，根据WeatherCo的特定数据，结合女性消费者所处的准确位置和天气，可帮助投放高度精准的广告。他指出，对于在高温湿热地区查看天气的女士，就应该向她推送柔顺产品；而如果处于低湿度的地区，她的头发没有弹性，那就应该向她投放富弹性配方的洗发水广告。今年1月，天津市大数据科技专项“大数据算法及其应用”项目在天津大学启动。该项目可通过对海量数据集合分析，实现数据查询，挖掘有用信息，通过记录消费者的网络消费行为，分析、计算出消费者详细的消费习惯。想象一下，未来的网络购物也许不是你去寻找商品，而是商品主动推送到你面前，这样的体验是不是很值得期待？制作热门电视剧Netflix是美国的一家在线视频网站，其最近名声大噪。这主要得益于其用大数据分析结果制作的电视剧《纸牌屋》在全世界40多个国家热播，其股价也在短期内实现了飙升。用大数据分析结果制作电视剧，这听起来还真是非常有意思，Netflix是如何做到的呢？早期，Netflix是北美家喻户晓的在线影片租赁提供商，主营业务是通过邮寄方式租赁DVD。然而，在互联网时代，这个盈利模式逐渐式微。于是，Netflix转向在线流媒体播放，但转型并不成功，一直被资本市场唱空。直到Netflix发现了“数据”的价值。据悉，Netflix在美国拥有2700万订阅用户，每天用户在Netflix上产生3000多万个行为，同时用户每天还会给出400多万个评分以及300万次搜索请求。借助这些数据，Netflix非常清楚用户想看什么，也知道具备了哪些元素的电视剧将可能一夜爆红。Netflix的工程师发现，喜欢BBC剧、导演大卫·芬奇和老戏骨凯文·史派西的用户存在交集，一部影片如果同时满足这几个要素，就可能大卖。Netflix决定赌一把，他们花1亿美元买下了一部早在1990年就播出的BBC电视剧《纸牌屋》的版权（几乎是美国一般电视剧价钱的两倍），并请来大卫·芬奇担任导演，凯文·史派西担当男主角。事实证明Netflix赌对了。《纸牌屋》成为了Netflix网站上有史以来观看量最高的剧集，并在美国及40多个国家大热。在尝到了“大数据”的甜头之后，Netflix正在着手推出更多基于大数据分析的自制电视剧。而Netflix将大数据分析技术应用于电视剧制作中的做法，也得到了业界的认可。有评论甚至认为，Netflix已经不再是视频网站Youtube和Hulu的竞争对手，而已经成为HBO未来的榜样。贴身“爱情导师”4你恋爱了吗？要搁以往，这问题的被问者肯定是当事人自己。然而，现在世道真的变了，社交网站可能比你自己更早知道你的感情状况。这一切都得拜大数据分析功能所赐。Facebook在今年情人节后发布了一张统计图，表明了一个时间点前后某个账户的发帖数量变化，在这个时间点前的发帖量明显高于之后，说明在这个时间点你恋爱了。Facebook数据研究部门科学家团队发现，利用网站的统计数据，可以判断发帖的用户是否、何时擦出了爱的火花。同传统线下结为恋人的过程类似，社交网络的用户确立恋爱关系也会经历所谓的“求爱”阶段。Facebook的科学家卡洛斯·迪乌克透露，沿着时间轴观察，在一段网恋的求爱期，两位Facebook用户的发帖都会增多。而一旦真正认准了对方就是意中人，两人在对方Facebook留言板上发的帖子都会减少，原因可能是共浴爱河的恋人花了更多的时间在线下相处。迪乌克介绍说，通过大量数据发现，在成为恋人之前的100天里，日后坠入情网的两人相互发帖的数量缓慢地逐步增加。假设恋情正式开始的那天是“第零天”，这类帖子的数量是从“第零天”起越来越少。我们发现，“第零天”之前的12天里发帖数量达到高峰，平均每天发1.67贴；而“第零天”以后的85天里发帖量最少，平均每天发1.53贴。数据还显示了另一个有趣的趋势，即在告别单身之后，情侣之间普遍爱意大涨，互动的内容会越来越甜蜜，传递正能量。正如Facebook公布的趋势线所示，在“第零天”和“第零天”之后的第一天，恋人之间发帖数量剧增。而通过大数据挖掘和分析，Facebook甚至还得出“一段恋爱关系能维持三个月以上时间，很可能会持续四年甚至更久”，“恋人分手可能性最大的月份是5月、6月和7月”等有趣的结论。这么说来，以后咱们再也不用找心理师或是密友当爱情参谋了，大数据就能一手搞定！未卜先知的“预言帝”通过对历史有效数据的分析，创建不受任何特别年份因素干扰的统计模型，然后根据历史数据进行测试、校正和不断升级，最终这一模型就能够预测未来。这一切听起来是不是有些不可思议？然而来自微软纽约研究院的一名经济学家，利用大数据分析，成功预言了2012年美国大选选举结果和2013年奥斯卡颁奖礼奖项归属，准确性高于98%。2014年3月2日，第86届奥斯卡颁奖典礼将如约在杜比剧院举行。提名入围者谁将最终捧得小金人，是各界热议的焦点，也成为各大博彩公司的热门盘口。然而就在2013年，第85届奥斯卡颁奖礼的悬念却被提前揭晓了，做到这一点的就是大数据分析。大卫·罗斯5柴尔德是微软纽约研究院的一名经济学家，他率领的团队通过对入围影片相关数据分析，成功预测出第85届奥斯卡颁奖礼13项大奖的结果。而且早在2012年美国总统选举中，大卫·罗斯柴尔德就曾经使用一个通用的数据驱动型模型，准确预测了美国50个州和哥伦比亚特区共计51个选区中50个地区的选举结果，准确性高于98%。大卫在接受采访时表示，“我预测奥斯卡金像奖得主的方法与预测其他事情的方法完全相同，其中包括政治。科学是相同的，但证明哪些数据最有用却存在千差万别。”大卫团队的工作方法是，首先关注最有效的数据，然后创建不受任何特别年份结果干扰的统计模型，在建模时要非常谨慎，确保模型能够正确预测将来样本结果，而不仅仅是过去发生的结果。投票数据、预测市场数据、基本数据和用户产生的数据，这四种不同类型的数据是关注的重点。大卫表示，在预测奥斯卡时，“我更关注的是预测市场数据，这是主要因素，同时采用部分用户产生的数据，这有助于理解电影内部和不同类别之间的相关度。”大卫团队的实践充分证明了大数据分析成为“预测帝”的能力。人们可以通过较为完善的建模，进行快速的数据处理和分析，并让这一分析结果用于商业用途。打造“神速”快递网购如今已是人们喜爱的一种购物方式。在网购过程中，物流的及时性是影响消费者体验的一个重要环节，每到“双11”、春节这样的网购高峰期，物流都会成为各大电商头疼的问题。于是，很多电商企业通过自建物流的方式来改善用户体验，但这毕竟是一项投资巨大的工程，有没有什么其他办法？大数据正是一个非常合适的选择。亚马逊在去年12月获得了一项名为“预测式发货”的新专利。该专利通过对用户数据进行分析，在用户还没有下单购物前，就提前发出包裹。亚马逊表示，这项技术可以压缩消费者从下单到收货之间的时间间隔，在改善用户体验的同时，也提升用户的网购意愿。美国市场研究公司ForresterResearch分析师SucharitaMulpuru表示：“亚马逊似乎在充分利用他们庞大的数据。根据他们对用户的种种了解，他们便可依据多种因素来预测需求。”这种预测式发货的基础，正是亚马逊多年来在个人信息、消费偏好和购物数据方面积累的庞大用户数据。基于大数据分析，亚马逊可以构建自己的竞争优势。有评论认为，亚马逊对谷歌构成挑战的关键之处就在于大数据。具体来说，亚马逊会根据以往订单和其他因素，比如商品搜索记录、收藏夹、购物车，甚至包括用户的鼠标在某件商品上悬停的时间来预测用户的购物习惯，从而在用户实际下单前，便将包裹提前发出。当然，这些包裹会暂存在快递公6司的转运中心或卡车里，一旦用户正式下单，就快速进入派送流程。这样的场景或许会成为现实：刚刚在家中下了一笔订单，几分钟后，快递人员就来敲你家的门。虽然这项专利技术何时正式启用尚没有时间表，但亚马逊表示，这种预测式发货较适合畅销书和其他一些可能会在上市时吸引大量买家的商品。此外，亚马逊也可能向用户推荐正在运输途中的商品，以便提升成功率。