搜索
课程总结报告学生姓名：尹怡学号：1370714导师：庞哈利专业：控制工程所属课群：学位课课程名称：前沿技术与职业发展课程负责人：徐林课程开设日期：2014.6.23-2014.12.31东北大学信息科学与工程学院2014年-1-科学技术创新对大数据发展的动力1.绪论随着信息技术的飞速发展，人类社会进入数字信息时代。获取和掌握信息的能力己成为衡量一个国家实力强弱的标志。一切信息伴随需求不同决定其效益不同，而一切有益信息都是从大量数据中分析出来的。海量数据又随时间持续产生、不断流动、进而扩散形成大数据。大数据不仅用来描述数据的量非常巨大，还突出强调处理数据的速度。所以，大数据成为数据分析领域的前沿技术。数据成为当今每个行业和商业领域的重要因素。人们对于数据的海量挖掘和大量运用，不仅标志着产业生产率的增长和消费者的大量盈余，而且也明确地提示着大数据时代已经到来。数据正成为与物质资产和人力资本同样重要的基础生产要素，大数据的使成为提高企业竞争力的关键要素。数据成为资产、产业垂直整合、泛互联网化是数据时代的三大发展趋势。一个国家拥有的数据规模及运用的能力将成为综合国力的重要组成部分，对数据的占有权和控制权将成为陆权、海权、空权之外的国家核心权力。大数据与人类息息相关，越来越多的问题可以通过大数据解决。不仅在数据科学与技术层次，而且在商业模式、产业格局、生态价值与教育层面，大数据都能带来新理念和新思维，包括政府宏观部门、不同的产业界与学术界，甚至个人消费者。大数据与互联网一样，是信息技术领域的革命，更加速企业创新，在全球范围引领社会变革并启动透明政府的发展。大数据正在引发一场思维革命，大数据正在改变人们考察世界的方式方法，以前所未有的速度引起社会、经济、学术、科研、国防、军事等领域的深刻变革。大数据除了将更好的解决商业问题，科技问题，还有各种社会问题，形成以人为本的大数据战略。大数据这一新概念不仅指数据规模庞大，也包括处理和应用数据，是数据对象、技术与应用三者的统一。大数据既可以是如政府部门或企业掌握的数据库这种有限数据集合，也可以是如微博、微信、社交网络上虚拟的无限数据集合。大数据技术包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。大数据应用是应用大数据技术对各种类型的大数据集合获得有价值信息的行为。充分实现大数据的价值惟有坚持对象、技术、应用三位一体同步发展。大数据是信息技术与各行业领域紧密融合的典型领域，有着旺盛需求和广阔前景。把握机遇需要不断跟踪研究大数据并不断提升对大数据的认知和理-2-解，坚持技术创新与应用创新协同共进同时加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于数据的应用需求和发展水平进入新的阶段。在大数据时代数据作为一种独立存在的实体，其资产价值越来越突出，日益引起人们的重视。从具体的个人到形形色色的企业，从各国政府到各种组织都可以合法地去收集数据。不论个人还是企业，以及政府等都可以是数据的拥有者。今后个人隐私与数据归属权可能关系越来越少，欧洲民众要求政府公开信息的诉求极其强烈，民众有权向政府申请信息公开。除了涉及国家安全和个人隐私的公共信息外，大部分政府信息都可以公开。大数据主要有三个方面对人类经济社会发展影响巨大，归纳起来：一是能够推动实现巨大经济效益，二是能够推动增强社会管理水平，三是能够推动提高安全保障能力。大数据在政府和公共服务领域的应用可有效推动政务工作开展，提高政府部门的服务效率、决策水平和社会管理水平，产生巨大社会价值。总而言之，大数据将为人们提供强有力的新工具，使人们能更加容易地把握事物规律，更准确地认识世界、预测未来和改造世界。大数据可以分为大数据存储和大数据分析，大数据存储的目的是支撑大数据分析，大数据存储致力于研发数据存储平台，大数据分析关注在最短时间内处理大量不同类型的数据集，大数据分析相比于传统的数据仓库应用数据量大、查询分析复杂，大数据分析平台需要具备并行数据库、MapReduce及基于两者的混合架构。2.社交网络崛起的大爆发我们已经进入一个复杂科学领域，随着云计算、云存储、物联网、二维码技术和LBS（基于位置的服务）的互联网技术广泛应用，人类的各种社会互动、沟通设备、社交网络和传感器正在生成海量数据。商业自动化导致海量数据存储，但用于决策的有效信息又隐藏在数据中，如何从数据中发现知识，以数据挖掘为代表的大数据分析技术应运而生。1、社交网络的公共性社交网络是大数据的重要来源，大数据的社会应用与社会价值就来自于社交网络，比如国外影响巨大的Facebook和Twitter，国内近年来风起云涌突然兴起的微博，特别是大家关注度非常高的新浪微博，这种网络交流平台具有媒介属性，日益成为影响不可忽视的的社会化媒体,每分每秒时时刻刻都在产生数以亿级形形色色-3-的话语文本。人具有与他人交流、分享、传播信息的天生需求，与他人直接交流互动和传播各种信息加大了人的社会交往，基于人际关系的信息传播创造了数量庞大的关系数据，扩大了大数据的社会价值与社会影响，带来商业上的无限想象力和各种企业的商业应用价值，大数据产生的技术背景离不开社交网络，移动互联网和物联网的发展导致大数据越来越大，具有随时收集、即时应用、及时生产的重要特点。例如时装产业产生的大数据基本源自无处不在的社交媒体。全世界每天都有10亿人以上在社交网络上交流信息发表观点。每一刻都会有上百万人通过社交媒体点赞分享、转发微博、讨论时尚、引导潮流。大数据时代，越来越多的各大品牌知名设计师直接利用社交网络与公众交流，让大众直接参与到设计当中，根本改变了此前这一行业的封闭性，不再只对时尚界的所谓精英开放。越来越多的品牌比如巴宝莉选择在时装秀之前的通过官方微博账号发布了模特们在后台的照片，许多顶级设计师愿意在网上发布自己全新的设计，如奥斯卡・德拉伦塔在Instagram上通过微博发布了最新款式的高级女装成衣系列。顶级买家被流行博客写手取代，网络红人占据了时尚杂志主编的前排座椅，在社交媒体上拥有大批微博粉丝的摄影师对大众的时尚影响力远远超过传统的精英人群。2、社交网络的价值性在一定程度上，大数据的社会应用价值越来越多的来自新型的社交媒体，在这些影响巨大的微媒体社会背景下，大数据参与渗透进入各种各样的商业应用领域，产生巨大的社会影响，微博营销开始成为商家的选择，已成为目前最显著的商业模式，是大数据最直接的商业应用。社会化媒体直接成为企业首选地营销工具，企业通过社会化媒体发布有效信息，直接影响和引导消费者的潮流，主动收集来自消费者的反馈信息，积极进行互动，成为利润来源的重要渠道。社交网络互动传播彻底改变传统大众媒体单向的传播方式，可以针对具体特定不同的各种目标群体，通过信息技术点对点直接传递不同的特定信息，影响舆论，改善声誉，建立美誉度，有助于形成购买决策。很多企业关注从海量采集的关系数据中提取发现真正有价值的商业信息，建立客户档案，实现精准营销，追踪目标客户，分析客户价值建立商业模型。企业开始加强了解社会化媒体，其深刻认知和巨大投入将产生新的媒介形态并实现产品营销的新思路。社交大数据不仅仅对个别企业，而且对一些相关行业-4-都可以带来及其深刻的巨大变革。第一大数据有效改善传统的营销方式，与之相比利用有效精准的大数据营销，可以保持前期的大量曝光，中期的利益转化，到后期的实际购买，所有行为都是可提前预测并且随时监测的。效果可量化评估是采用大数据带来的前所未有的最实质性的根本影响；第二在社交这个环节，会产生越来越多的普通消费者在网络上通过各种社交媒体随时反馈自己在使用过程中对企业突出的产品以及建构的品牌形象发表看法，这个互动的过程会不断产生各种各样许多富有价值的有效信息，甚至还会包括发现一些潜在的意想不到的市场需求。对一个处在发展阶段的企业来说，这些有效信息不仅帮助他们可能采取措施调整原有传统产品，甚至引发并且催生新的不一样的商业模式。洞察消费者需求是大数据追求的核心价值；第三大数据可以变革某些具体行业，比如电影行业大数据可以根据实际数据能够预估票房，在金融行业可以进行前瞻预测提前作出调控措施，企业可以根据采集的大数据建立一些加上模型，预测消费者行为，进行数据分析。就连奥巴马为了赢得美国总统大选，他的团队就采集利用来自各种社交媒体产生的数据进行有效分析，做出民意评估，监测舆情，帮助连任，无疑发挥出来巨大的推动作用。3、社交网络的应用性社交媒体可以很短时间产生很大信息量，采取有效方法运用海量数据才是每个企业在市场面临的棘手问题。社会化媒体必须学会处理数据，具体步骤可以分为以下内容，首先进行收集，然后根据数据的不同类型导致具有不同用途，经过判断有些可以用于市场评估，反映市场效果，进一步了解市场，时时监测竞争对手，获得市场情报；还有一些可以通过信息技术采取自然语言处理，比如适当分类，有效聚类，快速获得消费者的需求以及人们对企业产品和所在行业的及时反馈和相关看法，利于企业做出判断，快速做出相应调整。例如电视广告价格很贵，媒体投放成本相对较高，一个企业的销售广告同时有15秒和30秒两个不同版本，但事先难以确定哪个版本更能吸引消费者，这时可以提前把视频传播至互联网，通过无处不在的社交媒体进行免费传播。应用大数据技术可以把采集消费者的信息，快速收集所有评价加以系统分析，找到有助于传播的元素，分析引起消费者反感的原因，快速提前测试有助决策，为广告主节省大量成本。通过大数据企业与用户间出现新的沟通方式，商业模式正在发生变化，在全世界社交媒体都引起市场变革，表现出企业日益关注消费者，用户重要性正在不断凸显。2012-5-年9月一家美国调研机构对市场营销人员进行调查，将近2/3的受访客户承认提高在广告营销领域采用数据管理平台的原因出于挖掘大数据的市场需求。运用社交大数据，关键在于拥有数据。尽管用户数量不迅速增加，但预测用户行为，提出更精准的建议，仍然需要采集更大更多的数据量。如果数据处理能力没有提高，不能结合实际商业场景，就不会形成精细落地方案，既不可持续，也不可获利，导致社交大数据发展面临挑战。只有提高分布式计算、改善存储功能，加快实时计算的能力，才会实现价值。如果没有实际应用，大数据技术就不会产生实际意义。大数据带来市场变革，挑战已有经验，颠覆已知模式，引领人类走向智能社会，数字化生存成为新的生活方式，社会化媒体随时记录人们的社会生活，感知行为态度、参与交往过程、建立互动关系，数据记录不仅保存而且可以分析，产生新的社会科学研究方法，拥有预知社会的可能性，在社会科学领域产生革命性变革和影响，大数据直接改变社会科学研究的模式和路径。3.物联网发展的促进作用随着物联网迅速发展，各种行业、不同地域以及各个领域的物体都被十分密切地关联起来。物联网通过形形色色的传感器将现实世界中产生的各种信息收集为电子数据，并把信号直接传递到计算机中心处理系统，必然造成数字信息膨胀，数据总量极速增长。2.1、物联网形成产业链物联信息不仅仅包括物联管理对象信息与物联感知设备信息，更突出物联实时信息。根据物联网数据的来源可以分成传感器感知数据和社交网络数据两种。虽然目前网络上产生的数据多于各种传感器感知到的数据总量，但是随着物联网设备的日益普及和感知技术的进步，传感器产生的数据量将大幅增加，最终将超过网络数据量，这种趋势越来越明显。物联网改变了人们的社会活动形式，改善了人们的生活方式，变革了商业模式，被称为第三次信息化高潮，继计算机、互联网产生之后对社会的发展产生新的冲击。物联网把对象物和互联网相互连接起来，即时信息交换，智能化识别，实现定位跟踪，监控管理对象，产生大量数据，影响电力、安防、医疗、物流、交通、环保等行业形成新的商业模式。物联网联合大数据，正在迅速创造出巨大的社会价值和商业价值。-6-中国信息产业商会乐观预测，中国在2013年传感器设备将继续保持市场规模，表现快速增长势头，中国物联网RFID产业市场达到320亿元左右，规模将比2012年增长35%左右。物联网伴随着移动互联网和云计算的迅猛崛起，物联网产业链上的各环节成本减少，相关产品价格迅速下降，进一步带来物联网硬件及