浅谈大数据时代的机遇与挑战

湖南农业大学课程论文学院：信息科学技术学院班级：计算机1班姓名：XXX学号：2015XXXX课程论文题目：浅谈大数据时代的机遇与挑战课程名称：评阅成绩：评阅意见：成绩评定教师签名：日期：年月日课程论文题目——浅谈大数据时代的机遇与挑战学生：XXX(信息科学技术学院计算机1班)摘要：随着时代的发展，大数据这个词慢慢进入了人们的视野的当中，而大数据也与我们的生活关联越来越紧密，对我们的影响也越来越大。怎么样才能把握住机遇，在大数据时代中脱颖而出，怎么样才能在大数据时代到来的挑战中稳步前行。关键词：大数据;机遇与挑战；大数据时代分析Abstract:withthedevelopmentofTheTimes,thewordbigdataslowlyintothepeople'shorizons,andbigdataislinkedtoourlifemoreandmoreclosely,toourinfluenceisgrowing.Howtoseizetheopportunity,intheeraofbigdata,howcanabilityintheeraofbigdatamovesteadilyinthecomingchallenges.KeyWords:Bigdata;Opportunitiesandchallenges;Theeraofbigdataanalysis一、绪论（一）什么是大数据？“大数据”作为时下最火热的IT行业的词汇在互联网时代显得越来越重要。大数据究竟有多大？大数据能做些什么？在新互联网时代，这些词汇让我们应接不暇。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据还有四个特性分别是数据量大，种类多，速度快，价值大。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”（二）大数据能做些什么？大数据的应用示例包括了大科学、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。仅仅十余年，现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。大数据不仅是一种海量的数据状态及其相应的数据处理技术，更是一种思维方式，一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等“城市病”的利器，也会为政府打开了解社情民意的更大窗口。众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。二、本论(一)大数据的重要性1.大数据的处理分析正成为新一代信息技术融合应用的结点有专家指出，大数据及其分析，会在未来10年改变几乎每一个行业的业务功能，从科学研究到保险，从银行业到互联网，各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中，已经有15个行业大公司拥有大量的数据，其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业，根据数据预测，如果具备相关的IT设施，数据投资和分析能力等条件，大数据将在未来10年，使美国医疗市场获得每年3000亿美元的新价值，并消减2/3的全国医疗开支。在制造业领域，制造企业为管理产品生命周期将采用IT系统，包括电脑辅助设计、工程、制造、产品开发管理工具和数字制造，制造商可以建立一个产品生命周期管理平台PLM，从而将多种系统的数据集合在一起，共同创造出新的产品。此外，在交通、能源、材料、商业和服务等行业领域甚至在新闻传媒领域，也都在以大数据为发展契机，加速这些行业与信息技术的深度融合。2.大数据利用将成为提高核心竞争力的关键因素随着大数据海量化、多样化、快速化、价值化特征的逐步显现，以及数据资产逐渐成为现代商业社会的核心竞争力，大数据对行业用户的重要性也日益突出。掌握数据资产，进行智能化决策，已成为企业脱颖而出的关键。因此，越来越多的企业开始重视大数据战略布局，并重新定义自己的核心竞争力。零售、电子商务、大众消费品、通信、金融服务等行业领域是目前大数据应用相对较为成熟的领域。用户可通过对消费者兴趣、需求、购买动机，以及对品牌的情感和忠诚度等挖掘分析，来制定服务和营销的智能决策；通过对通信、金融活动记录的分析挖掘，来科学地拓展业务和更好地服务客户。在医疗保健领域，用户可通过对电子病历、健康档案的挖掘分析，分析发现个体服务需求，依此进行亚健康管理、体检管理、疾病管理、知识管理等，从而有针对性地开展规模化、专业化、个性化的健康管理及诊疗服务，实现服务本地化、就医全国化、管理数字化、健康指导个性化的发展趋势。3.大数据资源成为重要战略资源互联网时代,“资源”的含义正在发生极大的变化,它已不再仅仅只是指煤、石油、矿产等一些看得见、摸得着的实体，“大数据”，也正在演变成不可或缺的战略资源。互联网、物联网每天都在产生大量的数据，这些庞大的数据资源，为人们依据数据了解世界、了解市场、了解人们的生活提供了可能。大数据已经被视为一种资产、一种财富、一种可以被衡量和计算的价值。得大数据者得天下，是一些推崇大数据时代的变革者所坚信不疑的判断。4.大数据时代将成为世界发展的主流世界上许多国家都已经认识到了大数据所蕴含的重要战略意义，纷纷开始在国家层面进行战略部署，以迎接大数据技术革命，正在带来的新机遇和新挑战。美国在《大数据研究和发展倡议》中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。英国政府2012年计划在未来两年内，在大数据和节能计算研究上投资1.89亿英镑，以带动企业在该领域的投资。大数据被英国看作是自己的优势所在，且英国认为已在政府层面，为大数据做好了准备。5.大数据时代科学研究的方法手段将发生重大改变大数据的应用需求，是大数据新技术开发的源泉。在不久的将来，也许很多原来单纯依靠人类自身判断力的领域应用，最终都将被计算机系统的数据分析和数据挖掘功能，所普遍改变甚至取代。一小片合适的信息，也许会促使创新迈进一大步；一组数据，也可能会得到数据收集人难以想象的应用，甚至可能在另一个看起来毫不相关的领域得到应用。借助这些创新型的大数据应用，数据的能量将会层层被放大。（二）大数据时代的机遇1.大数据服务市场崛起对于很多企业来说分析只是数据工作的一部分，只有把一种数据与其他相关数据结合在一起进行深度挖掘，才更有价值。例如，将天气状况的数据加入到客户数据中，并进一步分析发现在客户的采购模式中是否存在与天气相关的因素等，就比单独分析客户数据有用得多。但如何分析这些数据集可能让企业非常头疼，因为千万亿次级别的大数据分析对于大多数企业来说并不是可以自备的功能，而企业一般只需要获得可视化的最终结果，他们需要相应的帮助。2.大数据时代的到来将为企业的发展和竞争提供新的出路以阿里巴巴为例。阿里巴巴通过对旗下的淘宝、天猫、阿里云、支付宝、万网等业务平台进行资源整合，形成了强大的电子商务客户群及消费者行为的全产业链信息，造就了独一无二的数据处理能力，这是目前其他电子商务公司无法模仿与跟随的。同时，也将电子商务的竞争从简单的价格战上升了一个层次，形成了差异化竞争。此外，电商企业通过大数据应用积极开拓发展互联网金融业务。目前阿里、京东、苏宁三大主流电商企业已相继试水。除“阿里小贷”模式比较成功之外，京东模式也渐出效果。2012年，京东通过与中国银行合作，推出“供应链金融服务”，供应商凭借其在京东的订单、入库单等向京东提出融资申请，核准后递交银行，再由银行给予放款。据报道，此服务可以帮助京东供应商大幅度缩短账期，资金回报率由原来的60%左右提高到226%。3.大数据技术为政府社会治理带来新机遇社会治理是对社会的经济、政治和文化等事务进行的组织、协调、指导、规范、监督的过程。它涉及合理有效配置社会资源，比如提供教育、文化、卫生、体育、社会保障等社会公共服务和公共产品，保障社会公平与公正；涉及通过行政及司法手段保障社会安全和社会稳定。而社会治理目标的实现，是以掌握治理对象的状况及其外部环境的信息为前提的。现阶段，我国正处在社会转型期，急剧发展变化的社会，对于包括人、财、物、事等在内的庞大而复杂的社会管理信息需求，与当前大数据技术的发展不期而遇。创新社会治理，是我国应对社会转型、化解社会矛盾、协调利益关系、维护社会秩序所面临的一项重大战略任务。针对目前社会治理领域普遍存在的服务理念滞后、决策机制不够科学、部门协作亟须加强、工作方式待改进与工作效率求提升等问题，大数据技术从认识、理论、方法、实践和效果评估等方面都能给人以启发。大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。4.大数据引领新发展大数据成为关键生产要素。随着大数据时代的到来，数据将如能源、材料一样，成为战略性资源。2012年3月，奥巴马政府在白宫网站发布了《大数据研究和发展倡议》，将其视为“未来的新石油”，提出通过大数据加速在科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式。如何利用数据资源发掘知识、提升效益、促进创新，使其服务于国家治理、企业决策乃至个人生活服务，是大数据时代的重要战略课题。(三)大数据时代的挑战1.大数据时代信息技术面临的挑战a.信息存储问题大数据时代信息数据的增长速度快，这对信息技术的存储能力、信息数据的压缩技术、网络传输能力等都是一次巨大的挑战，大数据时代信息技术若想继续发展，就需要大量的存储空间，尽管存储技术在不断的进步，但是在数据存储过程中面临的问题将越来越多。b.数据信息的安全问题在大数据时代中，数据的流动量越来越大，数据信息的保密和个人信息的泄露面临着巨大的挑战，尤其是人们在线对话和网上交易日益增长，其面临的安全问题将会更加严峻。在大数据时代通过对个人信息的分析很容易了解其生活习惯和喜好，这样会导致国家和企业的机密以及个人信息的泄露。c.网络数据传输面临的问题运用移动网络对数据信息进行传输是大数据时代信息流通的根本保证。然而在网络数据信息传输过程中，网络传输技术已经到了瓶颈时期，在各网络的连接端口上大量数据的传输必须有足够的传输能力的支持，才能保证数据的有效流通。同时对数据的计算是数据传输过程中的又一难题，虽然采用分布式的计算方式能解决其中的一些问题，但是执行起来却比较繁琐。d.有效数据提取过程中面临的问题从大量的信息数据中，对潜在的有用的信息和数据进行提取的过程是比较复杂的，要对信息数据反复的分析研究，保证信息的真实性。在对数据信息分析研究之前，要了解业务的需求，根据目标和需求，对需求的数据进行分析研究，并对原有数据进行评估，对原有数据进行组织、清理、集成等一系列的信息数据的收集和处理。在完成好数据的清理工作后，要用相关的计算方法和工具建立分析模型，然后对建立的模型进行评估，考虑得出的结果是否符合设计好的业务目标。最终，将分析的结果运用到业务中去。2.数据污染，数据质量差很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规