自然辩证法与大数据发展

课程报告课程名称：自然辩证法概论报告题目：自然辩证法与大数据发展学院：信息工程与自动化学院专业：计算机技术年级：15级学生姓名：王军峰学生学号：20152204138指导教师：樊勇日期：2016.4.25教务处制自然辩证法与大数据发展摘要19世纪马克思和恩格斯创立的自然辩证法，是人类自然观、自然科学方法论和科学技术观发展中的划时代变革；而随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注，这有可能成为一次改变人们生活、工作与思维的大变革。本文主要阐述了辩证法在大数据发展中所起的指导作用。首先介绍自然辩证法和大数据技术；之后，结合自然辩证法的观点阐述了大数据的数理哲学基础，说明了大数据中体现的辩证法思想，用自然辩证法关于量变到质变的原理去指导大数据的研究并促进其健康发展；最后指出大数据的发展离不开辩证法的指导。关键词：自然辩证法；计算机学科；大数据引言自然辩证法研究的是人与自然界的关系，人们认识自然改造自然的一般规律，以及科学技术发生与发展的一般规律。在这里，我们主要谈的是在比较系统的学习了《自然辩证法》的课程后，结合我们自己的学科知识，对自然辩证法在学科学习中的理论意义和实践操作中的指导作用作了简要的说明。而作为计算机专业，计算机是一门非常重要的大的学科，也最能体现出科技方法论的指导作用。大数据作为计算机新兴的行业，将带来新一轮的无法预测的技术革命，这次革命不仅表现在技术方法上，同时也体现在理论思想上的革命。在这里，我们希望通过对自然辩证法，特别是其中的科学技术方法论和大数据的飞速发展相结合，从一个侧面阐明了自然辩证法对自然科学学科学习的指导意义，进一步阐明哲学对一般科学的指导意义。1自然辩证法的实践指导意义1.1自然辩证法简介自然辩证法是马克思主义哲学体系中的一个重要分支学科，是关于自然界和科学技术发展的一般规律以及人类认识自然、改造自然的一般方法的科学理论体系。自然辩证法属于哲学门类，它研究的是自然界和科学技术发展的一般规律以及认识自然和改造自然的一般方法，而不是自然界发展的某一具体规律、科学技术某一学科发展的特殊规律以及科学技术中具体学科的特殊研究方法。自然观是人们对自然界的总体看法和根本观点。它吸取了历史上自然观的精华，摒弃了旧自然观的糟粕。研究和认识自然界存在和演化的科学图景及自然界存在和演化的特征和规律，并研究和认识人与自然的辩证关系。科学技术观是关于科学技术及其发展的以及科学技术与社会的关系的总看法、总观点。马克思、恩格斯把科学和技术作为一种社会想象来考察，科学技术发展到现在发生了深刻的变化，其成果已广泛渗透到社会生产和生活的各个领域。科学技术方法论是人们对自己从事科学技术研究所用的认识和实践方法的哲学概括。科学技术方法论是关学技术研究中常用的一般方法的理论，是科学研究和工程术研究一般方法的性质、特点、内在联系和发展变化的理体系。科学技术方法论对社会认识实践具有重要的自导义，唯物辩证主义的认识论和方法论系统阐述了我们在实中所用的方法、技术和逻辑过程。1.2自然辩证法的实践指导意义恩格斯指出：“一个名族想要站在科学的最高峰，就一刻不能没有理论思维。”在科学技术迅猛发展的今天，哲学对科学技术的发展作用越来越大、越来越明显。我们要促进科学技术的发展，并通过他的发展来推动经济的发展、社会的进度，需要一个正确的哲学理论来指导我们进行研究，自然辩证法为我们提供这一整套理论，要求我们要用系统的观点来研究问题、解决问题。2大数据简介2.1大数据的概念与理解最近几年，大数据一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》、《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。这个词很火，但是不了解的人可能感觉很虚，就像以前吵起来的很多名词，每个人都有自己不同的见解。维基百科是这样定义大数据的：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息；在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因。作为一个计算机专业的学生，我是这样理解大数据的：大数据是指从客观存在的全量超大规模、多源异构、实时变化的微观数据中，利用自然语言处理、信息检索、机器学习等技术抽取知识，转化为智慧的方法学；它既是一种技术，又是一种方法学。2.2大数据的发展最早提出大数据概念的学科是天文学和基因学，这两个学科从诞生之日起就依赖于基于海量数据的分析方法。大数据可以说是计算机和互联网结合的产物，计算机实现了数据的数字化;互联网实现了数据的网络化；两者结合才赋予了大数据生命力。随着互联网如同空气、水、电一样无处不在地渗透入我们的工作和生活，加上移动互联网、物联网、可穿戴联网设备的普及，各种结构化和非结构化的数据正在以指数级别的加速度产生。据说目前世界上90%的数据是互联网出现以后迅速产生的。现如今，许多企业的计算机系统已经被所有类型的信息所吞没，而这些企业也在努力通过大数据分析计划以便能够从海量大数据中分析出宝贵的商业见解，大数据技术应运而生。2.3大数据的特点大数据一般指在10TB(1TB=1024GB)规模以上的数据量，大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即：第一，数据体量巨大，从TB级别，跃升到PB级别；第二，数据类型繁多，如网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高，以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。2.4大数据的相关技术大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。2.5大数据的处理具体的大数据处理方法确实有很多，整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。(1)采集大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。(2)导入虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。(3)统计分析统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。(4)数据挖掘与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理2.6大数据的影响大数据时代到来，认同这一判断的人越来越多。那么大数据意味着什么，他到底会改变什么？仅仅从技术角度回答，已不足以解惑。大数据只是宾语，离开了人这个主语，它再大也没有意义。我们需要把大数据放在人的背景中加以透视，理解它作为时代变革力量的所以然。(1)变革价值的力量未来十年，决定中国是不是有大智慧的核心意义标准，就是国民幸福。一体现在民生上，通过大数据让有意义的事变得澄明，看我们在人与人关系上，做得是否比以前更有意义；二体现在生态上，通过大数据让有意义的事变得澄明，看我们在天与人关系上，做得是否比以前更有意义。总之，让我们从前10年的意义混沌时代，进入未来10年意义澄明时代。(2)变革经济的力量生产者是有价值的，消费者是价值的意义所在。有意义的才有价值，消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的，才卖得出去，才实现得了价值。大数据帮助我们从消费者这个源头识别意义，从而帮助生产者实现价值。这就是启动内需的原理。(3)变革组织的力量随着具有语义网特征的数据基础设施和数据资源发展起来，组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的，是各种各样去中心化的Web2.0应用，如微信、微博等。大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧。3大数据中的自然辩证法3.1大数据的数理哲学基础人类的生存、发展方式可以归结为：获取信息，处理信息，而这就是智力。智力的进步，归根结底就是信息技术的进步。人类历史上经历过四次信息革命：语言的创造，文字的创造，电信通讯的创造，电子计算机与互联网的创造语言让人认识世界，建立相互关系；但其限制和缺点是无法突破个体的时空界限。文字的出现实现了人类思想的远距离和世代相袭传递，人类联合因此扩大；它虽然突破了空间上的限制，但需要耗费太长的时间。电信通讯的创造突破了空间的限制，为电子计算机与互联网创造奠定了基础。电子计算机与互联网的创造，是一次伟大而空前的大综合，其特点是：所有信息全部归结为数据表达形式—0和1。只要有了0和1，加上逻辑关系，就可以构成全部世界。而世界本来就是这样构成的，已经出现的读脑机、脑电波指挥的电脑、智能机器人和人脑插入的芯片等等，都说明大脑的认知方式与世界事物同构。大数据的出现促使我们认识到，人类的认识和实践，就是一部数据搜索、处理、挖掘和创新的历史。大数据方法揭示了因果关系是常规性的，终极的关系应从事物之间的相关性、同构性中寻找。数据反映的是具有同构关系的两个序列的关系信息，一个对象的运动轨迹，通过另一个序列的载体编码来表达。认识者获得的不是对象本身的绝对映像，而是离开了对象，从对象中抽象出来的、关于对象运动轨迹的数据。从这一角度看，同构关系是大数据的数理哲学基础。3.2由量变到质变现在，当数据的积累量足够大的时候到来时，我们不在关注数据的海量化生产和存储这种表面现象，我们更加要关注的是由数据量变带来的质变，这种质变表现在以下3个方面：(1)数据思维大数据时代带给我们的是一种全新的思维方式，思维方式的改变在下一代成为社会生产中流砥柱的时候就会带来产业的颠覆性变革。在处理大数据的时候，我们应该：(1)分析全面的数据而非随机抽样;(2)重视数据的复杂性，弱化精确性;(3)关注数据的相关性，而非因果关系。历来的商业变革都是由思维方式的转变开始的，旧的经济体制和传统的商业理念面临新的商业思维逻辑的时候，如果大脑不能与时俱进，吸收并转变为顺应潮流的新思维，通过新思维重新组织企业组织的战略、结构、文化和各种策略，那么貌似强大的体魄反而变成了企业前进的累赘。这种新思维颠覆巨头的案例最先发生在信息技术的传统领域，然后渗透