大数据专题讲座体会

理论·政策·产业大数据专题大数据专题讲座体会赵正永：大力推进信息化发展，对于调整经济结构、转变发展方式、保障和改善民生意义重大。尽管目前我省的信息化还存在一些问题，但我们要发挥科教大省的资源和人才优势，逐年增加信息化发展专项资金，出台更加有力的政策措施，努力推进我省信息化建设走在西部的前列，走进全国的前列。娄勤俭：我省是中国的集散中心，在扩大信息流、资金流和物流结合发展方面有区域优势，为大数据基础设施建设提供很好地保证。同时我省是一个欠发达省份，要充分认识到大数据在人事保障、医疗保障等社会管理中既花钱少又能满足服务的作用，整合资源、节省投资、快速响应服务，依靠大星通信运营企业提供的服务来推动我省信息服务建设。编者按随着技术创新和行业需求的推动，大数据产业和市场已步入快车道。我国“十二五”规划以将大数据作为建设重点，各级政府也着手建立大数据库，进入了大数据管理时代。目前，我国已成为全球IT巨头布局大数据战略的重要集聚地。我省网络基础优势，科教实力雄厚，拥有发展大数据产业的多重优势。但是，我们也是清楚看到，眼下大数据应用还处于初期发展阶段，面临不少观念和技术等优势。本期周末讲座邀请到西北工业大学计算机学院周兴社教授，想大家讲解大数据及其应用发展，并针对我省发展大数据产业提出相应建议。专家讲义摘要早在19801年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过从2009年开始，“大数据”才真正的走入了大众的视野。大数据是建立在数据分析、处理、服务技术快速提升和海量数据快速积累基础上的。随着IT技术快速发展和网络应用日益深化，正在积累起前所未有的海量数据，例如淘宝网站、交通图像、微信服务、电子病历以及物联网等新兴服务应用正每日产生PB级数据；我们每天打电话、发短信、刷卡也在不断产生海量的大数据。著名的咨询机构IDC（国际数据公司）预测，在未来几年中，大数据和分析市场将获得快速发展，人类正在快速步入大数据（BigData）时代。一、大数据具有自身特点1、大数据概念依据全球著名管理咨询公司麦肯锡给出的定义，所谓大数据是指无法在一定时间内用传统软件工具对其内容进行采集、存储、管理和分析的数据集合。而大数据技术是从海量复杂数据中获得信息所需要的软件、硬件及其读物技术。2、大数据特点目前，学界和业界关于大数据特点，归纳总结为“4V”，即Volume（大体量）、Variety(多样性)、Velocity(快变化)和Valve(含价值)。（1）、Volume:PB级数据成为常态；当然，“大”具有相对性，并非必须是PB级数据量，其与领域相关，不同领域数据规模会有较大差异。（2）Variety:大数据的类型具有多样性，例如，文本、表格、图像、视频等数据形式均可能同时存在。（3）Velocity:数据快速动态变化，例如交通数据、装备运行状态数据等时刻处在变化之中，对此需要高效快速处理方法。（4）Valve:价值隐藏在海量数据之中，往往价值密度很低，如平安城市PB级视频记录数据，面对特定事件，需经历大量分析处理才能体现出其价值。3、创新大数据技术大数据处理的理念、“4V”特点以及处理方式均确定了传统的数据处理方式及其软件硬件实现，也要创新大数据应用模式。从技术研究角度来讲，在不损失价值前提下，以提高数据质量、减少数据规模为目标的大数据整理技术，以提炼价值为目标的大数据关联分析与深度挖掘技术以及以快速高效为目标的大数据新型计算方式，如大规模数据流实时分析、可扩展统计分级、数据并行处理与增量处理以及异质数数据混合计算等。二、大数据带来思维和管理模式变革大数据发展，不断产生思维方式的变革和创新。大数据直接分析PB级数据，不再依赖于随机采样；大数据处理不再过分追求个体数据的精确性，预测成为重点；大数据处理不再过分关注因果，更加重视数据集合的相关性。同时，多个领域的初步应用案例说明，大数据时代在技术进步的同时，也会引起商业变革和管理创新。在社会服务领域，大数据正在快速推动政府社会管理模式的创新，提升公众服务能力；在生产、制造、服务等领域，大数据推动运行效率的提升，实现经济内涵式增长；在科学研究领域，大数据促进多学科进步以及新型数据科学发展，产生以数据集计算为核心的新兴科学研究模式创新。三、国际国内高度关注大数据发展大数据研究与应用及其产业形态已引起国际上政府、学术界以及企业界的高度关注。美国2012年启动国家大数据研究计划，数据科学逐步演变为新兴的独立学科，数据工程师正在成为新型的IT职业。在企业界，IBM通过汇聚专家、并购公司、申报专利、发布平台，力求成为大数据和分析领域的全球领导者；GE公司提出工业互联网发展愿意，推出工业大数据分析平台；谷歌、沃尔玛等已从大数据初步应用中获得回报。在我国，国家科技部已经批准大数据重大基础研究项目，并将大数据作为国家未来重点发展的重大科技人物之一。工业与信息化部在“工业化与信息化深度融合专项行动计划”中提出重视工业大数据应用。中国计算机学会已成立了大数据专家委员会，2013年中国计算机大会就以大数据为主题。不少地方政府也积极跟进，大力推动大数据产业发展。2013年9月四川省锦阳市政府、长虹集团与IBM公司携手发布“绵阳IBM大数据分析竞争力中心”；电信、联通、移动三大电信运营商以及浪潮等大型IT企业也开始积极开拓大数据市场。我省也把大数据作为战略性新兴产业重点发展方向之一，大数据服务产业已纳入《数字陕西2013-2017年规划》。省发改革委已批复建设西咸新区沣西城升级云计算高技术产业基地，电信、联通、移动三大运营商数据中心以及国家人口数据库、林业数据库等大数据重点项目稳步推进，基地未来有望发展成为我国首个以大数据为主导产业的高技术产业基地。西安交通大学、西北工业大学、西安电子科技大学等省内多所高校信息学科也在积极开展大数据技术研究，为产业培育大量技术人才。未来、西安银河等企业正在积极开展大数据公共信息、舆情分析等电子政务服务，延长石油、陕煤等能源企业也在积极构建服务产业发展的大数据平台，陕鼓、陕汽等高端装备制造企业也在积极开展大数据公共应用开发。四、陕西发展大数据的几点建议无可置疑，大数据应用前景光明，但目前还处于初期发展阶段，面临不少观念和技术等挑战，对此我们应有清醒的认识。例如，如何方便廉价的获得大规模数据并保证其完整性与真实性，如何有效的解决好大数据带来的隐私与数据所有权问题，如何科学计划领域应用以求获得良好投资回报率，如何使得IT基础架构以及数据计算方法与大数据特点向适应，如何实现物联网、云计算、移动互联网与大数据的有机融合与科学集成。陕西省作为科技大省，我们应抓住大数据发展机遇，注重大数据技术与领域应用深度融合，充分发挥大数据潜在价值，推动科技不断进步和经济社会发展。一是积极推动智慧城市、信息惠民等国家重大试点工程，在条件较好、需求迫切、已见成效的医疗、交通、教育等热点民生领域，开展大数据应用示范应用，提升民生服务效率和水平。二是抓住丝绸之路经济带发展机遇，发展面向中亚地区基于大数据的国际化电子商务应用，拉动实体经济快速发展。三是以西咸新区提升为国家级新区和西安-西咸新区国家云计算服务创新发展示范为契机，加快大数据重大项目建设步伐，积极推动云计算与大数据深度融合与协调发展。四是依托省信息中心、未来公司，整合、开放和分析证无数据，提升政府管理与服务能力。五是选择陕汽、陕鼓、宝石等具有相对优势和良好基础的制造企业，注重工业大数据应用培育和示范，支撑我省装闲杂·`··无色她AZX备制造业向服务型制造业和智能制造发展。六十积极参与国家计划，组织高等院校相关学科和科研机构，面向领域应用特点与重大需求，开展具有特色的大数据技术创新研究和产品开发，逐步形成我省大数据“产学研用管”协同创新联盟。我们坚信在十八届三中全会精神鼓舞下，深化改革、注重创新、科学实施、齐心协力，我省大数据技术及其产业一定能够获得健康快速发展。典型案例西咸新区沣西新城把大数据产业作为信息产业的突破口和发力点，以“数据沣西、智慧西咸、云储中国、物联世界”为目标，以数据的增值服务为产业链的核心价值，以政务大数据服务为突破口，创新大数据应用的商业模式和服务机制，运用市场手段，整合数据资源，挖掘数据潜在价值，围绕数据生成、存储、处理、分析、应用等产业链的关键环节，构建以大数据服务为核心的上下游产业链，建设以西咸新区沣西新城为核心的国家级大数据处理与服务产业集群，最终将西咸新区沣西新城建设成为国家政务信息资源汇聚地、社会信息资源的集散地、大数据服务产业高地，国家及数据中心和大数据服务产业基地，带动山西现代化信息服务整体快速发展。西咸新区沣西新城以沣西新城大数据产业园为主体大力发展大数据产业。沣西新城大数据产业园选址位于西咸新区信息产业园，以实现数据的“规模化集中吞吐、深层次整合分析、多领域社会应用、高效益持续增值”为重点，大力发展数据存储、呼叫中心、IDC中心、灾备中心、数据交换共享平台等业态，全力构筑以IT基础层、数据资源层、运营平台层、应用服务层等四个层面为主的大数据全产业链生态环境。目前已在构建数据资源层方面取得了巨大进展，吸引了中国联通、中国电信、中国移动、陕西广电网络等四大运营商数据中心以及全国人口数据与备份中心等项目落户，到2017年，沣西新城将基于完成大数据商业化运营平台建设和数据管理产业集聚，初步实现大数据商业化应用，吸引一批提供数据增值化和高附加值服务的大数据服务企业入驻园区，形成示范型产业模式。力争使大数据应用覆盖民生、政务、社会管理、互联网、电子商务以及行业应用等诸多领域，未来沣西新城将形成10T的宽带、100万台服务器，集聚300PB的权威数据，带动20多个行业发展，产生600亿元的综合效益。省委常委、常务副省长江泽林一、对大数据的基础认识（一）基本概念大数据（BigData）是指通过快速获取、处理、分析以从中提取有价值的海量、多样化的交易数据、交互数据与传感数据。海量和多样化是对大数据的数据量与数据类型的界定；快速是对于大数据获取、处理、分析速度的要求；价值是对大数据获取、处理、分析的意义和目的；交易数据、交互数据与传感数据是大数据的来源。大数据之“大”，不仅在与其规模容量之大，更多的意义在于人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，可以发现新规律、获取新知识、创造新价值。如果把大数据必做一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的增值。大数据实际计算机、物联网之后IT产业又一次具有划时代意义的技术变革，将对经济社会发展和个人生活方式产生巨大影响。（二）主要特征大数据的的基本特征可以用4个“V”来总结，即：海量化（Volume）、多样化（Variety）、快速化（Velocity）和价值化（Value）。1、海量化。大数据首先是数据增大。目前全球数据量正以前所未有的速度增长，可以统计的数据存储量在2012年达到2.7ZB（Zettabyte,10万亿亿字节），是2002年全球数据总量的2亿倍；预计2020年将超过35ZB。2、多样化。随着更多互联网多媒体应用的出现，数据的类型不断增加，诸如图片、声音和视频等非结构化数据占到了很大比重。统计显示，结构化数据年增长率为32%，而非结构化数据增长率大63%，目前全世界非结构化数据已占数据总量的80%以上。3、快速化。大数据技术的应用使得企业能够及时把握市场动态，迅速对产业、市场、经济、消费者需求等各方面情况做出较为准确的判断，并快速制定出来针对性的生产、运营、营销策略，不断提高企业的竞争力。4、价值化。价值是大数据的终极意义所在。随着社会信息化程度的不断提高、数据存储量的不断增加、数据来源和数据类型的不断多样化，数据正成为新型资产。大数据真正的价值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源，并进一步加以挖掘和分析，增强用户信息获取的便利性。“数据价值化”已经成为国家、企业提高竞争力的又一个关键点。（三）应用领域大数据的挖掘及分析