2014年1月智慧城市发展机遇:开放数据与大数据政府开放数据为社会开发北京市政府数据资源网()于2012年10月测试上线,作为大数据惠民一项重要探索,为政府信息资源的社会化开发利用提供数据支撑。市经信委牵头组织了全市29个部门400多个数据包,覆盖旅游、教育、交通、医疗、国土等政府数据,面向企业和个人提供APP应用开发。每年为企业和社会节约数据采购与处理费用近亿元。美国政府的大数据计划目标:为应对大数据革命带来的机遇,联邦政府制定计划,推进相关研究机构进一步进行科学发现和创新研究。六个联邦政府的部门和机构宣布新的2亿美元的投资,提高从大量数字数据中访问、组织、收集发现信息的工具和技术水平。通过提高政府从大型复杂的数字数据集中提取知识和观点的能力,承诺帮助加快在科学与工程中的步伐,加强国家安全,并改变教学研究。大数据特点()3𝑉4•非结构化数据的超大规模和增涨,总数据量的80%-90%,比机构化增长快10-50倍,是传统数据仓库的10-50倍•集中储存/集中计算已经无法处理巨大的数据量数量巨大(Volume)•大数据的异构和多样性,很多不同形式(文本、图像、视频、机器数据),无模式或者规模不明显,不连贯的语法和句义信息多样(Variety)•单条数据本身并无太多价值,但庞大的数据量累积并隐藏了巨大的财富•大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析(机器学习、人工智能VS传统商务智能)价值密度(Value)•实时分析和非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效•用户基数庞大/设备数量众多/实时海量/数据指数级别增长速度高效(Velocity)智慧城市下“大数据中心”的机遇与挑战41.智慧城市发展为大数据建设奠定了业务基础2.云计算、物联网使大数据应用成为技术可能3.信息消费战略对大数据推广提出了新的要求机遇1.异构与完备性科学计算只能处理同构数据清洗同构过程可能存在缺失2.规模与即时性数据的高速增涨对存储和计算提出了更高的要求3.隐私与可利用价值分享和安全存在永恒的矛盾读的懂的大数据是大数据广泛应用的前提挑战大数据中心建设内容及逻辑架构(4大中心)5大数据捕获大数据管理大数据分析大数据应用大数据中心技术架构•应用•分析•管理•基础6大数据建设和运行模式分析7基于城市映像的大数据捕获模式8以人口社会资源环境协调发展为例的大数据处理9•结构化•加载•抽取•转换•查重•关联•…以教育资源应用为例的大数据展现10大数据应用:经济11景气预警经济发展与布局分析四大库综合展示大数据应用:劳动力供需平衡预测12Thanks!谢谢!13QQ:81831215