大数据和数据作为服务数字化信息化智能化IT3.0软件定义、数据驱动个性化实时感知(移动革命)反馈和量化自我在智能化时代,中文信息处理大有可为互联网大数据政府大数据产业大数据数据垄断数据孤岛样本偏差产业链生态系统数据安全和隐私OpenData大数据时代,中文信息处理的定位和价值:是理解数据、和数据对话的重要手段机器大数据MachineData大数据产业的三个层次和硬件相关的大数据技术分布式数据处理和新型数据库(Hadoop/MapReduce,NoSQL)数据挖掘和机器学习(深度学习)自然语言处理,情感分析、开放域信息抽取、分类聚类,知识图谱大数据可视化数据和知识服务个性化精准营销医疗、安全、教育、社保、金融、证券、通信、互联网等行业应用智能交通智慧城市大数据技术大数据行业应用大数据服务大数据的运算法则:加减乘除除加减乘大数据取消大字,关键是数据和数据思维互联网大数据、企业大数据、物联网大数据、机器大数据、穿戴大数据平台建设和个体创新之间的关系,形成长尾市场发现大数据中的小数据,从价值密度低的数据中获得高价值密度的小数据大数据催生数据作为服务DaaSDataasaServiceSaaSPaaSIaaSDaaS的几个层次数据驱动的跨界服务数据挖掘服务元数据服务选择性数据服务原始数据服务计算广告学、互联网金融、信用平台舆情分析、预测、信息可视化、数据的关联分析标注数据、人肉如搜索引擎服务糙数据,数据资源集数据作为服务和中文信息处理变现模式从工具到手段落脚点从内容理解到结果呈现从智慧企业发展路线图看需求网站投放交易用户行为分析精准营销从品牌、营销、产品设计和客服的全过程品牌宣传网络营销电子商务个性化服务社会化商业•弱信号探测•情感分析•用户画像•结构化社交媒体信息处理需求智能客服我们的工作和成功案例终端—…53/Flash行业大数据应用用撑台应支平础施台基设平一一--一一一交析社分一一一一一一一、据测数监大情体舆媒大数据采集h一大数据分析、挖掘、整合数据挖掘(RDBMS-based大数据存储、管理、查询"·:·最近2年的新工作•研发了海贝大数据管理平台(TRSHybases)–Hadoop生态系统–SQL和BI的融合–柔性多引擎架构:文本、图像、音视频•运营了TRSSMAS舆情分析云服务平台–发展了300家商业用户,是一种SaaS和Daas混合模式TR.S数据中心数据统计欢迎你,shishuicai修改密码注销年新浪微博即可甲微信|鼓据申心总鼓据量22,600,311,352新阕论坛新浪做博腾讯做博做信10叫目!fil魁段露量645,250,684725,796刃49,046,236,692882,328,365542,537占用空间11.42TB3.38TB25.27TB2.47TB0.01TB国数据量趋势图40M30M3Q且且且且1427520MlOM6M4M412M帽*百回论坛lli;做博腾ii\扭曲博微信TRSSMAS舆情监测云服务平台多行业经验全媒体信息发现1500余家平面媒体50000余家网络媒体600余家境外媒体4大国内主流微博平台大数据云计算数百台服务器单日新增数据超过1亿专业研发分析服务团队全方位服务信息监测与分析数据挖掘与整合全天候信息预警事件深度分析常规非常规报告舆情云服务平台基础软件支持平台全文检索套件数据采集网络数据业务数据各组织机构内部数据资源采集传感数据物联网数据采集两万多家网媒和平面媒体监测云采集服务数据清洗、加工、结构化数据排重中文分词关键词过滤全文索引数据清洗人工审核数据分析数据开放及第三方应用服务平台数网据络库信息传统网媒库传统平媒库微博数据库数内据部库业务金融财经数据库教育数据库卫生数据库环境数据库法律法规数据库库感外数部据传物联网传感数据库云存储服务业务模型联合分析自动分词热刺分析自动分类相似性识别自动聚类自动摘要关键词词群关系识辨褒贬分析智能分析库网分络析数据数内据部分业政治管理分析库经济管理分析库析务分感外析数部库据传公共舆情分析库企业行业分析库政府分析库综合业务平台分析库文化管理分析库社会管理分析库物联网传感分析库政府内部在线公务大数据应用广场风险监测平台文化教育食品安全医疗卫生交通能源环境保护质检检查对外公共信息服务信用评级消费警示重点项目投资警示......分析研判平台应急指挥平台知识共享平台开发者计划金融风险食品安全风险报送风险统计医疗风险风险预警信源管理......业务报告统计报表口碑分析......舆情分析业务建模营销分析风险接报应急资源应急处置任务分配预案管理查询统计跨步协同后期评估跨级上报WIKI管理绩效考评知识共享工作报告......第三方开发者应用基础应用国家安全政府和企业舆情管理智慧政府互联网金融数据新闻公共事务信息服务社交媒体挖掘数据新闻:用数据完成的新闻报道用大数据来编写新闻,终极目标是机器新闻Datajournalism汽车报:国家级汽车产业信息数据平台大数据生产中国汽车报用大数据生产中国汽车报国家安全大数据应用•总参•国安•公安•网信人物活动轨迹分析宾馆、交通、银行、快递全媒体数据挖掘文本、音视频全网数据分析互联网、电信网公共事务大数据应用厄瓜多尔总统大选选情监测分析平台ElUniversoElComercioEldiario.ecAporreaTerraLarepublicaEcuadorinmediatoLaverdadEcuador新闻RadioMegaestación92.9FM“AgrocomunalasIESSasociacióndeafiliadosalIESSAsociaciónSiluetaXAteaySublevadaBaracuteyCubanoBiografiasCortas博客论坛AmericasForumanswersencyclopediaBusesdelEcuadorCiespalComunidaddeComercioExterioreluniversoForosdeDiscusiónforoTwitterFacebookYouTube社会化媒体超过1000家媒体来源拓尔思帮助预测厄瓜多尔总统选举(2013年2月)实时计算大选关键词*RafaelCorrea为现任总统拉斐尔-科雷亚,目前有希望连任区域化的声量分析TOP5ProvinciasBolívar:656Guayas:535Manabí:432Azuay:203Pichincha:157LasinformacionesrelativasdeEleccionesGeneralesseconcentranencincoprovincias.Azuay,GuayasyPichinchatresprovinciasmáspoblada,lacantidaddelasnoticiasretivasocupaTOP5.PichinchaManabíBolívarGuayasAzuay厄瓜多尔地图大选话题关注度排行单位:条金融是媒体关注最高的政策话题,其次是医疗卫生和教育。候选人支持率统计分析从时间上对比,7月到10月,现任总统科雷亚的网民支持率保持绝对优势并有所上升。第二位的候选人拉索,其支持率相对高于其他候选人,虽然9月的支持率有所下降但10月有明显上升。其余三位候选人的支持率均在10%以下。民意之候选人支持声量-按领域单位:条现任总统RafaelCorrea对于民众最关心的Top3政策话题的声量都远远超过其他候选人,Lasso作为现任总统科雷亚的最大竞争对手,在金融政策提及的主张明显超过医疗卫生和教育,其作为现任瓜亚基尔基金会主席,更加关注金融方面的问题。实时分析系统全西语全媒体全天候全自动结果出炉印证了大数据的分析能力TRS研究的案例:流感的分析检索关键词:感冒发烧发高烧咳嗽鼻涕流感输液吊瓶鼻塞流涕;提取数据时间段:2011.01.01日到2012.10.22日之间的所有数据;提取数据总量:2011年615,449,910条微博,含上述关键词的2,858,212条微博;2012年500,343,713条微博,含上述关键词的2,430,082条微博;刚上班就感冒的事实依据•七天为周期•周六低点,周一二高点流感的分析2012年01月份流感强度没有2011年同期强,但02月下旬和03月较去年强,峰值所有回落;2012年秋季流感爆发点比2011年提前1周,去年是09月20日,今年是09月14日;2012年秋季流感目前平稳,没有大规模爆发迹象,今后将维持高位运行,爆发峰值逐步推高;900080007000600050004000300020001000001月01月01月01月01月02月02月02月02月03月03月03月03月04月04月04月04月04月05月05月05月05月06月06月06月06月07月07月07月07月07月08月08月08月08月09月09月09月09月10月10月10月10月10月11月11月11月11月12月12月12月12月12月01日08日15日22日29日05日12日19日26日05日12日19日26日02日09日16日23日30日07日14日21日28日04日11日18日25日02日09日16日23日30日06日13日20日27日03日10日17日24日01日08日15日22日29日05日12日19日26日03日10日17日24日31日2011年周均线均值线2012年周均线冬季高发冬季(2012.02.01)夏季(2012.06.01)大数据政府应用:国家药监局2012年4月15日央视曝光的“毒胶囊”事件掀起药品行业的巨大波澜,SMAS运营团队对该事件进行了长时间的跟踪与分析,并用一系列的数据、图表和报告捕获了网络数据里的真相与民意。案例:毒胶囊毒胶囊趋势研判明显可以看出在4月15日央视报道后,网民生产的和毒胶囊有关的内容急速增长事件风暴中的人物宋训杰:河北省学洋明胶蛋白厂经理李明元:江西省龟峰明胶有限公司董事长王之光:修正药业高级副总裁白岩松:央视主持人陈竺:卫生部部长崔志平:中新社记者宋海新:宋训杰的父亲,河北学洋明胶的老板赵普:央视主持人事件风暴中的机构话题分布—直指药监失职责任部门提及率—药监首当其冲微博声音与意见领袖关键人物董良杰传播超过10层,引起薛蛮子、李开复、新周刊、李晨、孙海英、宁财神等人的转发,合计覆盖人群超过3000万大数据信息服务•新华社多媒体数据库•国家知识产权局专利检索和服务系统•科技立方-科技大数据新华社多媒体数据库多语种数据27000家注册用户1.5亿条原创新闻资讯8000多种资源分类PB级数据量26000小时权威原创视频700万张图片全球最大的中文多媒体数据库国家知识产权局专利检索和服务系统自主研发,打破了欧洲专利局和美国国家专利局在专利信息技术领域的长期垄断高密E佛聚集·格式设置文醺淌览李(1)全迥二巴阕在aud·创h本野蚓种集二世且…m剖的、4’A·咽,日生巾阴阳刚法四川+九加入文献收穰夹刘览该国专利事查结果《全文图像1亏一篇刁CR103593452且[申文]发明名称一一种基于•apReduce机甜的鼓据密集型成本优化方法申请号CN2013105”8392013.11.21申请曰公开(公告}号CN103593152A公开(公告}曰囚11.但19IPC分类号G06Jl17/30南请(专利仅〉入发明人优先权主号优先权曰申请人地址申请人邮局北京科技大学;杨杨;孙莉莉;米振强;北京市海洼区学院路30号;100因.摘要[交捋框遮面译1茵$生命V-il'iv革V>笛往南v本注明涉及一种墓于MapRoduc:t•机肯自如数据密集型计算戚本优化为摘要附圄科技立方-科技大数据北京科技成果产业化情报系统为市领导科技创新决策提供辅助支撑全面、实时掌握科技动态调研分析影响产业发展和创新的关键应用技术面向社会,提供共享信息面向企业、科研院所、高校、投资主体、中介服务机构等,共享科研信息,提供新型的科研信息,推动信息开放和共享为政府相关委办服务科委等政府委办的科技创新管理提供信息服务促进科技