03大数据解决方案27

大数据解决方案议程•大数据的一些疑问•大数据采集•大数据处理•大数据展现大数据解决方案-大数据的一些疑问怎么从大数据得到价值？你想从大数据里得到什么？多大的数据才是大数据？多大的数据才是大数据？数据发展趋势BIGDATAAudio/VideoLogFilesText/ImageSocialSentimentDataMarketFeedseGovFeedsWeatherWikis/BlogsClickStreamSensors/RFID/DevicesSpatial&GPSCoordinatesWEB2.0MobileAdvertisingCollaborationeCommerceDigitalMarketingSearchMarketingWebLogsRecommendationsERP/CRMSalesPipelinePayablesPayrollInventoryContactsDealTrackingTerabytes(10E12)Gigabytes(10E9)Exabytes(10E18)Petabytes(10E15)复杂性：种类和速度数据量主要趋势数据来源价格低廉的存储价格低廉的计算设备爆炸社交网络无处不在的连接传感器网络2.大数据采集你想从大数据里得到什么？一系列新问题社交网络和互联网分析我的品牌或产品情绪实时数据源如何优化我的车队运行(基于天气和交通趋势）高级分析功能如何更好预测未来结果？数据整合带来的价值个人数据组织数据社区数据世界数据价值采集任何种类、大小、来源数据StreamingNon-Relational010101010101010101101010101010101001010101010101101010101010Relational数据科学家商业智能专业人员业务分析人员丰富数据来源数据集市端到端的大数据生命周期增强可视化10101HQLColdStreamHDFSHotStreamE=MC2HQLLearnedLimitsSQL战略/趋势分析存储&管理洞察价值操作/实时分析端到端的大数据解决方案洞察力INSIGHTS数据管理DATAMANAGEMENTNON-RELATIONAL100111RELATIONALSTREAMING丰富数据DATAENRICHMENTSHAREANDGOVERNDISCOVERANDRECOMMENDTRANSFORMANDCLEAN•SELF-SERVICE•COLLABORATIVE•MOBILE•REAL-TIME微软大数据产品洞察力INSIGHTS数据管理DATAMANAGEMENT丰富数据DATAENRICHMENTPowerPivotPowerViewHadooponWindows3.大数据处理Hadoop=BigData?HADOOP集成企业级安全，高可靠性，管理与微软商业智能工具无缝集成SQLServer数据平台的一部分在WindowsAzure上几分钟内完成部署SQLSERVER2012PARALLELDATAWAREHOUSE软硬件整合优化的并行数据仓库一体机•从TB到PB的高可扩展性平台•使用MPP架构实现卓越的可扩展性•硬件厂商的选择•通过使用遵循行业标准的硬件降低成本•与Microsoft商业智能工具的深度集成•充分利用最新软件技术WindowsServer2012StorageSpacesWindowsServer2012Hyper-VSQLServer2012xVelocity列存储SQLSERVER2012PARALLELDATAWAREHOUSE开放和灵活与ApacheHadoop100%兼容工具由丰富的合作伙伴生态系统提供与社区的紧密合作AcceleratingthedeliveryofHadoopforWindowsHadoopforWindowsJavaScriptlibrariesHiveODBCdriversTheApacheSoftwareFoundation当前大数据分析的挑战：大量新技术需要学习掌握、周期长、见效缓慢数据仓库学习MapReduce需要IT人员提前手动将数据从HDFS导入数据仓库或集市，才可进行分析HDFS(Hadoop)HDFS(Hadoop)DatabaseHDFS(Hadoop)SQLServer2012PDWPoweredbyPolyBasePOLYBASE：数据处理的突破性技术SQL统一查询，结构化和非结构化数据•查询关联Hadoop表和关系型数据库表•采用标准SQL语言•Select,FromWhere沿用现有SQL技能无需IT人员介入节省时间和成本分析多样的数据类型企业数据及商业智能平台的进化-当前结构化数据源结构化数据源结构化数据源ODS数据集市多维度存储分析应用其他存储使用DW企业数据及商业智能平台的进化-未来大数据存储结构化数据源非结构化数据源数据流数据仓库数据集市多维度存储数据服务分析应用其他存储服务使用3.大数据展现大数据时代的数据“分析”工具-为未来决策服务总结•微软大数据解决方案：•业务能力：•接纳任意数据源的数据整合平台•低成本的数据价值洞察平台•技术能力：•结构化、半结构化、非结构化数据的处理能力THANKS