搜索
Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Oracle大数据解决方案和案例介绍Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|议程12Oracle大数据解决方案Oracle大数据相关案例2Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|大数据的定义及其核心意义大数据带来的价值才是其核心意义的真正体现大数据是大量的，高速增长的，多样性的信息资产，它需要以高效，创新的信息处理形式，以促成实现更强的洞察力和决策力。--GartnerIT术语企业级大数据通常包括以下类型的数据：•传统企业数据—包括CRM系统中的客户信息、ERP系统中的事务性数据、网店交易数据、总账数据。•机器生成的数据/传感器数据—包括呼叫详情记录(CDR)、Web日志、智能仪表、制造业传感器、设备日志（常称为数字化输出信息）、交易系统数据。•社交数据—包括客户反馈、微博网站、社交媒体平台数据--白皮书《Oracle：企业大数据》社交网络：每分钟分享50万条内容。保险：每天100万次映像上传索赔分析公用事业：1000万个仪表每小时上传医疗卫生：每天2000万次监视电子商务：每天1亿次交易，10亿访问者电信行业：每天上网日志百T以上VOLUMEVARIETYSOCIALBLOGSMARTMETERVELOCITYCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|媒体/娱乐观众/广告效果交叉销售通信基于位置的广告教育与科研实验传感器分析零售/快速消费品舆情分析热卖产品优化的营销医疗卫生患者传感器、监规、EHR医护质量生命科学临床试验基因组高科技/工业制造制造质量保修分析石油与天然气钻探传感器分析金融服务风险和投资组合分析新产品汽车报告位置和问题的汽车传感器游戏适应玩家行为游戏植入广告执法和国防威胁分析—社交媒体监规、照片分析旅游与运输用于实现最佳交通流量的传感器分析客户意见公用事业分析网络容量的智能量表大数据在各行各业的应用示例联机服务/社交媒体人职匹配Web站点优化Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|新数据大数据的处理技术现代企业需要不同的技术来处理不同类型的数据运行业务支持关键性OLTP/OLAP任务操作简单，企业级特性，传统应用举例：支付交易，订单信息，客户信息数据仓库等关系型数据库Hadoop改变业务分布式存储和处理批量非结构化数据非实时，离线计算举例：影像，日志文件，社交网络数据，NoSQL扩展业务随机快速读写数据，灵活扩展类型多样，可预测的延迟举例：实时传感器数据，实时通讯，点击流大量快速多样性价值成本Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|报告和KPI展现统一的数据资源池企业级整体大数据解决方案需要的能力不仅仅是技术，更要考虑企业级应用架构需求•开发和集成•部署和维护•企业级特性•总体拥有成本数据源获取组织分析决策行动OracleDatabaseOracleIndustryModelsOracleAdvancedAnalyticsOracleSpatial&Graph分布式大数据平台HadoopNoSQLDBR关系型数据库内存计算数据挖掘地理和图形关系型数据库/数据仓库大数据连接流数据事件处理数据探索和发现统一SQL访问大数据应用管控灾备安全管理应用大数据收集应用数据集成数据集市数据共享Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|大数据流获取组织分析决策Oracle主张的企业级大数据之道业务数据高价值结果已有技能和工具有效利用多种技术，从新兴大数据中提取高价值数据，与企业业务数据融合，在现有数据架构上延展以提供实时高可用的业务洞察和数据服务Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Hadoop/NoSQL等开源技术需要遵从企业IT的合觃、审计和安全要求，这方面的能力是开源技术还不完备的Hadoop/NoSQL架构需要与企业现有数据架构相融合，避免形成另一个“烟囱”架构增加大数据到现有架构是非常复杂的，大型Hadoop/NoSQL集群的建设、管理维护的难度和复杂性很高11OracleConfidentialHadoop/NoSQL等开源技术开发困难，IT人员需要与传统数据库不一样的技能和经验积累，这是目前很多企业IT还不具备的安全开发融合集成企业采用新技术的挑战与风险Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Hadoop/NoSQL等开源技术需要遵从企业IT的合觃、审计和安全要求，这方面的能力是开源技术还不完备的Hadoop/NoSQL架构需要与企业现有数据架构相融合，避免形成另一个“烟囱”架构增加大数据到现有架构是非常复杂的，大型Hadoop/NoSQL集群的建设、管理维护的难度和复杂性很高Hadoop/NoSQL等开源技术开发困难，IT人员需要与传统数据库不一样的技能和经验积累，这是目前很多企业IT还不具备的安全开发融合集成Oracle的企业级大数据战略统一SQL访问所有数据开发效率高，重用应用、技能和经验SQL开发融合结构化和非结构化数据统一安全管控一体机软硬集成开箱即用简化架构和管理Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|企业级大数据发展趋势：全数据管理不仅仅是新兴大数据，而是结合企业全数据发现价值13数据仓库数据工厂贮藏池大数据管理系统数据发现实验室企业业务数据ERP/CRM其他数据源数据流数据集成社交网络日志执行创新分析工具应用快数据Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Exadata企业应用/数据仓库统一的数据资源池BigDataAppliance分布式大数据平台新型数据业务数据15TB/hour10xFaster获取组织分析决策Oracle解决方案支持构建企业全数据池助力企业级数据获取和组织，集成和管理OracleBigDataConnectors商业化HadoopOracleROracleNoSQLDBOracle数据库内存选项/多租户高级分析地理和图形选件OracleBigDataSQLCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|Oracle大数据一体机BDAX5-2OracleNoSQLDBODI*BDC*EnterpriseManager*OracleAuditVaultandDatabaseFirewallforHadoopAuditing*OracleLinux/JDKSunServer/InfinibandClouderaManagerOracleenterpriseRdistribution•18SunPC服务器，每台2C*18核E52699V3，总648核，每台128GB内存，总2304GB内存，每台12块4TBSAS盘，总864TB存储容量•内置40GbInfiniBand交换机和用于管理的万兆交换机•软硬一体化集成设计，觃避开源自建高风险•Hadoop资源配置的最佳实践•快速上线部署，缩短项目周期•全线商业支持，包括开源软件•与Oracle数据库极佳融合•企业级的安全管控•方便的水平扩展，适应长远发展•绿色环保，高密度存储，占地面积小获取组织分析决策OracleBigdataSQLCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|BDA一体化的丏业管理和运维OracleEnterprise与ClouderaManager深度集成自劢部署和Hadoop准备检查部署和配置HDFS，MapReduce，Flume，Hbase，Hue，Oozie和ZookeeperServices配置高可用性和联邦，多集群管理审计跟踪，智能日志管理工作流（如增加主机，重启服务等），配置版本和历叱监控HDFS，MapReduce，MapReduce2，HBase，Hue，Flume，Hive，Hue，Oozie和Zookeeper针对HDFS和Hive的备份/灾难恢复主劢的健康状况检查，状态和健康状况总结热图（Heatmaps）/性能监控LDAP授权，Kerberos配置，运维报告，事件管理和预警，活劢监控支持集成和定期诊断，滚劢更新获取组织分析决策Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|企业级大数据发展趋势：访问统一通过大家熟悉的SQL访问和处理所有数据18关系型数据库HadoopNoSQLHiveTez/StingerImpalaShark/SparkDrillHawq跨不同数据源的统一，丰富的SQLPhoenix（SQLonNoSQL）财务/交易文档/社交网络传感器采集/日志SQLOnHadoopCopyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|NoSQLDB根据客户和流水记录等信息，了解客户电商行为模式，位置和客户关注点及对品牌的体验和情感。在客户电话咨询时进行产品推荐或客户关怀。HadoopHDFS2YARNBatch(MapReduce)Other(Search)(In-Mem)BigdataSQLPlugIn社交网络数据电商访问日志客户行为记录OracleBigDataSQL支持统一访问全数据Oracle数据库常旅客订单客服值机客户360度画像C获取组织分析决策•利用数据库安全，实现数据治理•性能优化：并行，存储索引，本地数据过滤，最小化数据移动•丰富的SQL支持，利用现有技能•同时查询大数据和关系型数据文档SelectS.客户关注热点，S.情感，S.感受，V.位置，V.访问行为，C.基本信息，C.偏好，From客户表C，记录V，社交网络表SwhereC.常旅客ID=V.电商IDandC.sid=S.IDandV.时段=“时间”;OracleBigDataSQLOracleBigDataSQL的力量-广泛的各种“大数据”类型结构化数据Numeric,string,date,…非结构化数据LOBs,Text,XML,JSON,Spatial,Graph,Multimedia-丰富的SQL分析函数Ranking,Windowing,LAG/LEAD,Aggregate,PatternMatching,CrossTabs,Statistical,LinearRegression,Correlations,HypothesisTesting,DistributionFitting,…-快速应用Oracle高级分析包Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|企业级大数据发展趋势：分析深入充分利用机器超强的处理能力进行挖掘和新的分析20情感分析自然语言处理/文本分析地理位置分析挖掘算法机器学习预测Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|OracleDatabaseOracle高级分析支持全数据的挖掘分析NoSQLDB+Hadoop数据挖掘R企业版图形化界面，内置多种