搜索
2017年大数据应用项目解决方案大数据概述•概述•大数据定义•数据体量巨大。从TB级别，跃升到PB级别。•数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。•价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。•处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。•大数据技术发展大数据应用•大数据应用阐述•大数据应用架构•大数据行业应用–医疗行业–能源行业–通信行业–零售业•大数据解决方案•大数据技术组成–分析技术•可视化分析•数据挖掘算法•预测分析能力•语义引擎•数据质量和数据管理–存储数据库–分布式计算技术•大数据处理过程–采集–导入/预处理–统计/分析–挖掘•大数据处理的核心技术-Hadoop–Hadoop的组成•Hadoop的优点：•高可靠性。•高扩展性。•高效性。•高容错性。–Hadoop的不足–主要商业性“大数据”处理方案•IBMInfoSphere大数据分析平台•OracleBigDataApplianc•MicrosoftSQLServer•SybaseIQ–其他“大数据”解决方案•EMC•BigQuery–大数据”与科技文献信息处理•大数据处理技术发展前景–大数据复杂度降低–大数据细分市场–大数据开源–Hadoop将加速发展–打包的大数据行业分析应用–大数据分析的革命性方法出现–大数据与云计算:深度融合–大数据一体机陆续发布基于基站大数据应用及案例•气象灾害应急短信发布平台–概述•项目背景•平台概述–平台建设特点与原则•建设特点•针对性强：特定区域、特定时间、特定客群、特定服务短信，投放准确，不会影响特定区域外的用户；•收看率高：手机自动接收，收看率高，见效快，比传统媒体信息更深入用户；•发布便捷：客户通过网络可以直接申请发布信息，从申请到发布仅需几小时，可以及时修改；•成本低廉：定向发送有的放矢，平均成本更低廉。•建设原则•标准化：•先进性：•安全性：•扩展性：•保护投资：•可管理：•大数据管理平台特点•独特的云任务管理技术——使系统的并行效率提升显著、硬件资源被充分用于大数据处理，缩短处理时间、节约硬件成本。•独特的多层分布式缓存技术——使系统的吞吐量更大，运算性能更高，数据更加安全可靠。•双引擎技术——云计算引擎与传统计算引擎协同工作，使得业务支持类型更丰富、三方对接更方便、并实现了应用前端到后端的大数据处理以及秒级的响应速度。•独特的云目录管理技术——使得数据存储更完整，数据回收更灵活更即时，数据的近线存储更方便。•实用的监控体系——全面监控所有云节点、图形化的指标监控、完备的存活与性能告警、对于分析集群工作状态、性能瓶颈识别、故障分析提供实际数据支持。•方便快捷的安装——提供图形与命令行2种安装模式，适合本地与远程部署。部署操作基本自动化，适合于大规模集群的快速部署安装。–平台整体架构•建设原理•平台总体设计–平台总体结构•信令处理子系统•短信发送子系统•大数据管理系统•系统管理子系统•平台技术思路•扩展性原则：平台具有高可扩展性，既能适应移动通信网络结构、通信协议的扩展变更，也能适应不断变化的应用需求；•模块化设计：平台采用模块化设计，并构建业务生成平台；•可移植性原则：平台采用Java开发体系，与系统平台无关，确保应用系统的可移植性。•先进性原则：平台采用电信级设计标准，在设计思想、系统架构、采用技术、选用平台上均需要具有一定的先进性、前瞻性，考虑一定时期内业务的增长。•易用性原则：提供友好的用户操作界面，具备直观易用的人机界面，简化复杂操作步骤。•稳定性原则：具备高可靠性和高稳定性，能够适应海量信令数据处理。在系统设计、开发和应用时，从系统结构、技术措施、软硬件平台、技术服务和维护响应能力等方面综合考虑，确保系统较高的性能和较少的故障率。•旅游客源分析–整体方案•方案思路•通过对用户进一步分析其来源的等相关情况；•通过对用户进一步分析驻留时长情况；•通过分析各个旅游景区的人流密度等相关情况；•系统架构