大数据平台开发解决方案

大数据平台开发解决方案大数据平台开发公司18022899597一、大数据存储与计算支持不同的存储方案和计算方案，灵活满足各类场景支持HDFS、Hbase、Kudu等从GB到PB级别的存储方案，支持Hive和MapReduce等批量计算、Spark内存计算、Kylin多维分析、Impala和流式计算（开源SparkStreaming和自研Sloth）等计算方案，灵活满足各类场景数据集成支持全量离线接入和关系型数据库和日志的增量实时/准实时接入全量离线接入：将业务数据从各类数据源（MySQL、Oracle、PostgreSQL、MongoDB等）离线导入数据仓库以及其他相关大数据环境，适用于对数据导入实时性要求不高以及静态数据源的场景，例如将某业务上个月的所有数据导入数据仓库用于数据分析。关系型数据库和日志的增量实时/准实时接入：分别使用了自研的NDC系统和DataStream，将业务库中增量数据和APP日志实时导入到大数据环境，延迟可控制在秒级，适用于对数据导入实时性要求高，且业务快速增长的场景。数据应用开发提供SQL开发、依赖配置与调度管理、交互式查询等，提高开发效率传统软件的开发过程中，有大量丰富的软件保证开发、调试、发布等步骤井然有序地进行。从业人员的高素质和这些管理过程的工具保证了线上应用的高质量。但目前大数据商用软件领域，很少有足够好用的IDE来帮助企业构建数据应用。提供了SQL开发、依赖配置与调度管理、交互式查询等，协助管理开发过程，提高开发效率。数据管理提供元数据管理，标准化企业内部的元数据定义元数据管理的主要目标是标准化企业内部的元数据定义。而随着数据依存度逐年增加，追踪数据流动，了解数据含义和血缘关系越发困难。通过数据地图、数据字典、数据血缘三个方面保证企业的元数据标准。同时对主题、维度、指标进行一致性定义和管理解决了数据生产过程中的质量问题。数据安全通过认证、授权、审计三个方面来保证数据安全平台采用Kerberos做用户级别的认证。基于加密方法建立用户（和系统）识别自己的方法，对个人通信以安全的手段进行身份认证，用户和服务器都能验证对方的身份。针对角色授权数据访问。对HDFS、Hive等实现了统一的，细粒度的数据权限控制。从数据角度，可以查看当前何种角色有何种权限。从角色角度，可以查看对哪些数据有何种权限。审计提供较直观事件跟踪，包括实时监测对系统敏感信息的访问和操作行为，根据规则设定报警并及时阻断违规操作，收集并记录用户行为。实时流计算支持实时的数据接入，SQL开发流式计算任务，降低开发门槛使用SQL开发流式计算任务，兼容离线SQL，可实时分析用户的访问数据，展示流量变化和用户分布情况。具备高可用(分布式)，高吞吐(1000w/s)，低延迟(毫秒级)，精准计算（Exactly-once）等特点，用户可在平台上调试和提交流SQL任务，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求。基于平台，电商搭建了精准化营销平台，将所有日志，用户行为数据在平台上进行离线调度和分析，在上亿用户人群里面，精确的找到目标人群，进行资源营销策略二、大数据解决方案金融关键点：数据管理、大数据标准、大数据质量金融机构业务系统多，监管力度大，适合自上而下开展大数据治理，通过数据管理理清数据关系，参考行业标准，制定数据标准管理办法，并将数据质量管理嵌入系统开发过程，从需求开始控制数据质量，建立数据质量考核机制。能源关键点：大数据质量、大数据资产化、大数据交换与集成能源行业数据量庞大且呈碎片化分布，急需提升大数据质量，保证决策和分析的准确性，将这些海量数据变成企业资产的一部分，并按照规范与标准将系统内及各种采集数据进行集成。政府关键点：大数据标准、大数据交换与集成、大数据共享发布政府行业民生数据量大，在海量数据中快速找到所需数据至关重要。通过大数据标准规范数据内容，根据管理规范和数据标准，将海量民生数据进行交换与集成，适当开放数据接口，助力智慧城市建设，拓展数据应用。电信关键点：数据管理、大数据质量、大数据资产化、大数据共享发布电信行业数据丰富，数据开放潜力巨大。需要管理大数据平台中的数据，控制数据质量，将数据资产化，通过大数据共享，进一步拓展与集成商的合作空间。制造关键点：主数据管理、元数据管理、大数据质量、大数据交换与集成制造行业工艺流程多，数据在各阶段的应用角度不同。需要统一管理流转于业务链条中的主数据，降低系统间的集成复杂度，通过元数据理清工艺流程中“碎片化”数据间的关系，严格控制数据质量，按照一定的规范与标准，对数据进行交换与集成。