moDT-企业信息化的基石

OMDT－企业信息化的基石单位：时间：MODT－企业信息化的基石单位:北京芳草元源数据技术有限公司一、企业信息系统现状二、传统思维的企业信息系统集成（传统思维集成）三、互联网＋思维的信息系统集成（新思维集成）四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石一、企业信息系统现状经过几十年的建设，多数企业都建立了适合企业生产和管理的信息系统，如：CAD、CAM、CAPP、CAE、PDM、ANSYS、MES等工业生产软件，和OA、ERP、CRM、HR等工业管理软件，这些信息系统在企业的生产、加工、实验、工艺、模型、标准、规范、图纸、产品知识库、人力资源、财务、技术、办公等领域，发挥了重大作用。一、企业信息系统现状门户安全CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……其它硬件网络计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源计划人力资源办公现存信息系统结构图一、企业信息系统现状企业现有信息系统的困惑系统开发、上线时间各异各业务系统开发商不同1、各业务系统独立采用的技术、方案各有所长采集的数据分别标识各业务信息系统的数据标识不统一各业务信息系统分别采集数据一、企业信息系统现状企业现有信息系统的困惑2、数据重复采集数据标识不一致数据或没有标准，或标准不统一提供支持服务的公司不相同一、企业信息系统现状企业现有信息系统的困惑技术方案及软件不一致3、互联共享遇到瓶颈一、企业信息系统现状二、传统思维的企业信息系统集成（传统思维集成）三、互联网＋思维的信息系统集成（新思维集成）四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石二、传统思维的企业信息系统集成（传统思维集成）1、现行信息系统集成的思路现行的企业信息系统的集成，大多是“上下整合”的思路。“上整合”“下整合”是通过云计算技术，把企业信息系统所需要的硬件设备和基础软件整合起来，减少通用软硬件的重复，降低投资成本，在硬件、网络和基础软件方面，实现了有效统一。是企业应用信息系统层面的整合，通过在各应用信息系统之上搭建平台，实现各业务信息系统的协同。二、传统思维的企业信息系统集成（传统思维集成）2、现行信息系统集成方案图门户安全其它网络CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源计划人力资源办公云计算平台整合平台二、传统思维的企业信息系统集成（传统思维集成）3、现行信息系统集成方案的困惑（主要来自上整合）应用系统多且复杂，梳理难度大原信息系统开发单位多，协调有难度原信息系统数据标识不致，统一难度大整合工作量大资金需求大（一般都在1000万以上，或更多）有可能将原信息系统推倒重来一、企业信息系统现状二、传统思维的企业信息系统集成（传统思维集成）三、互联网＋思维的信息系统集成（新思维集成）四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石1、新思维集成思路互联网＋思维的企业信息系统的集成，即新思维集成的思路是：“下下整合”。第二个“下整合”第一个“下整合”与传统思维的集成基本相同，是通过云计算技术，把企业信息系统所需要的硬件设备和基础软件整合起来。是企业应用信息系统层面的整合，但是，整合的不是各业务信息系统，而是支撑业务信息系统的元数据。通过统一定义标识各应用信息系统的元数据，实现各业务信息系统的协同。三、互联网＋思维的信息系统集成（新思维集成）三、互联网＋思维的信息系统集成（新思维集成）2、新思维集成方案框架图网络门户安全其它CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源计划人力资源办公MODTAPPAPPAPPAPPAPPAPPAPPAPPAPP……CPS云计算平台门户安全CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……其它硬件网络计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源计划人力资源办公现存信息系统结构图（信息系统没有集成）现行信息系统集成方案图门户安全其它网络CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源计划人力资源办公云计算平台整合平台三、互联网＋思维的信息系统集成（新思维集成）3、新思维集成方案的特点1234将信息系统的集成内容由系统整合转为数据整合将集成路径由“上整合”转为“下整合”新思维集成方案的核心部分由：云计算、CPS、MODT、原业务系统、创新APP、门户等六部分组成。将数据集成方式分为两层：自动化层和信息化层自动化层由CPS（信息物理系统）统一完成信息化层由OMDT（源元数据）统一完成三、互联网＋思维的信息系统集成（新思维集成）4、新思维集成与传统思维集成的比较1234保留了企业的原信息系统，避免推倒重来给企业生产管理带来的损失统一了企业自动化层面和信息化层面的数据，加快了企业信息系统集成的进度适度内部开放的企业基础数据，使企业新系统开发更便捷，使基于互联网＋的应用开发成为可能。企业原信息系统的整合，和新信息系统的开发成本，将大幅度降低。（1000万以下）一、企业信息系统现状二、传统思维的企业信息系统集成（传统思维集成）三、互联网＋思维的信息系统集成（新思维集成）四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石四、OMDT在企业信息系统集成中的作用1、MODT是什么？MODT――MetaOriginalDaTa，元源数据其中：◆MetaDaTa，元数据，是对原始数据进行解释的数据◆MODT，元源数据，专指对原始数据的统一资源描述通俗地讲：◆MODT，包含元数据，或原始数据的数据字典可以表征原始数据四、MODT在企业信息系统集成中的作用2、OMDT在信息信息系统集成中的作用解决了数据统一的标识问题解决了数据统一采集的方法创新了企业信息系统集成的思路降低了企业信息系统集成的成本加快了企业实现智慧车间、智慧工厂的进程MODT在信息信息系统集成中的作用为企业适应互联网＋的工业生产环境，提供了转型和创新发展的数据支撑一、企业信息系统现状二、传统思维的企业信息系统集成（传统思维集成）三、互联网＋思维的信息系统集成（新思维集成）四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石五、芳草MODT的特点芳草MODT是北京芳草元源数据技术有限公司，根据“海量非结构化数据管理标准”，开发的适应企业信息系统集成在源数据采集、定义、分类、管理方面的软件产品。该系统实现对多源异构数据的统一集成管理，支持海量多源异构数据上的查询分析，分别经过合成数据集和真实数据集的测试，是国家863项目的成果之一。1、芳草MODT五、芳草MODT的特点2、芳草MODT的系统架构（一）由原始数据抽取元数据并上传数据集成服务器数据校验、填充度检查，数据解析元数据管理系统数据加载和导入原始数据存放于源系统数据访问接口数据访问接口数据访问接口数据访问接口五、芳草OMDT的特点2、芳草OMDT的系统架构（二）查询请求查询结果汇总分布式查询引擎原始数据存放于源系统数据访问接口数据访问接口元数据管理系统子节点维护概要图和统计信息访问请求/结果五、芳草MODT的特点3、芳草MODT的技术方案（一）使用元数据描述异构的原始数据元数据格式：xmlDTD对异构的原始数据进行统一的资源描述规范原始数据的类型视频、文本、网页、图片、传感器数据等原始数据的存储管理方案关系型(mysql,oracle等)非关系型(hadoop,hive,spark等)五、芳草MODT的特点3、芳草MODT的技术方案（二）基于元数据的多源异构数据集成方案元数据抽取源系统主动抽取触发器日志解析被动抽取数据访问接口五、芳草MODT的特点3、芳草MODT的技术方案（二）基于元数据的多源异构数据集成方案元数据集成使用数据上传工具--定时上传、数据更新时上传自动校验、解析、加载源系统上传元数据文件（支持linux,windows）服务器接收文件并建立对应记录，获得基本信息status=0定期验证status=0文件，验证结果回送源系统，status=-1或1定期获得status=1文件，解析存入元数据管理系统，status=2Web前端展示数据信息五、芳草MODT的特点3、芳草MODT的技术方案（三）面向海量数据的分布式查询系统SQL查询分布式文件系统（HDFS)查询解析分布式查询引擎注入式indexSQL优化查询处理模块索引维护模块系统管理创建索引加载索引更新索引查询改写元数据（表、索引）中间结果查询操作SQL查询结果五、芳草MODT的特点4、芳草MODT的特色（一）对多源异构数据的支持存储在不同地域、不同数据管理系统的数据不同领域、不同结构的数据元数据自动集成上传、校验、解析、加载和管理五、芳草MODT的特点4、芳草MODT的特色（二）良好的可扩展性数据规模系统集群松耦合式的数据管理不改变原始数据无需拷贝原始数据数据加载时间短五、芳草MODT的特点5、芳草MODT的性能（一）数据集成系统：安全性不改变原始数据各源系统自定义并实现原始数据访问接口集成效率数据上传--网络带宽数据解析--多线程+定时器数据加载--使用HTTP协议五、芳草MODT的特点5、芳草MODT的性能（二）分布式查询引擎：容错性--系统的可用性元数据分布式存储于集群的HDFS，数据自动备份集群中子节点的维护（新增、删除、状态监控）存储能力目前系统管理10亿条真实web元数据分布式查询引擎支持TB级别元数据的查询分析检索效率精准搜索0.1s内五、芳草MODT的特点6、芳草MODT的部署环境8~20个机器节点，其中一个master节点，其余为slave节点。Master节点起到协调调配作用，不作为存储数据的节点。下面是单个节点的硬件和软件配置。硬件配置：CPU：Intel(R)Core(TM)2DuoCPUT7700@2.40GHz;处理器：4核;内存：32GB;硬盘：720GB软件环境：操作系统：CentOS6.4；Hive1.1.0;Presto0.6.2;FusionDB1.0一、企业信息系统现状二、传统思维的企业信息系统集成（传统思维集成）三、互联网＋思维的信息系统集成（新思维集成）四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石五、芳草MODT的特点六MODT和传统的数据仓库的比较数据仓库1.面向主题：针对某一种业务就要建立一个数据仓库。不能快速适应变化，传统的数据仓库业务主题是较少变化的，其应对变化的方式是对数据源到前端展现的整个流程中的每个部分进行修改，然后重新加载数据，甚至重新计算数据，导致其适应变化的周期较长。因此在大数据时代，分析处在变化的业务环境中，数据仓库的模式将难以适应新的需求数据大量重复，不同的业务系统要有自己的一些数据仓库，在很多的业务的数据仓库中的数据有很多的重复。五、芳草MODT的特点MODT和传统的数据仓库的比较数据仓库2.数据迁移代价大：在数据源层和分析层之间引入一个存储管理层，可以提升数据质量并针对查询进行优化，但也付出了较大的数据迁移代价和执行时的连接代价五、芳草MODT的特点MODT和传统的数据仓库的比较数据仓库3.存储容量的限制：数据量在不断变化，可能会由TB级升至PB级，并仍在持续爆炸式增长，而传统的数据仓库的容量是有