基础数据建设实践

基础数据建设实践互联网+大数据基础数据建设演进原始社会数据需求方产品研发工程师提出需求产品需求*日志打印数据需求奴隶社会数据需求方提出需求产品研发工程师产品需求*日志打印数据工程师数据需求封建社会数据需求方数据工程师产品研发工程师提出需求日志规范数据需求产品需求*日志打印资本主义社会数据需求方数据工程师产品研发工程师提出需求日志规范数据需求产品需求*日志打印主题建设数据仓库工程师共产主义社会数据仓库+数据仓库建设日志数据数据库数据文档数据…业务范围日志管理业务划分…基础层结构化扩展规范数据标注…中间层数据仓库建模主题划分一致性粒度VS灵活维度模型主题划分高度汇总指标唯一数据一致数据分析平台需求驱动线上服务数据挖掘…报表层数据质量建设元数据报表位置层级指标数据仓库表结构属性信息依赖关系前端展现任务层级依赖任务执行情况元数据管理日志/业务库元数据日志模块日志传输、参数结构业务库表结构表、属性状态ETL元数据管理日志扫描类型离线日志扫描技术实时计算实时日志扫描规则引擎分析内容日志错、漏、重复、异常等日志使用情况日志冗余日志扫描（基础日志）（基础日志）统数据分析师数1、日志规则制定和录入4.2、获取日志日志规范流程5.2、报警查询日志规则及解释QA2.2、获取需要埋点的日志规则2.1、获取需要埋点的日志规则0、提出业务需求5.1、报警3、测试产品品线发工程师研工数据需求方数据工程师4.1、获取日志规则元数据系统（基础日志）监控系统统（基础日志）上游业务库报警并需要数据工程师审核/完善变更查询数据更新时间获取元数据业务库规范流程数据需析师方查询数据库表结构及释义元数据系统（上游业务库）添加/维护元数据信息（上游业务库数据库及表结构）据分求数据工程师（线上（线上线上业务库数据库最新变更信息数据加载进展监控系统（上游业务库）血统分析拓扑图分析了解单点对于上下游甚至全局的影响依赖分析任务调度/运行异常、依赖异常、重写异常产出分析数据产出时间预估等异常分析合理性分析…血统分析