区块链与大数据生态系统的融合以及应用实践丛宏雷

区块链与大数据生态系统的融合以及应用实践丛宏雷|[e-mail]蒋守壮|[e-mail]万达网络科技集团大数据中心大数据项目解决方案区块链和LinuxHyperledger区块链与大数据生态系统应用案例Hyperledger+大数据项目开发流程Hyperledger部署和应用痛点Hyperledger和大数据生态圈隔离Hyperledger集群环境部署复杂1.Hyperledger镜像版本多2.Docker运行环境重复部署3.跨主机之间容器通信4.无法快速为测试或开发提供Hyperledger环境1.Hyperledger与大数据生态圈隔离2.无法挖掘Hyperledger中生成的数据潜在价值ClouderaManagerClouderaManager背景介绍CDH市场领先的管理平台，提供组件级别细粒度的可视化和控制集中式地操作大数据软件栈，方便部署，配置，服务启停，扩容和升级等Hyperledger+大数据项目解决方案010304Harbor企业级镜像仓库通过CM自动化快速部署Docker和Hyperledger容器环境，实现监控和管理开发接口，实现Hyperledger与大数据组件交互，比如Spark获取Hyperledger数据进行分析02Etcd+Calico实现跨节点容器间通信验证Parcels和CSDs生成ParcelRepository的manifestHyperledger+大数据项目简介CustomServiceDescriptors：包括服务的角色，依赖关系，配置参数，控制脚本等Parcel包：二进制执行文件，Jar包文件等Hyperledger+大数据项目工作流程DockerDaemonClusternodeClouderaAgentHyperledgerProcesses配置环境变量运行脚本3.角色分配完成后，ClouderaManager开始触发Agent部署任务4.在Docker容器中运行Hyperledger程序，并向外提供服务用户5.Agent监控Hyperledger各角色容器状态ClusternodeClusternodeClusternode……ParcelRepositoryClouderaManager1.用户初始化Parcel包下载2.ClouderaManager在集群中分发Parcel包Hyperledger+大数据项目部署流程Hyperledger+大数据项目部署流程Hyperledger+大数据项目演示区块链什么是区块链?-以‘区块’记录交易信息，以链的方式将区块组合在一起-整个链保存在‘去中心化永久存储’区块链的基本属性-去中心化，全局共识-可证明性，每条纪录的修改可溯源-交易完整性，所有交易信息经过签名验证，多方确认-交易共识后不可篡改区块链的发展-分布式账本技术LinuxHyperledgerHyperledger-由LinuxFoundation发起项目之一-孵化各种开源分布式账本技术，促进区块链技术的商业应用HyperledgerFabric-分布式账本框架（Linux超级账本项目之一）-模块化架构设计-共识节点-背书节点-账本提交验证模块-账本管理模块（包括区块管理模块）区块链的系统架构区块链的网络架构区块链上的事务区块链在万达数字资产交易-数字资产发行方基于区块链系统发布积分卡券-区块链智能合约自动发现积分卡券间的交易价格-用户基于系统价格在区块链系统上完成积分交易供应链管理-供应链各方在区块链系统中发布各方需求信息／服务信息-生产商，运输商，销售商，广场平台商-区块链智能合约自动完成各方间的需求匹配-区块链智能合约纪录交易信息，自动生成电子账单，电子发票等-商品销售后，区块链智能合约自动分账区块链在数字资产交易数字资产交易-多方发行方组成区块链积分交易联盟-区块链智能合约自动发现积分间的交易价格-会员共享，同时实现会员隐私保护区块链在供应链管理供应链管理-供应链各方基于区块链组成联盟-区块链智能合约自动完成各方间的需求匹配区块链与Spark区块链与Spark的Demo演示Demo演示感谢聆听Q&A