©2016,AmazonWebServices,Inc.oritsAffiliates.Allrightsreserved.AWS物联网解决方案王毅亚马逊AWS解决方案架构师,区域主管2015年5月26日IoT客户案例poweredbyAWSIndustrialFleetTrackingAndMonitoringOilDepositDiscoveryStreetLightingDNASequencingInstrumentsEquipmentManagementConnectedCarDeviceVideoMonitoringAssetandvehicleTrackingConsumerSmartDeviceElectronics•远景能源成立于2007年,是一家全球领先的智慧能源技术服务商•目前远景能源的客户使用量已经达到了10GW(一千万千瓦)•基于云的“格林威治”系统可以通过WindOS来对风电场进行运维,提供所有的远程监控以及背后的分工预测、故障分析、发电效率等。•目前已经迁移到AWS上的部分应用让成本降低了将近20%,并且由于AWS有预留实例的购买选项,预计远景能源的成本还可以再降低大约20%。IoT客户案例:远景能源2009年在美国旧金山成立;每分钟比YouTube多100小时的上传量;2013年,在C系列一轮融资中获得资金3000万美元;2014年6月,以5.55亿美元被Nest收购。Dropcam通过互联网给客户提供软件和硬件的视频监控IoT客户案例:DropcamAWS如何支持物联网全球联网-跨地域互联互通弹性计算-云计算平台智能分析-大数据分析实时交互-事件驱动引擎移动互联-移动服务平台物联网的关键挑战用于全球业务的全球基础设施12区域33可用区53边缘节点全球化部署,跨地域互联物联网是简单的?其实它很复杂安全网络扩展容量预测发现规则协议AWS物联网是一个完全托管的云平台,可以轻易的管理连接的设备,安全的与其进行交互设备SDK设备安全与权限管理设备网关注册规则引擎设备之影可透过不同的网路与通讯协议,安全的连接与管理设备抽取与过滤设备传回的数据,并采取您定义的规则操作轻易的创建能全时可靠与设备交互的应用客户能与AWS云端做连结医疗与生物技术市政基础设施智能家居零售业制造物流与供应练农业教育汽车数据提升产品与服务价值在线监测数据过滤与规则引擎资料流入AmazonKinesis温测与使用数据储存与离线分析设备SDK多种客户端连结库,进行身份验证和交换信息设备网关通过MQTT和HTTP与设备通信认证相互身份验证和加密规则引擎依据规则与路由传递资料给后端AWS服务AWS服务-----第三方服务影子为设备间断性的连接能力保有持久的状态应用AWS物联网API注册身份验证和管理你的设备AWS物联网-整体流程AWS物联网–设备连接安全性支援多种协议的连接透过MQTT或HTTP连接数以百万计的设备和应用弹性发布/订阅的代理从1到10亿的设备连接,您不需要做任何部属(Serverless)安全模式通过X509证书与TLS1.2与客户端验证发布订阅{ThingName,SensorTemp,,GetTemp(),OutputLED}S3,Lambda,AmazonKinesis,DynamoDBAmazonSNSAWS云服务的大门注册建立设备的身分证书和元数据设备之影应用与设备间可以透过RESTfulAPI同步彼此间的状态规则引擎样式匹配采集数据发送到其他的服务或其他的设备规则引擎设备之影注册移动应用Thing/Device策略SDKIDTimeStampGPS端到端的安全策略设备状态设备利用率设备追踪AWS物联网AWS服务策略IAM角色IAM角色规则引擎策略证书与私钥提高效率与更多的可预测性减少浪费温度传感器传输数据AWS物联网的连接与验证传感器数据传输到AmazonKinesis,储存在S3并用Amazon机器学习进行数据分析必要的运维报警AWS物联网根据抽取的数据触发规则引擎AWS物联网的连接与验证控制设备做待机状态以防止损坏数据的河流形成大数据HDFS分析语言数据管理AmazonRedShiftAmazonEMRAmazonRDSAmazonS3AmazonDynamoDBAmazonKinesisSourcesSources数据源AWSDataPipeline基于AWS的云端大数据分析给物联网提供智慧EMR:HadoopinCloudAmazonWebServicesAZAZAZDurable,highlyconsistentstoragereplicatesdataacrossthreedatacenters(availabilityzones)AggregateandarchivetoS3Millionsofsourcesproducing100softerabytesperhourFrontEndAuthenticationAuthorizationOrderedstreamofeventssupportsmultiplereadersReal-timedashboardsandalarmsMachinelearningalgorithmsorslidingwindowanalyticsAggregateanalysisinHadooporadatawarehouseInexpensive:$0.028permillionputs实时大数据处理基于AWSKinesis实现实时的数据流采集与分析提供实时交互事件驱动引擎的AWSLAMBDA服务SpeedLayer数据处理层数据源数据注入层服务提供层AWS数据库服务AmazonRDSSQL关系型数据库:MySQL、Oracle、SQLServer和PostgreSQLAmazonDynamoDB大规模可扩展性,高耐久性,高吞吐量,低延迟NoSQL数据库AmazonRedshift性能优越PB级别的数据仓库服务AmazonElastiCache高性能的分布式内存对象缓存系统Memcached&RedisAmazonDynamoDB服务单位数ms的响应延迟设计理念•低成本做两个决定+点几下鼠标=可以开始使用主键每秒并发吞吐量(RCU/WCU)设计理念--使用简单设计理念--稳定的可预测的低延迟响应文档和SDK's:自动伸缩你的DynamoDB:写:•自动在三个AZ同步复制数据•每个写至少在两个AZ写成功后才会返回•Disk-onlywrites设计理念--高可用和耐久性读:•支持强一致性和最终一致性读•一样的低延迟•最终一致性的成本是强一致性成本的一半设计理念–无缝扩展partitions1..NtablePB级数据仓库大规模并行处理(MPP)关系型数据仓库(SQL)管理简便、大幅扩容性能优越价格低廉更加简便AmazonRedshiftAmazonRedshift的架构主节点•SQL终端•元数据(metadata)•优化查询计算节点•列式存储•并行查询•可通过S3加载、备份和恢复数据•可从DynamoDB并行加载数据支持SSD支持单节点版本10GigE(HPC)载入备份恢复SQL客户端/BI工具JDBC/ODBC计算节点计算节点计算节点主节点AmazonRedshift与您现有BI分析工具集成JDBC/ODBCAmazonRedshift使用PostgreSQL.org的驱动程序实现连接及更多……多种数据来源和格式存入S3利用EMR作ETL将数据并行从S3快速载入Redshift在Redshift中进行简单的SQL查询利用BI可视化工具进行多维度分析Redshift+EMR处理多方来源和非结构化数据EC2ElasticMapReduceRedshiftS3BI报告功能细节快速多个全球部署的边缘站点,让内容交付尽量靠近您的用户与其他服务集成与S3和EC2源服务器无缝集成动态内容支持静态和劢态内容加速流支持从S3发起RTMP,支持基于AdobeFMS和MicrosoftMediaServer的实时视频流边缘站点降低向终端用户交付内容的延迟全球边缘站点网络支持全球DNS基础架构(Route53)和CloudFrontCDNCloudFrontCDN:全球交付Dallas(2)St.LouisMiamiJacksonvilleLosAngeles(2)SeattleAshburn(3)NewarkNewYork(3)DublinLondon(2)Amsterdam(2)StockholmParis(2)Singapore(2)HongKong(2)Tokyo(2)SaoPauloSouthBendSanJosePaloAltoHaywardOsakaSydneyMadridMumbai全球范围的内容分发网络很容易地实现将内容分发给终端用户,并实现低延迟和高数据传输速度,并且无需使用承诺。总结:IOT/视频和AWS云天生一对天然的IoT平台大规模和几乎无限的容量适合做迭代和尝试性的数据处理和分析按需动态构建集群非常适合负载变化大的应用场景大规模集群并行计算的方式可以更快的得到结果让大数据更加平民化ThankYou!