基于AWS的物联网解决方案王毅解决方案架构师团队,区域主管亚马逊AWS中国IoT客户案例poweredbyAWSIndustrialFleetTrackingAndMonitoringOilDepositDiscoveryStreetLightingDNASequencingInstrumentsEquipmentManagementConnectedCarDeviceVideoMonitoringAssetandvehicleTrackingConsumerSmartDeviceElectronics•远景能源成立于2007年,是一家全球领先的智慧能源技术服务商•目前远景能源的客户使用量已经达到了10GW(一千万千瓦)•基于云的“格林威治”系统可以通过WindOS来对风电场进行运维,提供所有的远程监控以及背后的分工预测、故障分析、发电效率等。•目前已经迁移到AWS上的部分应用让成本降低了将近20%,并且由于AWS有预留实例的购买选项,预计远景能源的成本还可以再降低大约20%。总部位于波士顿,技术团队在丹佛,基于云为开发者提供物联网(IoT)API•研发力量聚焦IoTAPI开发,•最小化基础设施运维工作,同时最大化控制能力、实现运维自动化•基于云可以做大规模的实验,为开发团队提供便利运维自动化更加容易实现•2009年在美国旧金山成立;•每分钟比YouTube多100小时的上传量;•2013年,在C系列一轮融资中获得资金3000万美元;•2014年6月,以5.55亿美元被Nest收购。Drocpam通过互联网给客户提供软件和硬件的视频监控AWS如何支持物联网?全球联网-跨地域互联互通弹性计算-云计算平台智能分析-大数据分析实时交互-事件驱动引擎移动互联-移动服务平台用于全球业务的全球基础设施11Regions30AvailabilityZones53EdgeLocations全球化部署,跨地域互联专门为中国市场设立的AWS北京区域•独立的区域,所有的数据中心都位于中国境内(目前处于有限预览),同本地合作伙伴合作(光环新网和网宿科技)•专门的网站www.amazonaws.cn•本地化的用户界面•中国合作伙伴计划•本地销售和营销团队•24x7普通话技术支持团队弹性、强大的后台计算能力弹性资源按需使用实际需求AWS全面而深入的服务业界第一的平台、产品和服务“AWSistheoverwhelmingmarketshareleader,withmorethan10timesthecloudIaaScomputecapacityinusethantheaggregatetotaloftheother14providers.”–Gartner(2015)AWS自动化弹性扩展AutoScalingGroupAutoScalingGroupRoute53:全球分布式智能DNS服务(SLA100%)S3:持久性99.999999999%的对象存储ELB:随流量增大而自动增大处理能力的负载均衡服务ASG:自动扩展组RDS:提供Multi-AZ部署的高可用关系型数据库服务AWS服务覆盖物联网数据处理的各个环节ImportExportGlacierS3EC2RedshiftDynamoDBEMRDataPipelineS3DirectConnect搜集存储分析共享AmazonKinesis-是一种完全托管的服务,可进行实时的流数据导入和处理。您只需创建流,让该服务为您完成余下的工作。Lambda多样化的服务支持大数据分析IoT:[Telemetry][Commands][DeviceDevOps][Audit&Authorization]AWSCloudArchiveCorrelationAnalysis收集所有数据,然后汇总上传进行分析MobileDeviceVariousSensorsHTTPSSmallThingPersistentStream物联网基本云端架构细流汇入大河跨全球部署的架构StreamCentralizedRegionAmazonKinesis–EnabledAppLoggerStreamSmallThingMobileDevicesVariousSensorsRegionAmazonSQSComplaintQueueLoggerStreamSmallThingMobileDevicesVariousSensorsRegionArchiveCorrelationAnalysisDeviceConfigDeviceConfigMasterDeviceConfigM2MBrokerScalingGroup数据的河流形成大数据HDFSAnalyticslanguagesDatamanagementAmazonRedShiftAmazonEMRAmazonRDSAmazonS3AmazonDynamoDBAmazonKinesisSourcesSourcesDataSourcesAWSDataPipeline基于AWS的云端大数据分析给物联网提供智慧EMR:HadoopinCloudAmazonWebServicesAZAZAZDurable,highlyconsistentstoragereplicatesdataacrossthreedatacenters(availabilityzones)AggregateandarchivetoS3Millionsofsourcesproducing100softerabytesperhourFrontEndAuthenticationAuthorizationOrderedstreamofeventssupportsmultiplereadersReal-timedashboardsandalarmsMachinelearningalgorithmsorslidingwindowanalyticsAggregateanalysisinHadooporadatawarehouseInexpensive:$0.028permillionputs实时大数据处理基于AWSKinesis实现实时的数据流采集与分析为联网机器与设备(M2M/IOT)提供实时交互事件驱动引擎的AWSLAMBDA服务SpeedLayerBatchLayerDataSourcesIngestionLayerServicingLayerAWS数据库服务AmazonRDSSQL关系型数据库:MySQL、Oracle、SQLServer和PostgreSQLAmazonDynamoDB大规模可扩展性,高耐久性,高吞吐量,低延迟NoSQL数据库AmazonRedshift性能优越PB级别的数据仓库服务AmazonElastiCache高性能的分布式内存对象缓存系统Memcached&RedisPB级数据仓库大规模并行处理(MPP)关系型数据仓库(SQL)管理简便、大幅扩容性能优越价格低廉更加简便AmazonRedshiftAmazonRedshift的架构•主节点–SQL终端–元数据(metadata)–优化查询•计算节点–列式存储–并行查询–可通过S3加载、备份和恢复数据–可从DynamoDB并行加载数据•支持SSD•支持单节点版本10GigE(HPC)载入备份恢复SQL客户端/BI工具JDBC/ODBC计算节点计算节点计算节点主节点AmazonRedshift与您现有BI分析工具集成JDBC/ODBCAmazonRedshift使用PostgreSQL.org的驱动程序实现连接及更多……•多种数据来源和格式存入S3•利用EMR作ETL•将数据并行从S3快速载入Redshift•在Redshift中进行简单的SQL查询•利用BI可视化工具进行多维度分析Redshift+EMR处理多方来源和非结构化数据EC2ElasticMapReduceRedshiftS3BI报告功能细节快速多个全球部署的边缘站点,让内容交付尽量靠近您的用户与其他服务集成与S3和EC2源服务器无缝集成动态内容支持静态和动态内容加速流支持从S3发起RTMP,支持基于AdobeFMS和MicrosoftMediaServer的实时视频流边缘站点降低向终端用户交付内容的延迟全球边缘站点网络支持全球DNS基础架构(Route53)和CloudFrontCDNCloudFrontCDN:全球交付Dallas(2)St.LouisMiamiJacksonvilleLosAngeles(2)SeattleAshburn(3)NewarkNewYork(3)DublinLondon(2)Amsterdam(2)StockholmParis(2)Singapore(2)HongKong(2)Tokyo(2)SaoPauloSouthBendSanJosePaloAltoHaywardOsakaSydneyMadridMumbai全球范围的内容分发网络很容易地实现将内容分发给终端用户,并实现低延迟和高数据传输速度,并且无需使用承诺。总结:IOT/视频和AWS云天生一对•弹性的计算、存储方式•大规模和几乎无限的容量•适合做迭代和尝试性的数据处理和分析•按需动态构建集群非常适合负载变化大的应用场景•大规模集群并行计算的方式可以更快的得到结果•让大数据更加平民化Curiositylivestream28NASAJPL][基于开放平台的实时IoT数据流采集与分析Sensor谢谢!中文网站:www.amazonaws.cn新浪微博:@亚马逊AWS中文博客:blog.csdn.net/awschina微信AWS中国