华中科技大学生产实习报告

1光学与电子信息学院生产实习报告安防行业云存储解决方案学生姓名：XXX学号：XXX实习单位：杭州海康威视数字技术股份有限公司实习岗位：技术支持工程师导师：XX实习时间：2017年6月20—2017年7月21日2017年8月2目录一、实习单位简介...........................................................3二、安防云存储研究背景................................................4三、云存储简介...............................................................5四、云存储系统的设计原则............................................6（一）、设备层...........................................................7（二）、存储层...........................................................7（三）、管理层...........................................................7（四）、接口层...........................................................7（五）、应用层...........................................................8五、安防行业云存储系统的核心技术............................8（一）、安防行业的云存储技术................................8（二）、虚拟化技术....................................................9（三）、集群化技术..................................................10六、安防行业存储的发展趋势......................................11七、海康存储配置方案..................................................13（一）、CVR配置......................................................13（二）、存储putty常用命令..................................183一、实习单位简介海康威视是以视频为核心的物联网解决方案提供商，为全球提供安防、可视化管理和大数据服务。海康威视全球员工2万人（截止2016年底），其中研发人员超9300人，研发投入占企业销售额的7-8%，绝对数额占据业内前茅。海康威视是博士后科研工作站单位，在国内设有五大研发中心，在海外建立蒙特利尔研发中心和硅谷研究所，海康威视拥有视音频编解码、视频图像处理、视音频数据存储等核心技术，及云计算、大数据、深度学习等前瞻技术，针对公安、交通、司法、文教卫、金融、能源和智能楼宇等众多行业提供专业的细分产品、IVM智能可视化管理解决方案和大数据服务。在视频监控行业之外，海康威视基于视频技术，将业务延伸到智能家居、工业自动化和汽车电子等行业，为持续发展打开新的空间。海康威视在中国大陆35个城市设立分公司及售后服务站，在境外，设立香港、荷兰、南非、印度、迪拜、美国、加拿大、巴西、俄罗斯、新加坡、意大利、澳大利亚、法国、西班牙、波兰、英国、韩国、哥伦比亚、哈萨克斯坦和土耳其等33个分支机构。海康威视产品和解决方案应用在150多个国家和地区，在G20杭州峰会、北京奥运会、上海世博会、美国费城平安社区、韩国首尔平安城市、巴西世界杯场馆、意大利米兰国际机场等重大安保项目中发挥了极其重要的作用。海康威视是全球视频监控数字化、网络化、高清智能化的见证者、践行者和重要推动者。连续六年（2011-2016）蝉联iHS全球视频监控市场占有率第1位，硬盘录像机、网络硬盘录像机、4监控摄像机第1位1；连年入选“国家重点软件企业”2、“中国软件收入前百家企业”3、A&S《安全自动化》“中国安防十大民族品牌”、CPS《中国公共安全》“中国安防百强”（位列榜首）；2016年,A&S《安全自动化》公布的“全球安防50强”榜单中，位列全球第1位。2010年5月，海康威视在深圳证券交易所中小企业板上市，股票代码：002415，长期位居中小板市值前3位。基于创新的管理模式，良好的经营业绩，公司先后荣获“2016CCTV中国十佳上市公司”4、“中国中小板上市公司价值十强”5、“2016年A股上市公司未来价值排行以及A股最佳上市公司”榜首6、“第六届中国上市公司口碑榜最佳公司治理实践奖”7、“中国中小板上市公司投资者关系最佳董事会”8上市公司金牛投资价值奖”和“最佳投资者关系管理奖”9等重要荣誉。海康威视秉承“专业、厚实、诚信”的经营理念，坚持将“成就客户、价值为本、诚信务实、追求卓越”核心价值观内化为行动准则，不断发展视频技术，服务人类。二、安防云存储研究背景安防产业的蓬勃发展离不开对海量视频和图片数据的深入挖掘和分析。由传统的仅仅将数据进行存储到注重从数据中获取真实需要的关键信息为具体的业务提供支撑，云存储不但在满足海量数据存储需求上契合了安防行业的发展趋势，同时在应用性和专业化程度上也逐渐发展和深化。那么，带有行业属性的云存储系统的出现就是一个必然的过程。随着视频监控系统规模不断扩大，以及高清视频的大规模应用，对视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可5靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。三、云存储简介云存储是进年来在存储领域兴起的一种新技术，云存储顾名思义是将复杂的存储功能实现封闭在云端，通过一种简单的方式为用户提供优质的存储服务。具体过程是云存储通过软件将系统内大量不同类型的存储设备管理起来，运用虚拟化技术、集群化技术、离散存储技术、分布式数据库等对系统内的设备资源、存储容量资源进行专业化整合为用户提供大容量、高性能的透明存6储服务。四、云存储系统的设计原则云存储系统的设计原则应该采用业务控制和业务数据分离的设计思路。在存储模式上新增加元数据管理节点专伺于系统的资源管理、任务调度和运行维护，元数据管理节点不具体执行写入、读取等业务操作，而将这部分功能交给存储服务节点负责。云存储的整体设计形成一种松耦合非对称系统架构，在实际的运行过程当中该架构能够使系统提供灵活多变的业务扩展属性和持续稳定的性能增长。在硬件设备规模和存储容量不断扩大的情况下系统性能能够与存储容量保持线性增长，这种属性也为云存储基础上的云服务扩展奠定了基础。采用松耦合非对称系统架构的云存储系统在具体软件设计的层次上可以如图划分为以下五个层次：7（一）、设备层设备层是云存储最基础、最底层的部分。在系统组成中，存储设备可以是标准SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备，这些存储设备构成云存储的存储资源基础。（二）、存储层存储层含有云存储流式文件系统和虚拟化资源系统。通过云存储流式文件系统和虚拟化资源系统，实现存储传输协议和标准存储设备之间的数据逻辑结构或磁盘阵列的映射。存储层另一类重要功能就是具体实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等服务。（三）、管理层在管理层融合了多种核心的管理功能。负责实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；存储业务响应，以及存储资源调配也由管理层负责。（四）、接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可以是WebService接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现与外部系统之间的对接。8（五）、应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高视频云存储系统的针对性。五、安防行业云存储系统的核心技术（一）、安防行业的云存储技术安防产业的蓬勃发展离不开对海量视频和图片数据的深入挖掘和分析。由传统的仅仅将数据进行存储到注重从数据中获取真实需要的关键信息为具体的业务提供支撑，云存储不但在满足海量数据存储需求上契合了安防行业的发展趋势，同时在应用性和专业化程度上也逐渐发展和深化。那么，带有行业属性的云存储系统的出现就是一个必然的过程。安防行业与互联网行业应用有着明显的差别。在互联网应用中有着数以亿计的用户，这些用户分布在世界各地而且应用需求也千差万别。互联网用户产生的数据总量虽然非常庞大，但是数据信息类型却也非常复杂，单个数据文件大小相对较小。安防监控领域的视频数据则具有非常明显的特征，其数据流依照时间顺序持续产生，并且数据量非常庞大。随着高清和超高清摄像机的不断加入，数据量的爆炸性增长可想而知。这类长时间、大流量的数据在进行存储时对传统的文件系统产生了非常大的压力，传统的文件系统在数据的存储上很少考虑到数据连续性问题，在磁盘空间的利用率上也尽可能地将数据的存储粒度降低以满足P2P式的文件下载访问需求。而这这种方式对视频流数据则极为不利，系统在从存储中提取数据后需要耗费大量资源对数据按照时间顺序进行重组，而且为了提取某段长时间的视频数据磁盘寻址延时和等待延时会几何级数地增长，照成视频数据提取和分析时间过长，阻碍了安防监控应用的发展。作为安防监控领域的云存储系统如果不改变这种结构化数据的存储思路，那么是无法支撑云计算以及大数据智能分析发展9需要的。作为安防监控领域的云存储首先面临的就是对文件系统的改造，针对视频数据的特点，在数据持续写入时需要强关联其时间属性，同时优化磁盘的存储空间，合理安排数据的存储资源分配。在对文件系统进行全面优化后形成一套适合视频数据存储和读取的具有流式数据特点的云存储文件系统，也称为流式文件系统。（二）、虚拟化技术虚拟化技术的应用也是衡量一套存储系统是否成为真正意义上的云存储的一个重要标志。虚拟化技术分为两个方面来探讨，最基础的技术要求是对云存储系统内所有存储资源的整合。传统的NVR或者CVR堆叠模式虽然在发展的过程中有许多厂家也注意到了对资源的统一管理工作，但是其管理的粒度仍然是以单个存储设备作为基础的，这种程度的整合会导致系统的控制粒度过大、存储资源利用率偏低。而真正意义上的虚拟化整合则需要更加的细化，云存储在管理存储资源时需要能控制到存储设备上的最基础存储单元，因此通过对最基础存储单元的整合作为虚拟化的一个重要指标。对元数据管理服务器来说只有看得清楚、管得细致，了才能做到对存储资源的合理利用和优化整合。虚拟化的另一个重要特征就是具体实现完全透明。在虚拟化技术对存储资源进行整合之后对于上层系统而言应该呈现出一个完整的、唯一的存储资源池。存储资源池具有统一化、灵活性、可再分割、再调整的功能属性，而且这部分功能属性的具体实现是完全屏蔽在虚拟化系统内部的，不需要再有其他系统或者操作者进行干预。使用者所见到的仅仅是一个超大的存储资源池，他可以根据具体业务存储的需要从存