(块存储)多媒体存储管理浅析

多媒体存储管理浅析2010-06-3010:04比特网佚名关键字：H3C存储多媒体管理华三浅析1多媒体存储的特点如表1所示，为监控存储模型和传统存储模型的特点对比：表1监控存储与传统存储对比从表中可以看出三种存储模型体现出了截然不同的特性。传统的数据库表存储，在表现形式上体现出结构化的特性，但是在组织方式上更多的表现出无序的特征;传统的文本、图像存储，无论是表现形式，还是组织方式，都体现出非规则的无序特征。而监控存储虽然其数据的表现形式和传统的图像存储一样，体现出无规则的非结构化特征，但是其在组织方式上是结构化的，体现出很强的规则性，这是其最大的特点，也是和传统存储模型大不一样的地方。那么，该如何用结构化的方法，对这种非结构化的数据进行管理？现有的数据管理方式是否适用于监控存储呢？2多媒体存储的数据管理挑战业界较为典型的监控存储的数据管理方案是“DVS+媒体服务器+存储系统”，其中媒体服务器是系统的核心，由其负责媒体数据流的分发、录像、以及VOD点播，如图1所示：在这种流媒体服务器的方案中，数据管理方式是基于文件系统进行的，所有的录像数据在通过媒体服务器时，都被转成了标准的流媒体文件(几分钟到几十分钟的录像形成一个文件)，然后再进行存储。这种存储方式利用了传统文件系统自身的特性，系统开发比较简单，但有可能降低监控存储的效率，主要体现在：n存在视频数据丢失的风险。文件形成需要时间，在形成过程中若网络有误码、前端DVR/DVS/IPCAM有故障/停电，服务器自身软件缺陷等情况出现，就会造成整段时间视频文件的丢失。n受文件碎片的影响。文件系统使用过程中会形成大量的文件碎片，在使用过程中存储空间会逐渐变小，性能也会随之降低。n文件检索效率低。历史数据检索的最小单位是文件，颗粒度太大，精确度低。除了文件系统自身的不足之外，方案还会受到流媒体服务器集群能力的影响。一台普通的PCServer大约能承载几十路2Mbps媒体数据流的处理，在这种组网下，要支撑更多数量的媒体流处理，需要将多台媒体服务器组成一个集群。但是，受限于媒体流服务器的集群能力，媒体服务器的数量不能太多，一般十几台媒体服务器就达到了一个集群的极限。因此，媒体服务器集群成为了整个监控系统的瓶颈，这使得监控系统无法大规模展开。在构建平安工程这类大规模监控系统时，这种方案就会遇到很大问题，大量的媒体服务器不仅增加成本，管理同时变得更复杂。由此可见，传统的监控系统在数据管理方面面临的两个主要问题：普通文件系统不是专为监控存储设计，因此会影响到监控数据存储的效率;媒体服务器的集群能力有限，导致监控系统大规模部署困难。那么，是否有针对监控存储的更好的数据管理方式？3基于“块直存”的多媒体存储管理方式针对监控存储的数据特点，业界早在几年前就开始尝试一些新的数据管理方式，希望能够提高监控存储的数据管理效率，满足监控大规模应用的需求。在这些数据管理方式中，“块直存”就是其中比较有特点的一种，已经成为业界发展的方向。其创新性主要体现在：n创造性的采用了“时间索引+块数据”的专用数据结构，抛弃了传统的文件系统，提高监控数据的管理效率。n创造性的采用了基于iSCSI协议的IPSAN直存技术，抛弃了传统的流媒体服务器，简化系统架构。n通过集中式数据管理，实现了对资源的统一划分和调度，实现数据的全局性管理。以下就它的各层含义加以分析。第一，监控专用数据结构。“块直存”的数据管理方式抛弃了传统的文件系统，采用底层的数据块作为基本的存储单元，同时创造性的采用了一种专用于监控存储的专用数据结构，通过数据块+专用数据结构两部分相结合，来实现对监控存储的结构化管理。通过深入分析文件系统的设计机制可以发现，监控数据丢失的根本原因是对元数据的过度依赖，元数据类似于这些录像数据的组织关系。录像数据丢失的绝大部分原因并不是磁盘介质上的数据消失了，而是因为这些散落在磁盘介质上的数据的“组织关系”被破坏了(比如文件系统中病毒、异常断电导致文件损坏等)。那么，如果能脱离文件系统，把数据及其“组织关系”统一管理起来，让每个摄像机的录像数据高度自治，甚至可以基于录像数据重构出数据的“组织关系”，自然就能解决因文件系统损坏而带来的录像数据丢失的问题。进一步的分析和研究监控系统中的音视频数据发现，多媒体数据具有以下特征：1)任何两个摄像机之间的录像数据在组织上都不具有相关性;2)摄像机的录像数据可以基于I[z1]帧组来进行组织，在一定的预置条件下每个I帧组的大小非常接近;3)摄像机的录像数据与时间高度相关，且具有绝对唯一的映射关系，完全可以使用严格递增的时间来作为录像数据的索引。以上分析表明，基于文件系统的非结构化数据管理方式已不适合，而应该采用结构化的多媒体数据管理机制，以此彻底避免文件系统对系统带来的不利影响。这种新的数据结构采用I帧组作为多媒体数据的最小组织单元，时间作为每个数据单元的索引，并且把索引和数据保存在一个完全独立的逻辑存储空间上，这就是“块直存”的基本原理，如图2所示。在“块直存”的系统中，“块”存储可理解成自定义的一种文件系统，在裸盘上进行数据读写;录像的索引可以认为是数据的自描述元素(可以称之为“元数据”)，录像的索引和数据形成独立的、完整的数据结构，这种数据结构完全由自己管理，不再由操作系统和文件系统管理，彻底避免了由于文件系统原因而导致的录像丢失问题。通过时间索引+块数据存储这种组合，还大幅提高了数据管理的效率。在录像检索上，可以基于时间索引进行，而不再以单个文件为单位，因此可以快速定位到任意时间的录像，检索速度大幅提高。在检索的颗粒度上，也不再受文件大小的限制，可以实现秒级别甚至毫秒级别的连续检索。此外，在资源的管理上，由于监控录像空间的大小是可预见性，因此完全可以采用预分配的方式来划分存储空间，从而使得空间资源得以计划分配，避免了文件系统使用过程中产生的大量文件碎片。第二，前端设备到IPSAN的直存。“块直存”的数据管理方式抛弃了流媒体服务器，在IP网络的基础上，采用前端设备(编码器、IPC)直写IPSAN存储的方式，实现了全局性的存储资源读写访问。这些年来，技术的进步为视频监控系统中存储体系架构的变革奠定了坚实的基础，主要表现在：1)编码设备中的运算处理能力越来越强，在提供基本的编码、传输功能之外，编码设备还有大量的空闲资源可供利用;2)网络技术更加成熟，器件成本持续下降，前端编码设备提供百兆或千兆接口已不存在成本方面的限制;3)基于iSCSI协议的IP存储技术得到了广泛的应用，专业存储更加平民化。基于这些技术进步，在编码设备中创新性的集成了iSCSI模块，使得编码设备可以基于iSCSI/TCP/IP协议端到端地把录像数据写入IPSAN存储设备中。具体如图3所示：相对于传统监控系统的流媒体服务器的存储模型，前端设备直写IPSAN存储模型具有以下几大明显的技术优势：n全IP的解决方案，轻松破解模拟视频信号接入的工程难题;n录像数据基于TCP协议在编码设备和IPSAN存储设备之间传输，保证了录像的可靠性;n简化了系统架构，避免了流媒体服务器的瓶颈问题，不仅降低了系统的TCO，而且管理运维更方便。第三，全局性的资源统一管理。在前两者的基础上，通过全局性的资源统一划分和调度，实现数据的全局性管理。在大型监控系统里面，可能有千上万个摄像机和海量的存储空间。如何管理这些摄像头和存储设备之间的对应关系是一个非常复杂的难题。在“块直存”视频监控系统中，我们引入了数据管理服务器(DM)的一个单元，以此来实现存储资源的统一管理。在“块直存”架构里，所有摄像头和存储阵列通过IP网络互连，任意摄像头和任意存储阵列都可以互相访问，存储的管理通过存储架构的大脑——DM数据管理平台来实现。DM是一个专用的数据管理设备，所有的摄像头和存储资源都由其管理。摄像头需要存储数据时，会统一向DM申请，DM收到申请后，会从存储空间中选择合适的存储资源分配给摄像头，然后摄像头再跟这一块存储资源建立读写关系。在整个系统中，摄像头不需要知道数据存储在哪个阵列上，存储阵列和摄像头之间也没有特定的绑定关系，完全是一种动态的资源分配。而且一旦摄像头和存储阵列建立起关系之后，DM就不再参与数据写入过程，数据由摄像头直接写入到存储阵列，不存在性能瓶颈。这种方式保证了录像数据在不同设备间的实时共享，任一路前端设备可以访问到任何一台IPSAN存储设备。而系统内的DM统一管理所有的IPSAN设备，实现资源的统一划分和调度，控制数据的全局性管理。因为可以访问到所有编码设备的录像数据，DM还可以很方便的提供VOD服务，多个用户可并发回放同一摄像机的录像数据。4总结多媒体存储管理是数据管理的一个新课题，随着监控应用的迅速发展，这个课题已经成为了业界关注的焦点。基于“块直存”的数据管理方式，是多媒体存储管理方式的一大创新尝试。它通过独特的方式，解决了传统监控应用中的文件系统的低效率问题和流媒体服务器的集群能力问题，大幅提高了监控存储的数据管理效率，较好的满足了监控大规模应用的需求。这一创新理念自诞生之际，就受到了业界众多厂家、用户的关注，一些综合实力较强的厂商，都加大了在“块直存”方面的研究投入，基于“块直存”的监控数据管理方案已经成为了最热门的方案。但是，“块直存”技术还远没到完美的境界，由于抛弃了传统文件系统，导致那些在文件系统基础上比较容易实现的图像备份、数据转存等功能，在“块直存”方案中实现起来变得比较复杂，实现的难度也大大增加。因此，采用“块直存”技术，对厂商的技术能力也是一个挑战。5结束语“块直存”技术，任重而道远，尽管会碰到各种曲折，作为多媒体存储管理的一大创举，其代表着潮流的一个方向，其前景让人期待。6H3C多媒体存储管理创新实践H3C率先在iVS视频监控系统中应用了“块直存”存储体系架构，一举解决了传统视频监控系统中存储所面临的系列问题，不仅实现了录像的可靠性，提升的便捷的数据访问方式，而且还大幅降低了录像数据的存储成本。如图4所示为H3CiVS8000方案的典型组网，其包含了“块直存”的三个基本特性：nIPSAN直存方式。录像保存过程中，前端编码器通过iSCSI协议将数据直接写入到VX1500IPSAN存储中，中间不经过流媒体服务器。理论上，只要IP可达，任意一个前端设备都可以访问到任意的IPSAN存储。n基于块数据的录像组织。采用“时间索引+块数据”的方式对录像进行组织，中间不经过文件系统。时间索引和录像数据都保存在IPSAN存储阵列上，每一个时间索引是对应的录像的自描述，通过时间索引可以快速检索到任意时刻的录像。n全局数据管理。通过数据管理服务器(DM)实现对空间资源的统一调度和分配。存储设备的注册、初始资源的规划、存储过程中的资源变化、存储资源等空间资源操作，统一通过DM进行。系统采用控制流和数据流分离的方式，DM和VX1500IP存储之间通过控制信令流进行交互，而数据写入过程的iSCSI流不经过DM，不存在系统瓶颈。[z1]请注意：这是字母“I”，不是数字“1”