搜索
浅谈硬盘播出系统中的数据库维护[作者：天津电视台沈绍杰]随着现代电视自动播出技术以及数字化技术的日益普及和完善，数据库技术已被广泛地应用到广播电视领域，而且从最早半自动化录像机播出系统中的辅助管理单元，逐渐演变成为数字化硬盘播出系统中的管理和信息中枢，不仅被应用于硬盘素材逻辑属性的管理和存储，更成为整个系统用户管理、权限管理以及从编单到上载、播出全流程协调运作、安全运行的基础。如果没有稳定可靠的数据库系统支撑，那么存储在视频服务器中的素材对使用者来讲，只能是一些很难识别内容的MPEG-2压缩文件，无法真正用于正常的节目播出。因此，数据库系统的科学管理与维护，是整个硬盘自动播出控制系统中的重中之重。天津电视台早在2003年即开始硬盘播出系统的正式运行，经过三年多的实践与摸索，我们对整个系统的数据库应用以及管理维护工作有了一定的理解和认识，这里结合数据库在我台硬盘播出系统中的使用及管理、维护方法做个简要介绍。首先从应用谈起，高效的电视节目播出系统离不开准确详实的数据，如节目单和需要播出的节目以及使用本系统的操作人员和相应的权限、各种日志等，都是数据在应用层面的具体表现形式，数据库作为数据存储中心,为数字化硬盘自动播出系统提供了一个数据平台，为节目的安全播出提供支撑,是硬盘播出系统的基础。这些数据种类繁多、数据量大，很多是实时更新的。而电视节目播出工作是以安全性为第一位的，往往需要利用现有的数据进行快速的检索、分类和编排，这就对数据的接收、管理、共享、使用提出了很高的要求。数据库的一个最主要功能就是实现了围绕节目播出为核心的相关数据的信息共享，而且可以根据不同的用户设定不同的权限。由于数据库提供了用户管理的功能，所以信息的共享比以往更方便、更安全。超级用户可以对数据库任何数据进行读取、修改、更新；一般用户根据所设权限不同，有的可以读取数据，有的可以修改数据、追加数据，另外读、写的范围也可以设定。信息在数据库技术的支持下就实现了共享、安全、管理的完美结合。天津电视台播出系统数据库在使用高峰时同时为几十个用户提供数据访问服务，为包括编单、上载、播出人员以及素材管理程序提供稳定的素材信息来源。数据库及网络技术的使用，使电视台各部门高效率的协同工作成为可能，如编单、上载、播出以及系统管理人员通常并不在同一办公地点，但大家只需在办公桌或操作台前，通过相应的软件，就可以在线查看最新的素材信息并完成相应的工作，数据库的使用，大大的提高了信息查询的便捷性。数据库的另一个优势在于它对数据的集中管理，从而保障了数据的一致性。当数据以文件形式进行管理时，每台使用它的计算机都有一个拷贝，有时一台机器的不同地方还会重复出现，数据如果进行修改，往往所有的相关数据都需修改一遍。这样修改的工作量大，而且容易遗漏，造成数据不统一。实时的播出系统数据库建立以后，围绕节目播出产生的信息都集中存贮在数据库中，如果出现了错误数据，需要修改，只需通过相应的软件经过相应的权限审核后，在数据库服务器中修改即可。为播出系统服务的节目单编制、新闻及广告段落编制、素材上载、节目播出以及素材管理、日志查询、系统管理等有关软件系统无需做任何改动，它们会自动从数据库中提取最新的数据用以正确显示和运行。方便实时的掌握系统中各类数据信息，如广告统计、播出统计、上载统计等，方便台内部进行各式类型的核算。基于数据库系统的管理平台大大提高了播出系统数据的一致性、正确性。图1简要表述了播出系统的逻辑结构，从图中可以清楚的看到数据库在整个系统中的核心地位，传统上视频服务器作为设备一级的重要硬件，在这里看反而并不是系统最重要的部分。下面我们再来看看数据库的管理，从上面的介绍中我们已经了解到数据库作为整个系统的核心在应用上所占有的重要地位，那么如何有效地管理好数据库、让数据库保持健康的运行状态，无疑也是我们日常工作中的重点内容。由于侧重点有所不同，数据库的管理大致可以分为两大部分，一部分是结合和应用系统的设计进行的，另一部分则以数据库自身的管理为主，不同厂家的数据库产品有不同的管理模式。先来看看结合应用系统的数据库管理，这部分内容以数据库系统运行的安全性为重点，我们知道数据库系统通常是指数据库和相应的软硬件系统，操作系统是数据库运行的基础，应用系统则是数据库运行的服务对象，数据库系统层次结构可用图2表示，从图中可以看到，应用系统是构建于操作系统和数据库系统之上的高层系统，因此应用系统的安全性很大程度上受到该系统运行所依赖的操作系统及数据库系统本身的安全性制约，下面以MicrosoftSQLServer的安全体系结构为例，介绍一下数据库管理结合应用系统安全性的主要内容：第一层的安全防线基于Windows2000Server操作系统:系统管理员负责建立Windows域及用户组，设置账号并注册，同时决定不同的用户对不同域资源的访问级别。第二层是基于SQLServer的运行安全防线:通过设定SQLServer专用管理与使用账号设置来创建附加安全层。第三层是基于SQLServer数据库的安全防线:特定数据库都有自己的用户和角色，该数据库只能由它的用户或角色访问，其他用户无权访问其数据。第四层是应用软件基于SQLServer数据库对象的安全防线:对不同的应用定义不同的访问权限以及用户和用户租，并定义应用系统本身的管理员进行系统管理，应用系统基于系统管理的功能，来保证合法用户即使进入了数据库也不能有超越权限的数据存取操作，即合法用户必须在自己的权限范围内进行数据操作。以硬盘播出系统为例，基于应用系统的数据库管理功能可以用图3表示。下面我们再来看看数据库自身的管理技术，也就是我们常说的数据库维护技术。数据库系统所提供的强大功能在于数据管理，而科学的数据库管理技术将是影响整个数据库系统工作性能的关键环节。在日常工作中，数据库管理的任务大致包括以下几个方面：*数据库服务器的安装、配置及管理；*客户机软件的安装与配置；*数据库的维护；*数据库备份。数据库服务器的安装、配置及管理本身并没有太多的内容可说，但这部分内容是保证整个系统高效运行的基础，因此在设计阶段首先应选择负荷能力及配置相当的数据库服务器作为基础硬件平台，配套的网络交换机、网络布线等内容也应仔细考虑、认真对待，没有好的硬件基础平台和好的安装运行环境，就无从谈起好的数据库管理。关于客户机软件的安装配置通常只要按照应用系统要求进行相应的设定即可，目前较为先进的应用系统通常不需要专门在客户机上进行ODBC配置，而是通过配置文件直接访问数据源，并在一定权限管理的基础上执行许可的功能，日常维护上只要关注客户机本身的运行状况以及网络连接状况即可。当然，健康的数据库运行环境也需要结合合理的网络管理工作，比如按照厂家要求升级操作系统安全补丁以及数据库服务器补丁，给服务器以及客户机安装杀毒软件、定期更新病毒库、执行严格的机房和网络使用管理制度等，都会有利于数据库系统的管理工作，但这些不是我们这里讨论的主题，下面的内容将主要结合数据库系统维护以及备份工作为主进行。数据库的维护包括系统数据库和应用数据库的维护，系统数据库由SQLServer自己使用，用来维护系统的正常运行，主要包括master、model、msdb和tempdb四个数据库，原则上讲，系统数据库非常重要，一旦发生问题对数据库的运行将是致命的，但在实际应用中，只要做好数据库服务器本身的管理维护工作，通常不会发生系统数据库崩溃的问题，因此我们这里以应用数据库的维护为主。从前面的内容我们了解到，在硬盘播出系统中，数据库记录了大量重要的数据，是整个系统安全运行的核心部分，由于播出系统管理上的特点，数据库中除需要记录业务工作必须的节目单、素材、广告包以及部分管理数据信息外，还要求对围绕整个系统所有相关的操作以及动作记录相应的日志，如编单日志、上载日志、节目播出日志、播出操作日志等等，而日志信息伴随整个系统的正常运转几乎每时每刻都会向数据库中记录大量相关信息，这种情况带来的直接后果就是应用数据库急剧膨胀，数据库服务器的运行效率日益低下，可以说大量的数据记录及保存要求和数据库服务器的运行效率成为播出系统运行的一个突出矛盾，最早解决这个问题的方法是定期进行应用数据库的存档工作，也即发现应用数据库达到一定大小、数据库服务器响应效率明显低下的时候采取将大量数据完全到如到另外一个只用于存档的数据库文件中，从而确保当前的应用数据库保持小的数据存储量，从而保证一定的数据库服务效率，实际上这个方法目前仍然不失为一个有效的数据库维护方案，但我们通过日常仔细的观察发现，以往应用数据库文件的急剧增大并不完全由于有效数据的记入导致，在现代数据库技术的发展条件下，数据记入都采取了相应的空间以及记入算法上的优化工作，一年内全台9个频道播出的数据量并不足以让应用数据库大到严重影响数据库服务器运行效率的程度，那么究竟是什么原因导致应用数据库容量急剧增大呢。要解释这个问题，我们要首先搞清楚MicrosoftSQLServer数据库文件的组成结构，实际上数据文件是由主文件和日志文件一起组成的，数据文件中记录的是有效的应用系统数据，而日志文件则是数据库厂家（如微软）从有效的数据恢复角度考虑创建的冗余数据文件，也就是说每当对应用数据文件由新的操作时（比如数据读写、记录增加等），日志文件中都会将相应的动作同时进行记录，一旦数据文件本身因某种原因受到损伤，那么仍然可以通过日志文件中记录的相应操作恢复到相应时刻的数据记录，弄清了数据文件的构成我们就不难理解数据文件急剧增加的原因了，实际上正是由于日志文件的快速增长才导致了应用数据库的急速膨胀。那么如何有效的解决这个问题呢，通过查阅资料我们发现，日志文件是可以通过一些办法来控制增长的，由于应用数据库本身已经采取了比较可靠的备份措施，日志文件完全没有必要保留从建库开始到当前的所有动作记录，只要定期对日志文件进行截断动作，即可将日志文件记录的过期动作进行清除重新记录新的动作，这样就可以有效的限制日志文件无休止的增长。那么如果，在采取截断日志动作之前，数据库文件已经庞大到无法正常运行的情况下，又该如何处理呢？在实践过程中，我们发现这种情况下，只要通过数据库管理工具本身提供的压缩功能，就可以有效的把非常庞大的日志文件压缩到很小。当然，以上方法是为了确保数据库服务器保持高效率的运行状态，并不意味着应用数据库就可以无限制的存储数据，抛开数据库产品本身的处理能力不说，大量过期数据对使用人员来讲也存在很多不利因素，我们建议定期对过期的数据（如1年以上）进行清除或转存备份，以确保应用数据库的简洁高效。再来看看数据库的备份，由于数据库的备份技术有很多，这里就简单对照我台现有的设备情况谈谈有关的备份方式。从数据库可靠运行的要求上讲，通常都会采用双击热备的方式，这种方式不但要求数据库产品本身支持高可用的热备功能，还需要操作系统具备高可用服务功能（如WindowsCluster）或运行相应的热备软件（如Costandby、Veritas等），硬件上通常要求共享盘阵作为数据库文件存储空间。由于热备方式受到热备软件以及盘阵本身运行情况的限制，特殊情况下会产生主备服务器均无法恢复服务的情况，因此在热备运行的基础上，通常还会考虑数据库的一些其他备份方式，如本地备份、磁带库备份以及采用冷备服务器等，采用本地备份方式，需要注意由于备份动作本身也将占用数据库服务器的一定处理资源，因此本地本分动作不能过于频繁，我台根据实践采用了每天相对空闲的时段做一次完整备份，之后每隔一段时间进行差异备份的方式来进行本地备份，并通过相应的策略只保留近期的数据库备份，而对于较老的数据库备份则进行自动清除，以确保数据库服务器硬盘空间的有效利用。采用冷备服务器，则需要注意进行数据复制时带来的额外网络流量，由于冷备用通常只在应急状态下启用，那么冷备服务器存储的数据只要能支持相应的业务工作即可，其他一些对业务运行无关的如操作日志等就不进行复制了。对于我们电视播出系统的技术工作者来讲，确保整个系统的稳定运行、安全播出永远是摆在第一位的工作，本文从数据库在播出系统应用及管理维护的角度，探讨