数字化档案馆存储解决方案

北京天地空间科技有限公司-1-目录一、背景分析3二、数字化档案馆网络系统结构4三、数字存储技术的基本模式5四、数字存储方案在数字化档案馆中的应用6方案分类方案应用五、针对本案的解决方案8附件一。公司介绍附件二。产品线介绍北京天地空间科技有限公司-2-一、背景分析建设数字化档案馆是目前档案信息化的一项中心工作。建设服务主导型的数字档案馆，即“文件形成电子化，传播档案信息网络化，在线编研系统化，档案利用超市化，馆藏档案数字化，来馆利用趋零化”等一系列新理念和新设想，利用高科技手段塑造档案馆的新形象，努力打破过去对档案馆陈旧保守的错误观念，提高档案馆在社会服务中的地位，成为档案界的共识。这些都使得高速大容量的数字化先进技术在档案管理领域的使用成为必然！数字化档案馆的建设突破了传统的、封闭的档案管理模式，实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案馆的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程，将不同介质、不同类别相互独立的档案信息整合成统一的资源库，并确定其相互关联关系，增加了档案管理工作的科技含量，为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段，充分发挥档案信息的经济价值和社会价值。随着各企事业单位整体管理水平的不断提高，现代科学技术在各行业中的广泛应用，传统的档案管理方式已不能满足日新月异的新形势的需要，这主要表现在：1.传统的档案管理是以纸质档案为主体，以手工检索为基本手段。而目前的各企事业单位，从基层班组到单位的决策机关，计算机应用已十分普及，电子信息传输日益广泛，电子文件的大量涌现，各专业应用系统的广泛运用，使传统档案管理面临严峻挑战；2.传统的档案管理采用手工管理方式，档案管理的工作效率和质量，直接受北京天地空间科技有限公司-3-到档案人员的思想觉悟、工作态度、文化程度、业务水平、身体条件、情绪变化等诸多因素的制约，一旦某一方面发生问题，都会给工作带来影响；3.传统的档案管理与档案形成过程脱节，即先文后档，档案形成过程中出现的不规范、不真实的情况给档案管理造成了很大的困难，特别是很多档案图物不符的问题，一直是困扰档案部门的顽症，尽管档案部门十分重视文档一体化工作，但事实上仍然文是文，档是档。档案部门很难做到超前控制、跟踪管理。这对档案形成质量和提供利用服务的质量都会有一定的影响。以上种种不适应新形势要求的情况，在客观上对档案工作、档案部门和档案人员在管理中的作用、地位和形象都会造成消极的影响，迫使我们去考虑、探索和研究档案管理改革的问题，建立数字化档案馆已成为广大档案管理者和档案工作者的共同愿望和要求。北京天地空间科技有限公司-4-二、数字化档案馆网络系统结构数字化档案馆通常以机房为中心，各客户端通过内部局域网或Internet发布进行访问。在多级综合网络中，档案馆内部主要包括：1.档案收集：收集各种具有保存价值的文件、声像材料，各级机关、企事业单位公文、会议交流材料等。这一过程中需要各用户端搜集整理，并汇总到统一存储系统。2.档案整理：主要包括分类、组卷、目录编制等工作，然后将各种档案进行数字化录入。这一过程同样可在采集数据存储系统中进行即可。3.档案管理：利用各操作终端在专用的管理系统上对档案即时编辑管理。4.档案保护：档案的转存、备份及安全防护。在这一过程中，安全的存储及备份系统是整个数字化档案工作的关键。5.档案利用：通过内部共享或WEB发布提供。强有力的容灾存储系统及全面的网络安全是数据安全的重要保障。多媒体数字档案馆的基础模型北京天地空间科技有限公司-5-而广义的网络结构主要包括：政府通信专网、档案馆内网、档案馆外网，Internet网。我们这里只是针对档案馆的内部信息化提供存储方案。三、数字存储技术的基本模式1.DAS（直接连接存储）：将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种情况下往往是数据和操作系统都未分离。DAS这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需求，并且单台外置存储系统的容量，已经从不到1TB，发展到了2TB，随着大容量硬盘的推出，单台外置存储系统容量还会上升。此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求。从趋势上看，DAS仍然会作为一种存储模式，继续得到应用。2.SAN（存储区域网络）北京天地空间科技有限公司-6-1991年，IBM公司在S/390服务器中推出了ESCON（EnterpriseSystemConnection）技术，它是基于光纤介质，最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上，进一步推出了功能更强的ESCONDirector（一种FCSwitch），构建了一套最原始的SAN系统。为了更好的满足从容量、性能、可用性、数据安全、数据共享、数据整合等方面的应用，对存储提出的要求，必须采用网络化的存储体系。存储网络化顺应了计算机服务器体系结构网络化的趋势，即目前的内部总线架构将逐渐走向消亡，形成交换式（fabrics）网络化发展方向的趋势。最初数据存储、计算处理和I/O是合为一体的，而目前数据存储部分已经独立出来，未来将是I/O和计算处理的进一步分离，形成数据存储、计算处理、I/O吞吐三足鼎立的局面，这就是真正的服务器网络化体系结构，HPS（Highperformanceserver，高性能服务器）和存储区域网络（SAN），是这种趋势的两个重要体现。总的来说，DAS、NAS、SAN三种存储模式，已经很好地满足目前企事业单位信息化应用在单服务器扩容、服务器双机高可用集群、高性能、高可用、高扩展的网络存储和简单易用的网络文件共享等方面的需求。随着信息化建设朝深度和广度发展，新兴的存储模式也必将会逐步走向普及应用。但哪种数字存储模式更符合数字参考咨询系统的需要，我们要继续探讨。3.NAS（网络附加存储）NAS作为一种概念是1996年从美国硅谷提出的，其主要特征是把存储设备和网络接口，现在主要是以太网技术，集成在一起，直接通过以太网网络存取数据。也就是说，把存储功能从通用文件服务器中分离出来，使其更加专门化，从而获得更高的存取效率，更低的存储成本。NAS设备近两年开始流行，可靠稳定的性能、特别优化的文件管理系统和低廉的价格使NAS市场得到了一定的增长。NAS作为一个网络附加存储设备，采用了信息技术中的流行技术－嵌入式技术。嵌入式技术的采用，使得NAS具有无人值守、高度职能、性能稳定、功能专一的特点。北京天地空间科技有限公司-7-四、数字存储方案在数字化档案馆中的应用方案分类：DAS方案DAS方案是保持数字参考咨询系统原有的结构，采用与服务器直接连接的存储设备作为网络存储设备。比如说，天地空间公司的ZA12/16UR磁盘阵列以skis方式与服务器相连，同时为服务器增加新的SCSI卡，把磁盘阵列与服务器进行连接。服务器上磁盘阵列以共享方式使用，用户访问需要经过现有的服务器处理，对服务器性能要求较高。DAS方案的优点是投资较少，只要增加磁盘阵列与SCSI卡就能满足需要，并保持系统原有结构，缺点是系统依赖于服务器平台，对服务器压力较大，数据管理不方便。SAN方案SAN的支撑技术是光纤通道——FiberChannel（FC）技术，FC是ANSI为网络和通道I/O接口建立的一个标准集成。支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开。这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口，使得系统的成本和复杂程度大大降低。光纤通道支持多种拓扑结构，主要有：点到点（Links）、仲裁环（FC－AL）、交换式网络结构（FC－XS）。点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接，可以实现DAS应用。FC－XS交换式架构下，主机和存储装置之间透过智能型的光纤通道交换器连接，并存储网络的管理软件统一管理，这种方式就是SAN。因为采用了FC技术，SAN具有更高的带宽。FC使用全双工串行通信原理传输数据，在1Gb标准下，传输速率高达10－62.5Mbps，即为100MB/S，双环可达200MB/S，2Gb下，上述数字将翻倍。FC标准下可以通过同轴线、光纤介质进行设备间的信号传输，使用同轴线传输距离为30米，使用单模光纤传输距离可达10公里以上，这使得在SAN模式下实现物理上分离的、不在机房的存储变得非常容易。NAS方案NAS设备近两年开始流行，可靠稳定的性能、特别优化的文件管理系统和低廉的价格使北京天地空间科技有限公司-8-NAS市场得到了一定的增长。NAS作为一个网络附加存储设备，采用了信息技术中的流行技术－嵌入式技术。嵌入式技术的采用，使得NAS具有无人值守、高度职能、性能稳定、功能专一的特点。NAS设备内置优化的独立存储操作系统，可以有效、密地释放系统总线资源，全力支持I/O存储，同时NAS设备一般集成本地的备份软件，可以不经过服务器将NAS设备中的重要数据进行本地备份，而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器，可以满足保证NAS的稳定应用。NAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用。NAS设备提供RJ－45接口和单独的IP地址，可以将其直接挂接在主干网的交换机或其它局域网的Hub上，通过简单的设置（如设置机器的IP地址等）就可以在网络即插即用地使用NAS设备，而且进行网络数据在线扩容时也无需停顿，从而保证数据流畅存储。在NAS应用里，用户无需改造现有网络，就可通过不同的网络协议进入相同的文档，NAS设备就可无缝混合应用在多种操作系统平台下。另外，NAS对于已建立的网络的用户来说也不存在任何威胁，NAS设备完全融合在已建立起来的网络中，它可以作为独立的数据存储设备搭配其它的各种服务器，既保护了用户的原有投资，又将整个网络的性能提高到一个新的层次。此外，NAS设备采用集中式存储结构，摒弃了DAS的分散存储方式，网络管理员可以方便地管理数据和维护设备。NAS是在用户的局域网（LAN）上，以文件为单元，进行数据存取，也就是说利用网络文件系统、TCP/IP协议、以太网络设施，实现数据存取。以太网是目前绝大部分用户都采用的局域网络技术，NAS模式可以充分利用用户现有的局域网络设施，大大节省了用户在存储上的投资，这是NAS的一个优点。但这同样是NAS的一个弱点，以太网络的带宽目前是1Gbit/s和SCSI的160MB/s，与FC（光纤通道）的2Gbit/s相比，差距不小。并且TCP/IP的帧传输方式，使得带宽利用率不高，一般情况下，NAS设备的数据传输带宽仅能达到9－15MB/s，另外，NAS是在TCP/IP技术上，以文件为单元进行传输，TCP/IP在帧传输时的丢包，也限制了NAS的速度，甚至威胁到数据唯一性和安全，速度、安全、性能成为NAS的一个弱点。目前大部分的（70％）数据都是基于关系型数据库进行存储的，关系型数据库在操作上，需要实时高速的数据读取和存储，一般数据库都采用“块”（Block）的方式进行数据传输，这样NAS就无法进行数据应用的主流：数据库应用上。北京天地空间科技有限公司-9-方案应用：多种存储设备的复合使用是解决数字化档案馆网络存储需求的最佳方式。档案馆中的数据将会以文件和数据块两种形式并存。NAS在解决文件级数据集中存储与共享需求上是不可或缺的一部分。SAN网络的构建可以最大程度的进行存储扩展，并保障数据的安全。而DAS在某些重要的、相对独立的应用上仍然会继续发挥作用。利用NAS及IP-SAN