拥有庞大的管理资料库概要•系统建设背景•需求与实现•系统构成•关键技术–系统–存储与数据迁移管理–码率–采集与上载–编目•关键设备拥有庞大的管理资料库系统建设背景•新闻资源共享的需要–新闻中心、海外中心、体育中心等多个部门–自采、地方、国际等不同种类–时效、资源支持等实际需要•探索新的新闻制作工艺流程–新闻系统数字化之后,探索向网络化发展的方向–为新台的技术系统建设积聚经验拥有庞大的管理资料库基本需求(一期)•素材存储需求:–高码率在线存储1周–高码率近线存储1年–低码率在线存储1年•收录、编辑与制作需求:–10路收录–44个光纤有卡编辑工作站–80个桌面无卡编辑工作站•播出需求–2*视频服务器播出系统(各有主、备2套系统)•覆盖范围–新闻中心(24+44)、海外中心(20+36)新闻中心:24+44+2海外中心:20+36+22Ch2ChCCTV新闻共享系统配置拥有庞大的管理资料库系统实施概况•在线存储10.5TB•近线缓存1.5TB•近线磁带库440TB•FC光纤网络(SAN)–16口FC交换机10台–8口FC交换机4台•各种服务器约50台/套拥有庞大的管理资料库系统构成•收录与上载•转码•编目•节目编辑•文稿•存储:在线、近线•数据迁移•工作流程拥有庞大的管理资料库关键技术之一:系统整合•编、播、存、管一体化•编辑制作与媒体资产系统的无缝连接–码率、文件的格式–媒体资产系统的查询等嵌入编辑工作界面–统一的访问控制拥有庞大的管理资料库媒体资产管理编辑制作播出共享存储采集访问控制&管理CCTV新闻共享系统结构拥有庞大的管理资料库关键技术之二:存储与数据迁移管理•传统的非线性编辑(NLE)和网络化非线性编辑系统只是为了满足制作–素材流程为:上载-存储(硬盘)-编辑-输出-清除•媒体资产管理系统(MAM)注重于资源的存储和再利用–素材/节目流成为:上载-存储(硬盘)-编辑-输出-长期存储(数据流磁带)-再利用•CCTV新闻共享系统兼具NLE和MAM二者的属性–需要有效地解决共享素材在硬盘和磁带库之间移动的问题拥有庞大的管理资料库长期存储(数据流磁带库)采集/上载短期存储(共享硬盘)非线性编辑与播出素材网络化非线性编辑系统资产管理系统新闻共享系统数据迁移新闻共享系统的存储管理与数据迁移拥有庞大的管理资料库存储与数据迁移管理•存储与数据迁移管理系统的选择–分层存储管理(HSM)–存档管理(Archiving)•采用存档方式作为数据迁移管理–更符合电视制播与资产管理的需求磁带库控制器共享硬盘磁带库工作站群共享磁盘阵列磁带库/光盘库文件访问数据迁移(1)典型存储系统示意图(2)文件访问与数据迁移非编工作站FC/SCSIFC/SCSI同构环境下的HSMHSM主机/NT数据迁移中继/NTNTFSNTFSUFS非编工作站FC/SCSIFE/GEFC/SCSIFC/SCSI异构环境下的HSM构成FTP/FE、GEHSM主机数据中继主机共享硬盘FC交换机磁带库MDC磁带库控制器SAN网络共享硬盘数据移动器自动化磁带库用户终端群管理器带库控制器基于存档的存储管理示意图以太网交换机低码率高码率拥有庞大的管理资料库存档化数据迁移管理的特点•精确管理–文件•可扩展–通过增加数据迁移器(Datamover)可以增加带宽•可用性–冗余的数据迁移器•管理简便拥有庞大的管理资料库关键技术之三:全系统低码率优化•低码率的必要性–降低存储容量–降低网络流量–支持桌面用户•目的–降低成本,增加用户数量•缺点–增加了系统的复杂性和工艺处理过程•对于大型系统是必要的新闻共享系统将扩大到全台范围,在线编辑点数要有较大的扩展能力拥有庞大的管理资料库全系统的降低码率技术•降低码率的主要技术措施–采用高效率的编码•高码率:视频MPEG-2IBP,长GOP–MPEG-2IBP/25Mbps•低码率:视频MPEG-4,音频MP3–MPEG-4/0.8Mbps–MP-3/128Kbps拥有庞大的管理资料库关键技术之四:采集与上载•服务器采集–优点:•高可靠性、可扩展性–缺点•文件格式不兼容、缺少低码率•转码(Transcoding)–转换高码率文件结构–生成低码率文件收录控制转码控制收录信号关键帧高码率MPEG-2/IBP25Mbps拥有庞大的管理资料库关键技术之五:编目•自动化编目–关键帧、图像特征、语言特征、文字识别、语音识别等•关键帧–根据转场镜头切换,自动生成–形成检索和编辑入点–将素材可控颗粒度细化到所需水平•素材/节目、片断、场景、镜头、帧等多个层次•语音识别–英语自动转换到文字拥有庞大的管理资料库编目工作流程•编目是再利用的关键环节•编目质量是根本•多次编目–一次编目:•基本数据•记者、上载操作人员等•解决急用问题;–二次编目:•深层数据•专业人员•解决最终使用问题拥有庞大的管理资料库关键设备选择•收录服务器–SeachangeBMC1655/5结点10Ch•播出服务器–SonyMAV-70•主存储硬盘阵列–DataDirectNetworksS2A6000/800010.5TB–HDS9980V20TB•数据流磁带机–T9840B*5–T9940B*5•自动化磁带库–STKL9310:槽数为5880,磁带机10台–磁带机:STKT9840B、T9940B各5台,总带宽达到245MB/s(native)200GB20GB100GBTransferrate(native)30MB/sec19GB/sec15GB30MB/secTransferrate(max)70MB/sec70MB/secInterfacesFC-2Gbit,FICON(avail2003)SCSI/FC-2GbESCONSCSI/FC-1b/ESCONSCSI,FC-1FCconnectortypeLCLoad-thread-to-ready18sec4sec20secFileaccess(average)41sec8-11sec71secMax/avgrewind90/45sec16sec??/61sec18secUnload18sec4secReadandwritespeed3.4M/secBuffersize64MBLibraryattachment9310,9740,L700/e,L55009310,9740,L700/e,L5500STKL5500,ADICScarla10K拥有庞大的管理资料库总结•系统具有较大规模•采用了多项新技术•一期工程已经基本就绪,预计8月底试运行拥有庞大的管理资料库谢谢!