搜索
第1章.序言本章将从技术的角度来描述本手册的总体结构。1.1.GStreamer是什么?GStreamer是一个创建流媒体应用程序的框架。其基本设计思想来自于俄勒冈(Oregon)研究生学院有关视频管道的创意,同时也借鉴了DirectShow的设计思想。GStreamer的程序开发框架使得编写任意类型的流媒体应用程序成为了可能。在编写处理音频、视频或者两者皆有的应用程序时,GStreamer可以让你的工作变得简单。GStreamer并不受限于音频和视频处理,它能够处理任意类型的数据流。管道设计的方法对于实际应用的滤波器几乎没有负荷,它甚至可以用来设计出对延时有很高要求的高端音频应用程序。GStreamer昀显著的用途是在构建一个播放器上。GStreamer已经支持很多格式的档了,包括:MP3、Ogg/Vorbis、MPEG-1/2、AVI、Quicktime、mod等等。从这个角度看,GStreamer更像是一个播放器。但是它主要的优点却是在于:它的可插入组件能够很方便的接入到任意的管道当中。这个优点使得利用GStreamer编写一个万能的可编辑音视频应用程序成为可能。GStreamer框架是基于插件的,有些插件中提供了各种各样的多媒体数字信号编译码器,也有些提供了其它的功能。所有的插件都能够被链接到任意的已经定义了的数据流管道中。GStreamer的管道能够被GUI编辑器编辑,能够以XML档来保存。这样的设计使得管道链接库的消耗变得非常少。GStreamer核心库函数是一个处理插件、数据流和媒体操作的框架。GStreamer核心库还提供了一个API,这个API是开放给程序员使用的---当程序员需要使用其它的插件来编写他所需要的应用程序的时候可以使用它。1.2.谁需要读这个手册?本手册是从一个程序开发人员的角度来描述GStreamer的:它叙述了如何利用GStreamer的开发库以及工具来编写一个基于GStreamer的应用程序。对于想学习如何编写插件的朋友们,我们建议你去参考插件编写指南(PluginWritersGuide)。1.3.预备知识为了更好的理解本手册的内容,你应该具备基本的C语言基础。由于GStreamer一直采用GObject编程模式,所以本手册也假定你已经理解了GObject的基本概念。你可能还需要一些GTK+和GDK的知识,这方面的知识你可以参照EricHarlow的书DevelopingLinuxApplicationswithGTK+andGDK。另外,当你读完本手册后,请读一下GStreamerPluginWriter'sGuide。当然,你还需要关注一下其它的GStreamer文檔。第2章.动机和目标从历史的角度来看，Linux在多媒体方面已经远远落后于其它的操作系统。Microsoft'sWindows和Apple'sMacOS它们对多媒体设备、多媒体创作、播放和实时处理等方面已经有了很好的支持。另一方面，Linux对多媒体应用的综合贡献比较少，这也使得Linux很难在专业级别的软件上与MSWindows和MacOS去竞争。GStreamer正是为解决Linux多媒体方面当前问题而设计的。2.1.当前的问题我们描述了当今Linux平台下媒体处理的一些典型问题。2.1.1.大量的代码复制对于那些想要播放一个声音文件的Linux用户来说，他们必须搜索各种声音播放器来播放不同格式档，而在这些播放器中，大部分的都一遍又一遍地重复使用了相同的代码。对于那些想在应用程序中嵌入视频剪辑的Linux开发人员来说，他们必须要用粗略的hacks来运行外部的视频播放器，因为没有一套可用的库提供给开发人员来创建可定制的播放器。2.1.2.“一个目标”媒体播放器/媒体库典型的MPEG播放器可以播放MPEG视频和音频，多数的播放器实现了完整的底层构造来达到他们的唯一目标：播放。没有一套有效的机制可以提供对于音频和视频数据过滤和效果处理，更没有制定在视频或音频数据中添加滤波器或特殊效果的任何规定。如果你希望将MPEG-2视频流转为AVI档，那么你的昀佳选择是，将所有的MPEG-2译码算法从播放器分离出来，并复制到你的AVI编码器中，因为这类算法不能简单的在应用程序之间共享。开发人员曾经尝试着创建一个可以处理多种媒体类型的库，但由于缺乏通用的API，所以如何集成就成了重要的工作了。因为在集成的过程中，我们需要关注一些特殊的媒体类型(avi文件，libmpeg2，...)，而集成这些媒体类型文件需要一个统一的接口。GStreamer允许将这些库与通用的API一起打包，这样就简化了集成和复用。2.1.3.没有统一的插件管理机制典型的播放器对于不同的媒体类型会有不同的插件，两个媒体播放器会实现各自不同的插件机制，所以编译码器不能方便的交换。每一个典型的媒体播放器的插管理件系统是具有其特定应用程序的需求。缺少统一的插件机制，已经严重阻碍了二进制编译码器的发展，因为没有一家公司希望将代码移植到不同的插件机制。GStreamer当然也采用自己的插件系统，它为插件开发者提供了一个非常丰富的框架，从而保证这些插件能够广泛应用，并与其它插件能够无缝的交互。GStreamer为插件提供的框架是非常灵活，它足以满足大多数插件的需求。2.1.4.拙劣的用户感因为上述问题的原因，使得应用程序开发人员将相当多的时间花在如何处理后端、插件机制等等问题上。从而耽误了大部分的项目时间，这样就常常导致后端和用户接口都只完成了一半，于是就导致了拙劣的用户感。2.1.5.没有网络透明度的规定当前还没有一个底层框架出现，来允许对网络透明媒体的操作。有趣的是，一个分布式的MPEG编码器能够复制非分布式编码器的相同的算法。并没有关于使用GNOME和KDE桌面平台的技术的规定被制定出来，因为GNOME和KDE桌面平台本身还在改进和完善，所以很难将多媒体恰当地集成到很多用户的环境中。注意到GStreamer还提供很多种方法，这些方法提供将GSreamer与不同的桌面系统进行集成(见附录里的集成一节)，而这些方法往往都不是网络透明化。GStreamer内核在昀底层没有采用网络透明技术，只是在顶层加了作为本地使用，这就是说，创建一个核心组件的包就变得比较容易了。GStreamer允许管道在TCP协议上分离，使用tcp插件来实现GStreamer数据协议，这个被包含在gst-plugins模块，目录gst/tcp2.1.6.与Windows™的产品还存在差距我们要想看到Linux桌面系统的成功就要立足于可靠的媒体处理。我们必须为商业编译码器和多媒体应用扫清障碍，这样Linux才能成为多媒体领域的一个选择2.2.设计目标我们将阐述在GStreamer开发中的目标．2.2.1.结构清晰且威力强大GStreamer提供一套清晰的接口给以下一些开发人员：•希望构建媒体管道的应用程序员。程序员可以使用一系列强有利的工具来创建媒体管道，而不用去写一行代码，从而使得复杂的媒体控制变得非常简单。•插件程序员。GStreamer向插件程序员提供了简洁而简单的API来创建self-plugin(自包含)插件，同时还集成了大量的调试和跟踪机制和工具。GStreamer也提供了一系列现实例子。2.2.2.面向物件的编程思想GStreamer是依附于GLib2.0对象模型的，熟悉GLib或者旧版本的GTK+的程序员对GStreamer将会驾轻就熟。GStreamer采用了信号与对象属性的机制。所有对象的属性和功能都能在运行态被查询。GStreamer与GTK+的编程方法非常相似，需要对象模型，对象所有(ownershipofobjects)，参考计算（referencecounting）...2.2.3.灵活的可扩展性能所有的GStreamer对象都可以采用GObject继承的方法进行扩展。所有的插件都可以被动态装载，可以独立的扩展或升级。2.2.4.支持插件以二进制形式发布作为共享库发布的插件能够在运行态直接加载，插件的所有属性可以由GObject属性来设置，而无需(事实上决不)去安装插件的头档。我们更多的关注在插件能够独立化，运行的时候还需要很多与插件相关的因素。2.2.5.高性能高性能主要体现在：•使用GLib的g_mem_chunk和非模块化分配算法使得内存分配尽可能昀小。•插件之间的连接非常轻型(light-weight)。数据在管道中的传递使用昀小的消耗，管道中插件之间的数据传递只会涉及指针废弃。•提供了一套对目标内存直接进行操作的机制。例如，插件可以向Xserver共享的内存空间直接写数据，缓冲区也可以指向任意的内存，如声卡的内部硬件缓冲区。•refcounting和写拷贝将memcpy减少到昀低。子缓冲区有效地将缓冲区分离为易于管理的块。•使用线程联合(cothreads)减少线程消耗。线程联合(cothreads)是简单又高速的方法来切换子程序，作为衡量昀低消耗600个cpu周期的标准。•使用特殊的插件从而支持硬件加速。•采用带有说明的插件注册，这样的话只在实际需要使用该插件才会去装载。•所有的判断数据都不用互斥锁。2.2.6.核心库与插件(core/plugins)分离GStreamer内核的本质是media-agnostic，我们了解的仅仅是字节和块，以及包含基本的组件，GStreamer内核的强大功能甚至能够实现底层系统工具，像cp。所有的媒体处理功能都是由插件从外部提供给内核的，并告诉内核如何去处理特定的媒体类型。2.2.7.为多媒体数字信号编译码实验提供一个框架GStreamer成为一个简单的框架，编译码器的开发人员可以试验各种不同的算法，提高开源多媒体编译码器开发的速度，如TheoraandVorbis。Chapter3.基础概念介绍本章将介绍GStreamer的基本概念。理解这些概念对于你后续的学习非常重要,因为后续深入的讲解我们都假定你已经完全理解了这些概念。3.1.组件(Elements)组件(element)是GStreamer中最重要的概念。你可以通过创建一系列的组件(Elements),并把它们连接起来,从而让数据流在这个被连接的各个组件(Elements)之间传输。每个组件(Elements)都有一个特殊的函数接口,对于有些组件(Elements)的函数接口它们是用于能够读取文件的数据,译码文件数据的。而有些组件(Elements)的函数接口只是输出相应的数据到具体的设备上(例如,声卡设备)。你可以将若干个组件(Elements)连接在一起,从而创建一个管道(pipeline)来完成一个特殊的任务,例如,媒体播放或者录音。GStreamer已经默认安装了很多有用的组件(Elements),通过使用这些组件(Elements)你能够构建一个具有多种功能的应用程序。当然,如果你需要的话,你可以自己编写一个新的组件(Elements)。对于如何编写组件(Elements)的话题在GStreamerPluginWriter'sGuide中有详细的说明。3.2.箱柜(Bins)和管道(pipelines)箱柜(Bins)是一个可以装载组件(element)的容器。管道(pipelines)是箱柜(Bins)的一个特殊的子类型,管道(pipelines)可以操作包含在它自身内部的所有组件(element)。因为箱柜(Bins)本身又是组件(element)的子集,所以你能够象操作普通组件(element)一样的操作一个箱柜(Bins),通过这种方法可以降低你的应用程序的复杂度。你可以改变一个箱柜(Bins)的状态来改变箱柜(Bins)内部所有组件(element)的状态。箱柜(Bins)可以发送总线消息(busmessages)给它的子集组件(element)(这些消息包括:错误消息(errormessages),卷标消息(tagmessages),EOS消息(EOSmessages))。管道(pipeline)是高级的箱柜(Bins)。当你设定管道