ch8多媒体硬件设备

第八章多媒体硬件环境计算机科学与技术系董华松音频接口音频卡的工作原理音频卡处理音频信号的PC插卡是音频卡（AudioCard），又称声音卡，声音卡处理的音频媒体有数字化声音（Wave）、合成音乐（MIDI）、CD音频。音频卡的工作原理声音是怎样工作的？从模拟到数字声源声波传声器模拟电信号数字声音音频卡的工作原理音频卡的功能音频的录制与播放编辑与合成MIDI接口文–语转换CD-ROM接口游戏接口支持全双工功能音箱2、Microphone（麦克风输入）3、Speaker（扬声器输出）4、MIDI/GamePort（MIDI/操纵杆端口）7、CD-ROM音频信号接口6、CD-ROM的接口8、跳接器音频输出IDE接口CD-ROM外部音频设备麦克风操纵杆MIDI声音装置1、Linein（线性输入）5、VolumeControl（音量调节旋钮）电源跳接线音频卡的连接方式音频卡的工作原理音频卡的体系结构音频卡由下列部件组成：MIDI输入/输出电路；MIDI合成器芯片；用来把CD音频输入与线输入相混合电路；带有脉冲编码调制电路的模数转换器，用于把模拟信号转换为数字信号以生成波形文件；用来压缩和解压音频文件的压缩芯片；用来合成语音输出的语音合成器；用来识别语音输入的语音识别电路；输出立体声的音频输出或线输出的输出电路等。MIDI接口MIDI合成器语音合成器D/A转换多通道音频合成器A/D转换CD-ROM接口压缩/解压缩MIDIIN输入CDLAUDIORLINEINLMICROPHONERCD驱动器PC的ISA总线PC的ISA总线MIDIOUT输出MIDITHRULINEOUT线输入波形和MIDI文件的输入是来自通过ISA总线的磁盘输入波形和MIDI文件音频卡的工作原理数字化声音处理声音输入信号源：麦克风PGA音频程控放大器抗混滤波器A/DS/HDSP（ASIC）采样、保持4D/A重建滤波器PGA声音输出4DMA接口PC总线音频卡的工作原理混音器FMMICDACSPKAUXCD-ROM混音器总音量左右放大器4可编程接口扬声器开关声音录制音频卡的工作原理合成器波形表（WaveTable）合成频率调制FM合成正弦表正弦表脉冲产生器包络产生器脉冲产生器包络产生器调制单元F（t）音频合成和MIDI接口规范MIDIMIDI（MusicalInstrumentDigitalInterface）是指乐器数字接口，是数字音乐的国际标准。MIDI的音乐符号化过程实际上就是产生MIDI协议信息的过程。音乐合成器是电脑音乐系统中最重要的设备之一。音频合成和MIDI接口规范MIDI术语MIDI文件通道Channels音序器Sequencer合成器Synthesizer乐器Instrument通道映象ChannelMapping复音Polyphony音色Timbre音轨Track合成音色映射程序PatchMapper音频合成和MIDI接口规范MIDI接口MIDIIn（输入口）接收从其他MIDI装置传来的消息。MIDIOut（输出口）发送某装置生成的原始MIDI消息。向其他设备发送MIDI消息。MIDIThru（转发口）传送从输人口接收的消息到其他MIDI装置。向其他设备发送MIDI消息。音频合成和MIDI接口规范MIDI接口电子琴MIDIOUTMIDIIN声音卡MIDI电缆语音合成概述实现计算机语音输出有两种方法：录音/重放文–语转换计算机话语输出按其实现的功能来分，可以分为以下两个档次：有限词汇的计算机语音输出基于语音合成技术的文字-语音转换（TTS）语音合成合成方法发音器官参数语音合成对人的发音过程进行直接模拟声道模型参数语音合成基于声道截面积函数或声道谐振特性合成语音波形编辑语音合成技术波形编辑语音合成技术是直接把语音波形数据库中的波形相互拼接在一起，输出连续语流。PSOLA（PitchSynchronousOverlapAdd）方法语音合成语音基元数据库的构建基元的选择选择音节选择双音素和三音素语音数据的存储形式波形存储方式存储数字化的语音波形数据参数存储方式存储从语音信号中提取的参数，常用的有LPC参数、LSP（LSF）、共振峰参数等语音合成韵律模拟自然语言中的韵律特征语调、节奏和重音等能表达说话者的语义和感情，是自然语流的重要组成部分韵律合成及方法超音段特征（音高、音长、音强及频率分布的变化）的修改构成了韵律合成的基础方法：修改基频模式、共振峰模式、PSOLA算法等韵律模拟的问题需解决韵律规则、韵律描述、计算模型和修改算法等问题语音识别概述语音识别是将人发出的声音、字或短语转换成文字、符号，或给出响应，如执行控制、作出回答。语音识别系统的分类按可识别的词汇量多少划分按照语音的输入方式划分按发音人划分说话人识别语音识别语音识别系统的最终目标不存在对说话人的限制，即非特定人的。不存在对词汇量的限制，即基于大词汇表的。不存在对发音方式的限制，即可识别连续自然发音的。系统的整体识别率应该相当高，接近于人类对自然语音的识别能力。这也正是听写机系统最终要达到的目标。语音识别语音识别研究的难点很难适应各种年龄、性别、口音、发音速度、语音强度、发音习惯与方式等的差异。系统随着能够识别的词汇量增大，所需要的空间和时间的花销就越多，最终将导致系统的识别性能急剧下降而丧失可用性。尽管连续发音是人们最为自然的发音方式，但是识别系统很难也不可能把连续语音作为一个整体来进行识别。实用的识别系统要求提高语音特征参数的鲁棒性、对不同非高斯噪声的非敏感性，以及对不同用户的适应能力等，这些复杂性的需求的实现是非常困难的。视频接口视频图像显示概述为了显示原始图像（这里使用的“图像”是泛指，包括全运动视频）的可接受的复制图，需要使用各种显示系统技术来解码信号和压缩数据。显示系统技术VGA混合可伸缩的VGA混合双缓冲VGA混合/伸缩视频图像显示视频显示技术标准第一代标准：MDA和CGA第二代标准：EGA第三代标准：VGA采用256K种颜色的调色板及用模拟量输出，使显示的颜色更加逼真第四代标准：XGAl990年IBM公司宣布了XGA高性能的视频子系统视频图像显示CRT显示系统屏幕尺寸荫罩和点间距荧光粉类型刷新（或扫描）频率与闪烁隔行和非隔行扫描显示缓冲区与颜色定义模拟信号接口和数字信号接口视频BIOS视频图像显示平板显示系统被动矩阵单色主动矩阵单色被动矩阵彩色主动矩阵彩色视频卡的工作原理视频卡的分类与功能简介视频卡的分类视频采集卡将视频信号连续转换成计算机存储的数字视频信号（离散）保存在计算机中或在VGA显示器上显示，完成这种功能的视频卡称之为视频采集卡，或称为视频转换卡。如果能够实时完成压缩，则称实时压缩卡。通常可将外部视频输入信号叠加在显示器上，并将视频输入信号变换成计算机可存储的信息保存在硬盘中。只能单帧捕获的，称为图像卡。视频卡的工作原理视频卡的分类与功能简介视频卡的分类视频采集卡视频卡的工作原理视频卡的分类与功能简介视频卡的分类视频采集卡的连接视音频信号线视音频信号线视音频信号线电视录象机摄象机VGA输入VGA输出S视频端子视频捕获卡VGA显示卡显示器VGA回路线VGA数据线视频卡的工作原理视频播放卡将压缩保存在计算机中的视频信号数据在计算机的显示器上播放出来的这种卡称之为视频播放卡，或称解压缩卡，也称之为电影卡。电视转换卡电视转换卡分为两类：电视卡和TV编码器。电视卡：是将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示TV编码器：它将计算机的VGA信号转换为NTSC、PAL、SECAM等标准的信号在电视上播放或进行录像，视频卡的工作原理视频卡的分类与功能简介视频卡的主要功能全活动数字图像的显示、抓取、录制、支持MicrosoftVideoforWindows；可以从录像机（VCR）、摄像机、ID、IV等视频源中抓取定格，存储输出图像；近似真彩色YUV格式图像缓冲区，并可将缓冲区映射到高端内存；可按比例缩放、剪切、移动、扫描视频图像；色度、饱和度、亮度、对比度及R、G、B三色比例可调；可用软件选端口地址和IRQ；具有若干个可用软件相互切换的视频输入源，以其中一个做活动显示。4.3.2视频卡的工作原理视频卡的分类与功能简介各种功能的视频卡电视卡（TVTurner）：将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示，是一块能接收全频道、全制式彩色电视节目的视频信号的转换卡，它的输出与电脑的CRT制式匹配。TV编码器（TVCoder）：把VGA信号转为PAL、NTSC、SECAM制式的视频信号，供电视播放或录像制作使用，多用于广告电视片的后期处理。视频捕获卡：捕捉和编辑静态视频图像，完成视频数字化、编辑以及处理等工作。动态视频捕获和播放卡：用于实时动态视频和声音的同时获取及压缩处理，该卡还具有储存和播放功能。常用于视觉传达系统中的现场监控、办公自动化和多媒体节目创作等场合。视频卡的工作原理视频采集卡的工作原理视频信号源、摄像机、录像机或激光视盘的信号首先经过A/D变换，送到多制式数字解码器进行解码得到YUV数据，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存储器。帧存储器的内容在窗口控制器的控制下，与VGA同步信号或视频编码器的同步信号同步，再送到D/A变换器变成模拟的RGB信号，同时送到数字式视频编辑器进行视频编码，最后输出到VGA监视器及电视机或录像机。视频卡的工作原理视频采集卡的工作原理VGA的特性连接多路开关SAA7199VGA输入TDA8708TDA8709SAA7191PCVideo82C900IA数据VRAM地址SAA9065TDA4680VGA输出SAA7197ISA总线VGA同步信号TV同步数据到TV或VCR从VGA板输入YUV数据YUV数据YUV数据模拟开关到VGA监视器彩色键联控制Video同步YUVRGBRGBRGBSyncAddCVBSSVHSYSVHSC视频卡的工作原理视频采集卡的工作原理A/D变换和数字解码输入选择8bitADC数字峰值比较黑电平比较器同步电平比较器AGC和嵌位逻辑模式选择TTL输出AMPTDA8708输出格式/片选（三态输入）TTL输出去耦输入时钟输入AGC输入模拟电压输出视频输入选择0位1位视频输入嵌位电容AGC电容峰值电阻输入同步电平同步脉冲黑电平VP+5V数字地模拟VP+5V模拟地D1D2D3D4D5D6D7D8视频卡的工作原理视频采集卡的工作原理窗口控制器PC总线接口部分VGA同步和彩色键联窗口PC总线接口和控制寄存器视频获取与比例变换VRAM读/写与刷新控制器彩色键联开关DACsyncVRAMR/WVRAMaddrVRAMdataShiftclocI/O总线控制系统数据系统地址VideoSyncVideoInVGAdataVGAsync视频卡的工作原理视频采集卡的工作原理窗口控制器视频输入剪裁、变比例部分VGA同步和彩色键联窗口PC总线接口和控制寄存器视频获取与比例变换VRAM读/写与刷新控制器彩色键联开关DACsyncVRAMR/WVRAMaddrVRAMdataShiftclocI/O总线控制系统数据系统地址VideoSyncVideoInVGAdataVGAsync视频卡的工作原理视频采集卡的工作原理窗口控制器VRAM读写、刷新控制部分VGA同步和彩色键联窗口PC总线接口和控制寄存器视频获取与比例变换VRAM读/写与刷新控制器彩色键联开关DACsyncVRAMR/WVRAMaddrVRAMdataShiftclocI/O总线控制系统数据系统地址VideoSyncVideoInVGAdataVGAsync视频卡的工作原理