研究生课程数字图像处理DigitalImageProcessing彭宇新北京大学计算机科学技术研究所E_mail:pengyuxin@icst.pku.edu.cn数字图像处理z课程介绍9教材及参考书9上课主要内容9课程目的与要求9考试内容9助教老师9国内外相关会议和杂志9目前需要做的事情教材及参考书z教材9RafaelC.Gonzalez,RichardE.Woods著,阮秋琦、阮宇智等译,数字图像处理(第二版),电子工业出版社,2003年。9RafaelC.Gonzalez,RichardE.Woods,DigitalImageProcessing(SecondEdition),PrenticeHall,2003。教材及参考书(续)z参考书9KennethR.Castleman著,朱志刚、林学訚、石定机等译,数字图像处理,电子工业出版社,2002年。9章毓晋,图象工程上册—图象处理和分析,清华大学出版社,2003年。9阮秋琦,数字图像处理学,电子工业出版社,2004年。9杨枝灵、王开等,VisualC++数字图像获取、处理及实践应用,人民邮电出版社,2003年。9章毓晋,基于内容的视觉信息检索,科学出版社,2003年。上课主要内容1.概述2.空间域图像增强3.彩色图像处理4.基于内容的图像检索(补充)5.傅里叶变换6.频率域图像增强7.图像复原8.图像压缩(1)上课主要内容(续)9.图像压缩(2)10.形态学图像处理11.图像分割12.表示与描述13.基于内容的视频分析和检索技术(补充)14.考试复习课程目的与要求z掌握数字图像处理的基本概念、原理和方法z初步运用所学知识解决实际问题z为图像处理及相关领域的研究打下基础9图像处理9计算机视觉9基于内容的图像、视频检索9人脸识别、指纹识别、掌纹识别、虹膜识别9图像分类、图像和视频的语义概念检测、……考试内容z平时作业50%,考试成绩50%z平时作业选择下列两个之一:¾分组完成一个大作业¾其他与图像处理相关的课题(需要上课老师认可)z考试闭卷完成(基本概念、原理和算法)助教老师z曹磊E_mail:caolei@icst.pku.edu.cn电话:82529384注意:有不懂的地方多问助教老师,充分发挥助教老师的指导作用国内外相关会议和杂志z国内杂志:一级学报9JournalofComputerScienceandTechnology(JCST)(SCI)9计算机学报9软件学报9电子学报9计算机研究与发展9…国内外相关会议和杂志(续)z国外会议:9IEEEInternationalConferenceonComputerVision(ICCV)9IEEEInternationalConferenceonComputerVisionandPatternRecognition(CVPR)9ACMMultimediaConference(MM)国内外相关会议和杂志(续)z国外会议:9IEEEInternationalConferenceonImageProcessing(ICIP)9IEEEInternationalConferenceonMultimediaandExpo(ICME)9InternationalConferenceonPatternRecognition(ICPR)9ACMInternationalConferenceonImageandVideoRetrieval(CIVR)9…国内外相关会议和杂志(续)z国外期刊:9IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI)9IEEETransactionsonImageProcessing(IP)9IEEETransactionsonCircuitsandSystemsforVideoTechnology(CSVT)9InternationalJournalofComputerVision(IJCV)9PatternRecognition(PR)9ImageandVisionComputing(IVC)9…目前需要做的事情z选课学生发送下列信息给老师:pengyuxin@icst.pku.edu.cn9姓名9学号9联系方式:E_mail,电话9硕士生或博士生,年级9所在院系、实验室、导师9研究方向数字图像处理基础z概述9概念:图像、数字图像、像素9数字图像处理的起源9数字图像处理的应用领域9图像处理系统的部件z基础知识9图像的采样和量化9数字图像的表示9数字图像的质量9像素间的一些基本关系什么是图像?9定义为二维函数f(x,y),其中,x,y是空间坐标,f(x,y)是点(x,y)的幅值9灰度图像是一个二维灰度(或亮度)函数f(x,y)9彩色图像由三个(如RGB,HSV)二维灰度(或亮度)函数f(x,y)组成xyyx什么是数字图像?9像素组成的二维排列,可以用矩阵表示9对于单色(灰度)图像而言,每个像素的亮度用一个数值来表示,通常数值范围在0到255之间,0表示黑、255表示白,其它值表示处于黑白之间的灰度9彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。通常,三元组的每个数值也是在0到255之间,0表示相应的基色在该像素中没有,而255则代表相应的基色在该像素中取得最大值yx数字图像的像素表示xy什么是像素?数字图像由二维的元素组成,每一个元素具有一个特定的位置(x,y)和幅值f(x,y),这些元素就称为像素数字图像处理的起源z人类分析9图像在传输过程后的更好复原9空间应用:图像增强、图像复原9医学图像……9作用:通过图像增强、图像复原等技术,增强或复原模糊或损毁的图像z机器感知9自动字符识别OCR9人脸识别9指纹识别,生物特征识别……数字图像处理的应用领域z传统领域9医学、空间应用、地理学、生物学、军事……z最新领域9数码相机(DC)、数码摄像机(DV)9指纹识别、人脸识别9互联网、视频、多媒体等9基于内容的图像检索、视频检索、多媒体检索9水印、游戏、电影特技、虚拟现实、电子商务等数字图像处理的应用无处不在例1:图像增强——直方图均衡化例2:人脸检测与识别例3:镜头边界检测例4:基于内容的图像检索例5:基于内容的镜头检索例6:基于内容的视频片断检索例7:视频字幕识别例7:视频字幕识别例8:101个视频概念的检测视频语义标注的基本方法测试视频训练学习标注训练视频库语义概念模型视频标注特征提取特征提取概念检测例8:101个视频概念的检测图像处理系统的基本组成结构输入图像输出图像InternetInternet图像数字化设备图像输出设备图像存储系统图像处理计算机z主要由三大部分组成9图像数字化设备,包括数码相机、数码摄像机、带照相和/或摄像功能的手机等9图像处理设备,包括计算机和存储系统9图像输出设备,包括打印机,也可以输出到Internet上的其它设备图像处理系统的基本组成结构图像存储系统图像文件格式体系互联网用:GIF、JPG印刷用:TIF、JPG、TAG、PCX国际标准:TIF、JPG、BMP图像存储体系:分级存储内存存储:处理时使用硬盘存储:处理、备份时用(在线)备份存储:光盘、磁带(离线、近线)网络存储:SAN、NAS为什么要用SAN传统存储解决方案——信息岛存储区域网SAN(StorageAreaNetwork)SANSAN是什么?SAN是什么?(续)z不是client/server,而是client/storagedevicesz独立于LAN之外的高速存储网络z一般采用高速的光纤通道作为传输媒体(2Gbit/s)z将存储设备通过光通道互连设备构成一个存储子网z支持服务器和存储设备之间任意到任意的连接zSAN上的任何一台服务器均可存取网络中的任何一个存储设备z对网上的存储资源实施集中统一的管理NAS(NetworkAttachedStorage)是什么?是优化的文件服务器,存储设备与服务器均直接连接到LAN上,使用TCP/IP等LAN协议,通过LAN实现数据交换和存储管理。由于使用网络协议,因而会有速度和延时的问题,且系统扩展能力受到网络带宽的限制。FileI/OFileI/OSAN与NAS比较较低的连接速度和处理能力更高的连接速度和处理能力有限的扩展能力无限的扩展能力分散式管理集中式管理网络协议(如TCP/IP)存储协议(如FCP)共享LAN存储专用网远程文件访问远程存储访问文件级共享块级共享NASSAN数字图像处理基础z图像的采样和量化z数字图像的表示z数字图像的质量z像素间的一些基本关系邻域处理方法是图像增强和复原过程的核心图像的采样和量化z大多数传感器的输出是连续电压波形z为了产生一幅数字图像,需要把连续的感知数据转化为数字形式z这包括两种处理:取样和量化z取样:图像空间坐标的数字化z量化:图像函数值(灰度值)的数字化z空间坐标(x,y)的数字化被称为图像采样z确定水平和垂直方向上的像素个数N、M图像采样NMz函数取值的数字化被称为图像的量化,如量化到256个灰度级f图像的量化图像的采样与数字图像的质量图像的采样与数字图像的质量1024×1024512×512256×256128×12864×6432×32265x180133x9066x4533x22图像的采样与数字图像的质量256灰度级16灰度级8灰度级4灰度级图像的量化与数字图像的质量z非统一的图像的采样9在灰度级变化尖锐的区域,用细腻的采样,在灰度级比较平滑的区域,用粗糙的采样图像的采样和量化z非统一的图像的量化9在边界附近使用较少的灰度级。剩余的灰度级可用于灰度级变化比较平滑的区域9避免或减少由于量化的太粗糙,在灰度级变化比较平滑的区域出现假轮廓的现象图像的采样和量化数字图像处理基础z图像的采样和量化z数字图像的表示z数字图像的质量z像素间的一些基本关系z二维离散亮度函数——f(x,y)9x,y说明图像像素的空间坐标9函数值f代表了在点(x,y)处像素的灰度值z二维矩阵——A[m,n]9m,n说明图像的宽和高。9矩阵元素a(i,j)的值,表示图像在第i行,第j列的像素的灰度值;i,j表示几何位置数字图像的表示z图像描述信息9如图像高度和宽度等信息z图像数据9顺序存放的连续数据zBMP格式1.位图文件头2.位图信息头3.调色板4.图像数据headData数字图像的表示typedefstructtagBITMAPFILEHEADER{WORDbfType;//文件类型,必须是字符串”BM”DWORDbfSize;//指定文件大小WORDbfReserved1;//保留字,不考虑WORDbfReserved2;//保留字,不考虑DWORDbfOffBits;//从文件头到位图数据的偏移字节数}BITMAPFILEHEADER;BMP格式——1、位图文件头typedefstructtagBITMAPINFOHEADER{DWORDbiSize;//该结构的长度,40个字节LONGbiWidth;//图像的宽度,单位是像素LONGbiHeight;//图像的高度,单位是像素WORDbiPlanes;//必须是1WORDbiBitCount//颜色位数,如1,4,8,24DWORDbiCompression;//压缩类型,如BI_RGB,BI_RLE4DWORDbiSizeImage;//实际位图数据占用的字节数LONGbiXPelsPerMeter;//水平分辨率LONGbiYPelsPerMeter;//垂直分辨率DWORDbiClrUsed;//实际使用的颜色数DWORDbiClrImportant;//重要的颜色数}BITMAPINFOHEADER;BMP格式——2、位图信息头BMP格式——3、调色板typedefstructtagRGBQUAD{BYTErgbBlue;//该颜色的蓝色分量BYTErgbGreen;//该颜色的绿色分量BYTErgbRed;//该颜色的红色分量BYTErgbReserved;//保留值,不考虑}RGBQUAD;注:有些位图不需要