搜索
基于多媒体融合的图像检索的技术陆伟艳（广西民族师范学院广西崇左532200）摘要：基于多媒体融合的图像检索技术是目前研究的热点。本文分析了并总结基于多媒体融合的图像检索的概念，综述基于多媒体融合的图像检索的方法和相关的技术。最后简单介绍一种新的基于语音识别的图像检索的方法以及实践。关键词：多媒体融合；图像检索作者简介：陆伟艳（1980—），壮族，女，桂林电子科技大学硕士，讲师，研究方向：信息与信号处理与移动通信系统网络，工作单位：广西民族师范学院。1、引言随着多媒体技术和网组的迅速发展，以及3G、4G移动通信系统的发展，移动通信从语音业务过渡到移动宽带业务的发展出现了移动多媒体广播业务。多媒体信息的数据从以前的紧缺飞速的增，并随着人们日益需求的不断增加而迅速增加。图像信息的应用日益广泛，人们对图像数据的查询需要日益增长，对规模越来越大的图像数据库进行有效的管理就成为迫切需要解决的问题了。2、基于多媒体融合的图像检索的概念2.1基于多媒体融合的图像检索多媒体信息是指以文字、图像、影像、声音和动画等为表现形式的媒体信息。所谓的基于多媒体融合的图像检索是对图像对象的内容及上下文语义环境精心检索，如图像的颜色、纹理、形状、符号，描述图像的语音等语义特征来实现与图像内容信息相关的检索。2.2基于内容的图像检索技术的概念基于内容的图像检索是依靠图像特征进行标引和检索。所谓图像特征的画面内容特征（图像颜色和纹理等），以及图像的主题对象特征。基于内容的图像检索主要技术着重于图像的画面内容特征和主题对象特征来进行检索。它直接对图像内容进行分析，抽取特征和语义，利用这些内容特征建立索引进行检索，还融合了模式识别、计算机视觉及图像理解等技术。用户待查图像内容特征特征分析抽取特征信息标引按相似度排列的检索结果特征信息标引特征匹配计算相似度特征匹配特征信息索引库图像图像索引图1基于内容的图像检索技术的概念模型2.2.1基于颜色特征的检索颜色特征是图像检索中所使用的最直观的视觉特征。在基于颜色检索中除了采用颜色直方图外，还引用了空域信息，它确保检索的精度。在引用空域信息的时候要兼顾不变性的问题。同样，为了更好的保存图像色彩空间的信息，PASS提出了图像的色彩聚合向量（CCV）来做图像的索引。2.2.2基于形状特征的检索形状特征也称为轮廓特征，是指整个图像或图像中子对象的边缘特征。采用形状特征进行检索时，用户可以通过勾勒图像的形状或轮廓，从图像库中检索出形状相似的图像。基于形状的检索更多的用于当用户粗略的画出一个轮廓进行检索的情况。用户可以选择某一形状或勾画一副草图，利用形状特征或匹配主要边界进行检索。基于形状特征的检索方法主要有两种：1．针对轮廓线进行的形状特征检索，也就是分割图像进行边缘提取后，得到目标的轮廓线。2．直接针对图形寻找适当的向量特征进行检索。2.2.3．基于纹理特征的检索纹理检索与纹理分类技术有着密不可分的关系，包括有两种方法：一种是统计方法，人们提出以图像像素的颜色的分布统计信息和轮廓点的位置分布统计信息作为图像的特征量，并使用该特征量实现图像的检索。另一种是结构方法，通过对纹理颜色的定性描述，把检索空间缩小到某个颜色范围，然后再以示例查询的方法为基础，调整粗糙度、方向性和对比度三个特征值，逐步逼近要检索的目标。2.2.4.基于对象特征的检索基于对象特征的检索就是对图像中所包含的静态子对象进行查询，检索条件可以利用综合颜色、纹理、形状特征、逻辑特征及客观属性等，例如综合利用颜色和纹理特征。基于对象特征的检索首先要对图像进行预处理，将原始像素信息分割成一些颜色和纹理在空间上连贯分布的区域，计算出每个区域的颜色、纹理和空间特征。这种方法用于检索图像对象或子对象，所以出来对图像要做预处理外，还需要进行图像分割，在难度和复杂度上，比基于颜色和纹理的检索技术更进一步。对于分割后的每个区域，用一个多维向量来表示其颜色、纹理、形状及空间关系等特征，这样对于一个给定的区域，所得到的多维向量是确定的。检索的时候，根据用户所提供的信息或草图，利用高效的检索算法进行匹配，再根据相似性测度函数进行过滤，将相似度高的图像提供给用户。3、基于语音识别的图像检索方法与实践基于多媒体融合的图像检索技术主要分为两大模块：语音识别模块和图像检索模块。在文献中采用的是手动图像标注的方式进行语音识别对数字图像进行检索，这种方法有一定的创造性，但是运用起来工作量繁重尤其是对海量的图像数据。针对此问题本文介绍一种图像语义自动标注的图像检索系统，如图2所示为本文将介绍的基于多媒体融合的图像检索系统流程图。图像库图像语义自动标注语音识别相似度匹配提取图像特征图像特征读入检索词检索结果图2系统流程图基于语音识别的图像检索系统的用户查询与基于文本的图像检索、基于内容的图像检索系统不同的是用户是说出查询关键词，算法通过分析将查询要求转化为计算机内部描述，从而获得查询图的特征，然后借助特征库中的特征匹配从图像数据库提取出用户需要图像。在语音识别模块中包括语音库的建立、端点检测、特征提取、特征匹配。在语音识别模块中，首先要建立一个语音库作为参考模板，以便与用户读入查询词形成的测试模板进行匹配，识别出用户要检索的关键词。在语音录制存储后，对语音信号分帧，然后对分帧后的语音信号进行语音增强，然后对增强后的语音信号进行端点检测。特征提取部分的作用是从语音信号波形中提取一组或几组能够描述语音信号特征的参数,如平均能量、过零率、共振峰、倒谱、线性预测系数等，特征提取是模式识别的关键。最后是特征匹配。4.结论语基于多媒体融合的图像检索是个新兴的研究领域，在国内外仍处于研究探索的阶段。随着Internet的技术发展，移动通信从模拟语音时代发展到数字系统，语音与少量数据的传输发展到今天已是宽带业务的需要，更加需要语音识别检索取代的手写输入的检索方式的系统。本文在最后简单的介绍了基于语音识别的图像检索系统与实践，但这只能用于简单的检索测试，距离实际应用还需要不断的改进。【参考文献】[1]刘向兵,李立国.高等学校实施战略管理的理论探讨[J].科技信息.2010(23)[2]祁顺生.以价值为基础的要素与企业——关于价值均衡的理论探讨[J].经济研究.(02)[3]张振川.现代企业风险价值管理问题探讨[J].会计研究.2004(03)[4]汤谷良,林长泉.打造VBM框架下的价值型财务管理模式[J].会计研究.2003(12)[5]胡笑寒,万迪昉.战略控制方法与管理控制方法的比较及发展研究[J].广东科技.(04)[6]何有缘,侯兰,任洪斌.信息沟通中经理人应遵循的“531”策略[J].中国农业大学学报(社会科学版).(04)[7]刘萍.从经济学角度分析公允价值与市场价值[J].中国注册会计师.2002(12)[8]德国胜.提高变电站电力系统自动化的技术途径探讨[J].黑龙江科技信息.2010(36)[9]王春美,闫彩英.浅谈企业文化建设的价值取向[J].生产力研究.2001(06)[10]袁改莲,芦震.220kV小店变电站2号主变差动保护跳闸的事故分析[J].科技情报开发与经济.(33)[11]周雯,邢建武.新经济时期以来美国制造业及服务业的发展[J].特区经济.2009(01)[12]赵东安,杨春.生产性服务业对制造业升级的影响研究——韩国现代化经验及对我国的启示[J].特区经济.2009(01)[13]戴靖波.Z形接地变压器在变电站的应用[J].湘潭师范学院学报(自然科学版).(01)[14]侯晓音.地区变电站自动化系统设计[J].北华大学学报(自然科学版).2007(05)[15]顾乃华,毕斗斗,任旺兵.生产性服务业与制造业互动发展:文献综述[J].经济学家.(06)[16]益瑞涵.美国大学的品牌管理及启示——以马里兰大学为例[J].华南理工大学学报(社会科学版).2007(02)[17]顾乃华,毕斗斗,任旺兵.中国转型期生产性服务业发展与制造业竞争力关系研究——基于面板数据的实证分析[J].中国工业经济.(09)[18]刘志彪.发展现代生产者服务业与调整优化制造业结构[J].南京大学学报(哲学.人文科学.社会科学版).2006(05)