基于内容的图片搜索引擎

1、项目背景及研究目的和意义项目背景：图像是用各种观测系统以不同形式和手段观测客观世界而获得的,可以直接或间接作用于人眼并进而产生视知觉的实体,科学研究和统计表明,人类从外界获得的信息约有75%是从图像中获得的[1]。通过绘画或摄影、摄像得到的图像是人类获取信息的重要手段,这些图像以雕刻或纸张印刷的形式保留下来便于人们浏览、查询。但是当计算机以及互联网出现时,图像的浏览、查询发生了根本性的变化。图片搜索也在人们的生活中越来越普及化，因此目前图片搜索引擎很发达，而图片搜索主要分为基于文本的图片搜索引擎、基于内容的图片搜索引擎以及基于语义的图片搜索引擎。其中最为成熟的是基于文本的图片搜索引擎，基于文本的图片搜索引擎的搜索方式是以文本为关键字进行图片搜索。在基于文本的图片搜索技术研究的早期，图片被作为数据库中存储的一个对象，并人工地用文本对其进行描述。这种方法比较简单易行，一般是使用数据库管理系统（DBMS）来实现，当然，这种方式的缺点也是很明显的：一是需要人工对图片进行注释，工作量相当大，特别是图片数据量非常大时，人工标注是不切实际的；二是人工标注不可避免的会带来主观性和不精确性，因为不同的人对同一幅图片的理解可能是不相同的。所以说在互联网环境下，对网上的海量图片数据进行人工注释是不现实的。随着信息搜索技术的不断成熟，互联网网页信息自动采集和标引作为搜索引擎的重要组成部分，也得到了深入的研究，首先是广泛应用于文本搜索引擎中，同时也使用来对图片搜索引擎技术进行改进，因为，与文件系统中独立的图片文件不同，互联网上的图片是作为网页的一部分出现的，具有相关的上下文环境，图片所在网页的标题、图片的提示文字、图片的文件名称、与图片密切环绕的文字以及网页中的其它文字，都可以作为对图片进行描述的依据。目前谷歌、雅虎、百度提供的图片搜索服务，都主要是基于这种技术的。然而，利用网页上的文字来对网页中的图片进行标注，是非常困难、非常不精确的。例如说这样一个情况：有一个主题为“奥巴马打蓝球遭肘击缝12针，太岁头上动土谁如此大胆”的网页，页面中开头位置放置有一张奥巴马刚缝完针的照片，当用户输入“篮球”作为关键词，希望得到一些篮球的特写图片，结果却把奥巴马的这张照片搜索出来了。这就是用网页文字内容对图片进行自动标注造成的不准确的结果。因此基于内容的搜索引擎是目前搜索引擎技术发展的一个重要课题。基于内容的搜索引擎尝试直接分析图片文件，将它们根据特征分类。用户可以通过提交一幅图片来表达自己的搜索意图(比如用户希望能够搜索到含有类似图片的网站)，搜索引擎系统通过对用户提交的图片文件进行分析、比对，输出检索到的信息。目前，基于内容的图片搜索引擎还处在探索阶段，目前还不存在得到广泛运用的通用搜索引擎[2]。有一些研究机构正在尝试从事特定范围的基于内容的图片搜索引擎研究，如针对特定的图片资料库建立搜索引擎，或者对特定类型的图片资料进行检索等［3］。鉴于基于内容的图片搜索引擎的重要性，国内外已纷纷投入人力财力物力广泛开展研究并研制成一些系统[4,5]。Virage公司的VIR（VisualInformationRetrieval）图像引擎提供了四种可视属性进行图像的检索（颜色、成分、纹理、形状）[13]。每种属性被赋予0到10的权值。该软件对选出的基础图像的色调、色彩以及饱和度进行分析，然后再图像库中查找与这些颜色属相相近的图像。成分特性是指相关颜色区域的近似程度。用户可设定一个或多个属性的权值优化检索。由于要在众多图像特征中配比权值，所以VIR仍然算是一种需要人为参与的图像检索系统。国内对于图片搜索系统研究相对较晚。国防科技大学的多媒体信息查询和检索系统MIRC，描述了多媒体内容和结构特征以及信息检索数据模型，支持基于内容的多媒体信息查询和检索[6]。根据用户提供的图像或视频帧例子，基于颜色和轮廓特征进行查询。浙江大学的基于内容多媒体检索系统WebscopeCBR，支持基于关键字、全局颜色、局部纹理、对象形状、颜色布局、纹理布局等的查询。但在系统中众多的图像特征依然是独立的状态，未能有效的联合众多图像特征进行检索。本项目将对现阶段基于内容的图片搜索引擎进行优化、改进，减少人为参与所带来的搜索结果的不准确性。研究目的和意义：文本信息无法完全描述图片信息的矛盾已非常显著，人们对于搜索引擎的准确率的要求正随着互联网数据量的增长而提高，因此传统的图片搜索引擎就很难满足需求，相似图片搜索引擎应运而生。一般的图片搜索引擎通过对图象信息的文字描述来进行检索，而且对于用户来说，不可能在查询时候很精确地用文字对图象进行合理的描述，因此提高查询结果的准确率显得尤为重要。相似图片搜索是一种新的在线图片搜索引擎：不像其它图片搜索引擎是根据提交的关键字进行搜索，而是根据上传的图片去搜索相似的图片。相似图片搜索是用颜色、纹理、形状以及区域等视觉特征，根据例图在大量图像中集中进行检索，实现了图像视觉特征的检索。这种以图搜图的查询模式是对“以关键字搜图”的一大突破[7]。基于内容的图片搜索引擎能广泛应用于遥感图像处理、空间探测、医疗图片检索、商标图片检索、建筑工程图、天气预报、公安图像侦查、艺术馆藏资料管理和数字化图书馆等许多领域。伴随着Internet的发展，多媒体数据特别是数字图像信息成为网上的重要资源，而这些资源的内容检索都离不开基于内容的图片搜索引擎技术[8]。2项目研究目标、研究内容和拟解决的关键问题研究目标：本项目主要研究“以图搜图”的搜索方式，对图像特征提取进行深入分析。完成对图像区域分割、图像特征提取和相似度对比的设计与实现，从而提出一套完整的系统设计方案，并且实现一个初步的基于内容的图片搜索引擎系统。由于图像处理的计算量较大，本项目拟使用分布式计算提高速度。基于本项目的研究，将能够向“以图搜视频”这一良好的发展前景迈进一步。研究内容：1、图像区域分割本项目拟用图像区域分割方法先将图片分割成多个区域，再对每个区域进行图像特征提取并与对应区域进行对比。相对于直接对整张图片进行特征提取而仅仅对比一次而言，本项目先分割后提取、对比的方法能够提高图片搜索的准确率。2、图像特征提取图片搜索需要对两张图片进行对比，但如果逐像素对比会消耗大量时间，所以本项目先对图像进行特征提取，通过特征进行对比，从而提高搜索速度。本项目将采用感知哈希算法对图像特征进行提取，感知哈希算法提取出的特征值组成一个向量。3、图片相似对比感知哈希算法所产生的向量（亦称指纹）代表着原图与数据库中的图片对比后的相似程度。指纹中如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。本项目将在生成两张图片的指纹的基础上，计算出两图间的相似度，以相似度作为排序的标准。拟解决的关键问题：1、图像区域分割：本项目将采用区域生长技术对图像进行分割。区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，这样一个区域就长成了。2、图像特征提取：1)缩小图片尺寸：最快速的去除高频和细节，只保留结构明暗的方法就是缩小尺寸。将图片缩小到8x8的尺寸，总共64个像素，摒弃不同尺寸、比例带来的图片差异。2)简化色彩：将缩小后的图片转为64级灰度，也就是说所有像素点总共64种颜色。（简化色彩公式：Gray=0.299R+0.587G+0.114B）3)计算平均值：计算所有64个像素的灰度平均值。4)比较像素的灰度：将每个像素的灰度与平均值进行比较，大于或等于平均值，记为1；小于平均值，记为0。5)计算哈希值：将上一步的比较结果，组合在一起，组成一个1行64列的向量，这就是这张图片的指纹。组合的次序并不重要，只需保证所有图片采用同样次序（例如，自左到右、自顶向下、big-endian）。3、图片相似对比：实验显示，感知哈希算法对图片的形状特征较为敏感，但无法很好地辨别出颜色的不同，因此本项目将在原算法的基础上添加图片颜色识别算法，以此提高图片搜索算法得准确率。在相似度匹配运算中，首先将数据库中的图片的颜色与例图（用户输入的图片）对比，将搜索范围缩小为同颜色的图片；然后对例图与数据库中图片的指纹进行对比，排除不相似的图片，并根据图片相似度进行排序得到最佳匹配图片序列。3项目研究的实施方案及拟采取的研究方法和技术路线3.1实施方案：1)对感知哈希算法的每一个步骤进行了解、分析：a.查询有关图像处理以及感知哈希算法的论文，找出缩小图片尺寸的算法，并进行分析，为感知哈希算法的实现奠定基础；b.确定指纹组合的次序；c.查询有关颜色识别的论文，并对其进行分析；d.将颜色识别与感知哈希算法融合在一起，形成一套有更高准确率的算法。2)将上一步的算法置于分布式平台中，建立一个基于分布式计算的图片搜索引擎模型；3)根据模型将技术模块分为图像特征提取模块与分布式搜索引擎模块，并设计出技术架构；4)根据技术架构，将开发工作分配给项目成员，并监督完成情况；5)将各成员实现的模块汇总，并进行测试工作；6)对项目产品进行优化，并根据产品进行总结。调研学习算法阶段了解并分析感知哈希算法确定指纹组合顺序查询并分析有关颜色识别论文融合形成一套准确率更高的算法建立分布式平台上的图片搜索引擎模型图像特征提取模块分布式搜索引擎模块根据构架分配任务并监督完成测试阶段产品优化并做开发总结图一：实施方案图3.2拟采取的研究方法和技术路线：1)本项目各阶段安排与预计的进度如下：a.2013.03—2013.04：查阅有关图像特征提取的文献，并对其做细致的研究；b.2013.05—2013.06：根据我们的分析结果，建立基于内容的图片搜索引擎模型；c.2013.07—2013.08：根据建立的图片搜索引擎模型，设计出各个模块的技术架构；d.2013.09：根据设计出的架构，完成系统文档的编写；e.2013.10—2013.12：根据系统文档，完成系统的开发以及测试工作；f.2014.02—2014.03：项目研究优化和总结。2)技术路线开始对当前传统的搜索方式进行研究建立对应的图片搜索模型设计系统总体构架设计后台信息管理系统设计web浏览器构架开发web浏览器开发后台管理系统完成系统整合以及测试项目优化和总结图2：项目拟采用的技术路线图4项目的可行性分析4.1团队实力：a.项目组马凡琳同学曾荣获华中赛数学建模二等奖，对常用建模知识有较深的了解；b.项目组于立同学具有很强的编程能力，曾荣获第六届计算机设计大赛软件开发组二等奖、第四届中国大学生服务外包创新创业大赛三等奖等；c.项目组于立同学搭建过Hadoop框架，对分布式技术有一定程度上的了解，对本项目的完成与实现有很大的帮助；d.项目组其他成员均来自计算机学院，熟悉Java语言，具有一定的编程能力。4.2技术实现在模型构建层面，我们鉴于大数据时代的到来，把项目建立在分布式的基础之上，并针对图像处理的特殊需求，筛选出合适的图像处理技术，以构建基于内容的图片搜索引擎模型。在后台信息管理系统方面，我们将使用基于SSH框架的J2EE技术进行开发。在集群环境中，首先通过爬虫程序对网络中的图片资源进行抓取，从而在其中提取图像特征，并进行死链检查（死链为服务器地址已改变的链接），最后生成缩略图，通过建立的索引提供用户的查询以满足用户的需求。5项目的创新之处（50字以内）1)通过感知哈希算法将图片搜索转化为传统的文本搜索2)这种以图搜图的查询模式是对“以关键字搜图”的一大突破6项目预期成果1)建立一个基于内容的图片搜索引擎模型；2)开发一套基于B/S构架的搜索系统；参考文献：[1]章毓晋.图像处理和分析[M].1999.[2]焦隽,姜远,黎铭等.一种在无标注图像库中进行的基于关键词的检索方法［J］.模式识别与人工智能.2009.[3]XuL,OjaE.Ra