注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

斗天堂

douzsh还活着

 
 
 

日志

 
 

一个智能化的图像检索系统IIRS  

2007-09-07 10:25:38|  分类: CBIR |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

邱兆文,张田文

(哈尔滨工业大学哈尔滨150001)

    摘  要:本文深入研究了支持语义查询的大型图像数据库检索技术,提出 了一种新的基于内容的图像检索系统IIRS(Intelligent Image Retrieval System)。该系统支持多种特征的组合查询,引入了反馈机制及语义查询,具有自动学习及再学习的能力。实验结果表明,引入相关反馈及语义查询,可大大 提高检索性能。
    关键词:图像检索;反馈机制;语义查询;图像数据库


1引言
    随着现代电子技术、计算机技术、网络通信技术和多媒体技术的迅猛发展,不断出现庞大的、不同内容的图像信息库。有效地建立、管理和充分利用图像信息库资 源,一直是国内外科学研究工作者关注的问题,其中基于内容的图像检索(Content based image retrieval,CBIR)技术成为一个活跃的研究领域。CBIR技术己广泛应用于WWW上的图像搜索、图像过滤、数字图书馆、视频内容检索、预防犯罪(指纹识别)、军事、知识产权(商标)、建筑与工程设计、文化遗产、医疗诊断、地理信息系统和遥感等。
    国外已经推出的CBIR系统普遍采用低层次的图像信息(如图像颜色、纹理、形状等)来实现图像内容查询。例如 IBM的 QBIC[1],哥伦比亚大学的 Visual SEEK[2]图像查询系统,MIT实验室开发的photoBook[3]系统,UIUC大学的MARS系统等。其中 QBIC使用64位颜色直方图,纹理检索采用改进的Tamura模型,采用K-L变换降低维数,再利用R*树建立索引。查询方式采用基于模板图像,基于调色板以及基于草图的方法。PhotoBook 包括轮廓、纹理、脸部特征查询,根据用户反馈采用不同模型。MARS从计算机视觉、DBMS、信息查询三个领域进行研究,提出了相关反馈的体系结构。 Virage系统通过对不同单特征空间中的距离赋予权重,构成总特征空间中的复合距离,通过调节权重和检索的特征值,表达不同的检索请求。
    国内的许多科研机构对CBIR也进行了大量的研究工作,主要是基于颜色特征的检索。为了减少存储空间和计算复杂度,提高检索效率,主要提出了两种方法。一种方法是对颜色进行聚 类,将相近的颜色归为一类,以降低特征空间的维数。国内伯晓晨等在这方面的工作中提出了“全局参考颜色表”和“自带参考颜色表”结合的方法,刘忠伟等提出 了局部累加直方图的方法。另一种方法是对颜色进行量化,以降低特征空间的维数。J.R.Smith于1996提出了在HSV 空间中的166色量化方法。在此基础上,国内曹莉华等考虑到HSV空间与人的视觉感知并不一致,提出了HSV空间中的72色非均匀量化算法,张磊进一步研 究,提出HSV空间中的36色非均匀量化算法,将特征空间的维数降低至36维,不但减少了存储空间和计算复杂度,还提高了检索的准确率。但以上三种量化算 法的共同缺点是它们在各量化区分界处附近忽视了颜色的相似连续性,这也是所有量化算法所存在的共性问题。
    本文提出的IIRS系统的特点:一是支持多种特征的组合查询,实验表明采用多特征组合查询比采用单一特征查询效率要高;二是引入反馈机制,用户根据系统输 出的查询结果与自己所期望的结果之间的差异,向系统提供相关信息的反馈,让系统依照用户的反馈重新调整查询过程,使得查询结果接近用户的期望;三是在上述 两种内容基础上与文本查询相结合,即引入了语义查询,这是未来CBIR系统查询方式的方向。
2IIRS系统的关键技术
    IIRS系统面向Internet,采用大型网络数据库,支持多用户的并行查询,并能实时返回每个用户需要的查询结果。

2.1图像数据库的建立
    一幅图像所表达的语义信息应包含两个层次,一是图像中主要含哪些目标对象,二是这些目标对象加在一起,表达了什么样的场景信息。由于计算机的理解能力有 限,现在还无法让计算机理解一幅图像所表达的场景信息,必须借助用户的相关反馈才能实现,这也是CBIR技术的一个难点。本文重点研究引入反馈机制基础上 的语义信息的自动提取和查询。
    IIRS系统中设置了两个数据库,一个是图像特征库,另一个是语义信息参照库。
    图像数据库采用Microsoft SQL Server 2000,在图像特征库中我们对图像库中图像的序号、图像在Internet上的URL地址、图像的文件名、图像的颜色特征、颜色相似度、纹理特征、纹理 相似度、形状特征、形状相似度、综合相似度、狭义语义描述、广义语义描述、特征提取日期、查询标志等做了相应定义。使IIRS系统即支持单一特征查询和组 合特征查询,又支持相关反馈和语义查询,并能自动提取语义信息。
    有关风景的图像可以是草原、森林、大海、山峰,对于一幅关于草原的图像来说,“草原”是 这幅图像的狭义语义描述,而“风景”是这幅图像的广义语义描述。我们将所有的事物分类,构造一棵语义树T。语义树T中任意一个节点的语义信息都概括了其所 有子节点所表达的语义信息。在进行语义查询时,利用数据结构中的广度优先搜索算法对该语义树T按层次遍历。在语义树T中找到该结点S后,以S为新的根结 点,S的所有子节点为子节点,构造一棵新语义树T1。在新语义树T1中,从最底层和图像特征库进行语义信息匹配,直到新语义树T1的根结点S为止,返回语义信息匹配的图像。利用所构造的语义树T,还可根据从一幅图像中提取到的狭义语义信息来提取出这幅图像所表达的广义语义信息。
2.2图像的特征提取
    颜色是图像的一个主要物理特征,利用颜色特征检索主要基于色彩直方图[4]。色彩直方图表征了图像色彩频率分布,但丢失了色彩的空间信息。而纹理和形状特征可很好地描述色彩的空间信息。因此IIRS系统综合使用了基于颜色、纹理和形状的特征提取方法。
2.2.1颜色特征提取

    IIRS系统在进行颜色特征提取时,采用了HSV颜色模型。本文在曹莉华的72色非均匀量化算法[5]和张磊的36色非均匀量化算法[6]的 基础上,进一步研究,提出了一种新的基于HSV空间的22色非均匀量化算法。本文提出的22色量化算法不但大大减少了存储空间和计算复杂度,还提高了检索 的准确率。在所有的色彩空间中,HSV模型对应于画家配色模型,它能较好反映人对色彩的感知和鉴别能力,非常适合基于色彩的图像相似比较[7],HSV 空间是一个圆柱(如图1所示),HSV模型的色调H(0≤H≤360)是由颜色名称来辨别的,如红、橙、绿等;饱和度S(0≤S≤1)指颜色的深浅,例如 同样是红色,也会因浓度不同而分为深红和浅红,通常用百分比度量,从0%到完全饱和100%;亮度V(0≤V≤1)是颜色的明暗程度,也用百分比度量,从 黑0%到白100%。


    在HSV空间中,H从0到360变化时,色调依次呈现为我们熟悉的红、橙、黄、绿、青、蓝、紫,而且每一种色调对应的H分量的区域不均匀。这种不均匀体现 在三基色红、绿、蓝所占的空间较大,与视觉模型近似,因此将H分量根据视觉对颜色的心理感觉,分为不等间隔的七份。当V足够小(V≤0.2时),视觉 感知的颜色基本上接近黑色,可以忽略H的影响,仅需一个量化值就可以表示。我们将H,S,V3个分量进行非均匀量化,把色调H分成8份,饱和度S分成3 份,亮度V分成1份,并根据色彩的不同范围进行量化,量化后的色调、饱和度和亮度值分别为H,S,V,见公式(2)。

    按照以上的量化级,把3个颜色分量合成为一维特征矢量:

其中Qs和Qv分别是分量S和V的量化级数,取Qs=3,Qv=1.因此(3)式可表示为:

这样,H,S,V3个分量在一维矢量上分布开来。根据(4)式,l取值范围为[0,1,…21],计算l获得22柄的一维直方图,这样量化可有效减少图像受光照强度的影响。
    对于每一幅数字图像,将每个像素的色彩由RGB变换到HSV色彩空间,利用上面的基于HSV空间的22色非均匀量化算法对颜色进行聚类,将特征空间降低至22维。最后利用代表色来表征图像,并统计出其色彩直方图。色彩直方图空间H的定义:

    h[ck]表示第k种色彩的像素的频数。
    度量两幅图像色彩直方图相似性的方法采用欧几里德距离,欧几里德距离的定义:

    进行图像检索时,计算出例子图像的色彩直方图与图像库中所有图像的色彩直方图间的欧氏距离。根据相似距离从小到大排列各图像,距离越小,即认为两幅图像越相似,当距离为零时,可以认为是同一幅图像。根据用户要求返回图像的数目n,返回排在最前面的n幅图像。
2.2.2纹理特征提取
    在进行纹理特征提取时,利用灰度共生矩阵法[8]来提取纹理特征。
    灰度共生矩阵的定义:图像的灰度级定为N级,那么灰度共生矩阵为N×N矩阵,可表示为Mδ(i,j),其中位于(i,j)的元素mij的值表示一个灰度为i,而另一个灰度为j的两个相距为δ=(Δx,Δy)的像素对出现的次数。选取表示纹理特征的四个统计量:对比度(contrast)、纹理的一致性(uniformity)、像素对灰度的相关性(correlation)和熵(entropy)作为特征向量。
    在0°,45°,90°,135°四个方向上提取上述的四个纹理特征,组成16维的特征向量。
2.2.3形状特征提取
    形状特征提取主要用到矩,有关矩的概念请参考文献[9]。通过矩来描述形状,计算速度快。在形状特征提取算法中,只是对量化后的各色彩计算其矩,较之图像分割的方法具有较高的鲁棒性,算法也较为简单。在各阶矩中,选定零阶、一阶矩作为图像的空间特征。
2.3IIRS系统采用的查询方法:

    IIRS系统支持基于颜色、纹理和形状的特征的查询和几种特征的组合查询,为不同的检索方法分配不同的权重,并辅助语义查询,IIRS系统根据用户的反馈信息,对图像库中的图像自动分类,逐步求精,直至系统返回用户满意的查询结果。

    (1)IIRS系统的查询原理
    用户给出一幅图像,例如一幅有关蝴蝶的图像,在图像下方的语义信息注释栏内填写“蝴蝶”二字,并选择用户要返回相关图像的个数n,然后分别可用基于颜色、基于纹理、基于形状和综合特征查询四种方式去检索图像。IIRS系统计算用户给出的图 像与图像数据库中每幅图像的对应相似度,根据计算得到的相似度进行排序,返回前n幅图像。返回的n幅图像下面有两个选项,相关和不相关。用户对返回的n 幅图像进行标注。被标注相关的图像的语义字段会被加注“蝴蝶”二字,并且返回的n幅图像每个图像的flag字段都被标上1,表示此图像己检索过。这样 flag字段为1,且语义字段不含“蝴蝶”二字的图像下次便不会被系统检索。而flag字段为1,且语义字段含“蝴蝶”二字的图像下次便会被系统优先选 取。在将多特征组合查询和语义查询结合使用时,优先在图像库中选取语义匹配的图像,按综合相似度排序返回。若返回图像的数目不够,再扩大查找范围,按综合 相似度排序返回其余图像。
    (2)用户反馈信息的利用
    用户反馈信息的利用好坏,对系统的检索性能起关键性作用,IIRS系统在两个方面利用了用户的反馈信息。
    首先,IIRS系统根据用户的反馈信息,对图像库中的图像自动分类,加注语义信息,使基于物理特征的查询和语义查询结合起来。
    在使用多特征组合查询时,各物理特征在组合特征中所占的权重对检索结果起重要作用。(其中wi为第i个物理特征所占的权重,ni为使用第i个物理特征检索时返回图像的个数,n为

    在IIRS系统中,各物理特征所占权重是动态分配的,决定各物理特征的权重公式见(7)返回图像的总数。)
    实验结果表明这样选择权重比默认各物理特征所占权重均是1/3效果要好。
    (3)检索速度的提高
    为提高检索速度,缩小查询范围,可通过定义查找窗口的大小L(0≤L≤1)来实现。先将两幅图像间的距离d归一化(0≤d≤1),当d=0时,可认为两幅 图像完全相同,当d=1时,表明两幅图像间距离最大,即两幅图像表达的语义内容完全不相关。默认的初始查找窗口大小为L=0.5, 这样,在图像库中和例子图像间的距离d>0.5的图像,其查询标志字段被标上1,下次查询时,查询标志字段为1的图像就会被过滤掉,从而实现缩小查 找范围,提高检索速度。若用户对检索结果不满意,可重新定义查找窗口L的大小。查找窗口最小时L=0,返回的图像是和例子图像完全匹配的图像;查找窗口最 大时L=1,此时查找范围为整个图像库。
    实验结果表明,通过定义查找窗口L的大小,可有效地提高检索速度。特别,查找窗口L越小时,检索速度提高的越明显。
3实验建立与分析

    IIRS系统采用Microsoft Visual C++ 6.0编程语言、Microsoft SQL Server 2000 为图像特征库在Windows 2000 Advanced Server环境下实现。
    为验证本文所述方法的有效性和正确性,本文做了利用单一特征查询,组合特征查询与引入语义查询及相关反馈查询之间的检索性能对比实验。
    实验图像库由与30个主题(如太阳、鲜花、蝴蝶、海浪等)相关的图像组成,每一主题包含20
幅图像,共计N=20*30=600幅图像。可以视同属一主题的两幅图像为相关,而视不属于同一主题的两幅图像为不相关。
    图像检索结果的好坏由查准率和查全率来衡量。查准率定义为检索结果前10幅图像中相关图像所占的百分率,而查全率定义为检索结果前20幅图像中相关图像占数据库中所有相关图像的百分率。
    本文做了以下实验:(1)实验从图像数据库中随机选取了150幅图像作为例子图像(每一主题各5幅),每次检索返回20幅图像,但不做相关反馈,分析平均 查准率和查全率;(2)引入语义查询及相关反馈,反馈次数N小于3次,分析每次反馈后的查准率和查全率。对两次实验结果进行对比分析见(表1):

4结论与今后工作
    从实验结果可以得出以下结论:(1)多特征组合查询要比单一特征查询效果好;(2)引入相关反馈及语义查询后,查准率和查全率快速提高。反馈3次以后,在 查准率方面,基于颜色的方法提高了20%,基于纹理的方法提高了23%,基于形状的方法提高了11%,综合特征检索提高了10%。在查全率方面,基于颜色 的方法提高了26%,基于纹理的方法提高了27%,基于形状的方法提高了19%,综合特征检索提高了18%。
    今后工作集中在以下几方面:(1)选取包含更多数据的图像数据库进行测试;(2)研究更加有效的学习机制,充分利用图像的语义信息提高查询效率;(3)改进并行特征提取算法和检索算法,使IIRS系统面向Internet,实现实时图像检索。

参考文献:

[1]M.FLICKNER,H.SAWHNEY,W.NIBLACK,J.ASHLEY, Q.HUANG,and B.DOM,et a1.Query by Image and Video Content:The QBIC System[J].IEEE Computer Septermber1995,28(9):23-32.
[2]J.R.SMITH et al.Tools and techniques for color image retrieval[C].SPIE Conference On Storage and Retrieval for lmage and Video Database IV.1996,2670.
[3]JOHN R.SMITH and SHIH-FU CHANG.Visual Seek:a fully automated content-based image query system[C].Proceedings of ACM Multimedia 96.Boston MA USA:1996.87-98.
[4]SWAIN M J,BALLARD D H.Color indexing[J].International Journal of Computer Vision.1991.7(1):11-32
[5]CAO LI-HUA.Research And lmplementation of An Image Retrieval AlgorithmBased on Multiple Dominant Colors[J].Journal of computer research & development.Vo1.36,No.1.Jan.1999
[6]ZHANG LEI.A CBIR method based on color-spatial feature[C].IEEE Regin10 Annual International Conference 1999.Cheju,Korea.1999:166-169.
[7]SMITH J R,CHANG S F.Tools and techniques for color image retrieval[J].SPTE Vol 2670,1996.426-437
[8]CALVIN C.GOTLIEB and HERBERT E.KREYSZIG.Texture descriptors based onco-occurrence matrices[C].Comput.Vis.,Graphics,and ImageProc.1990.51:70-86
[9][日]谷口庆治.数字图像处理[M].科学出版社,2002.95-96

自动化技术与应用

  评论这张
 
阅读(568)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017