注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

斗天堂

douzsh还活着

 
 
 

日志

 
 

基于内容的图像检索技术--张培军,姜志远  

2007-09-07 10:21:34|  分类: CBIR |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

http://budui001.bokee.com/viewdiary.13343390.html

近 年来,随着多媒体技术和计算机网络的飞速发展,全世界的数字图像的容量正以惊人的速度增长。无论是军用还是民用设备,每天都会产生数以万兆字节的图像。这 些数字图像中包含了大量有用的信息。然而,由于这些图像是无序地分布在世界各地,图像中包含的信息无法被有效地访问和利用。这就要求有一种能够快速而且准 确地查找访问图像的技术,也就是所谓的图像检索技术。图像检索技术分为基于文本的图像检索技术(text-based image retrieval)和基于内容的图像检索技术(content-based image retrieval)。本文就基于内容的图像检索技术作一介绍。

一、概述

基于内容的图像检索技术是一种综合集成技术,它通过分析图像的内容,如颜色、纹理等,建立特征索引,并存储在特征库中。用户在查询时,只要把自己对图像的模糊印象描述出来,就可以在大容量图像库中找到想要的图像。基于内容的图像检索技术与其它相关学科的主要区别是:首先,它是一种信息检索技术,应能从大型分布式数据库中以用户可以接受的响应时间及尽量与领域无关的方式(在需要时也可以是与领域相关的)检索到想要的图像信息。它可以不去理解图像中的对象,更关注的是信息的快速查询和发现。举个例子来说,用户想买一辆汽车,那么他选定了汽车的颜色和外形,数据库系统就能返回所有符合条件的汽车的图像,从而帮助用户快速找到目标。其次,作为一种多媒体技术,它具有很强的交互性,即用户可以参与检索过程。最后,它引入了特征库和知识辅助的概念。用特征库保存描述图像内容的特征,知识辅助有利于查询优化和快速匹配。

从图像检索的应用角度出发,除了采用传统的结构化查询方法以外,还可以采用可视的示例查询方式。具体可以分为以下几种:

1.准确实例检索和查询

准确实例检索和查询(Retrieval And Query By Exact Example)针对用户给出的确切查询实例,如用户拿到某地区的照片或图样,需查询有关该地区的其它信息,这种查询称作完全的实例查询。由于用户可以给出要求查询的原图像,检索可以针对图像的任何特征进行,因此,相对来说比较容易。

2.模糊实例查询

在基于内容的查询中,大部分查询实际上都是模糊实例查询(Retrieval And Query By Fuzzy Example)。因为在很多情况下,用户无法给出一个完全的例子,往往只能给出(或者说从一部分示例中选择出)一个想要检索的图像的例子,然后系统依照这个例子查找与它相似的图像,并将相似结果返回给用户,用户可以在这些相似的结果中决定或再次选择更接近用户查询的图像,从而进行下一次相似性计算,以达到模糊检索的目的。目前,大部分QBE(Query By Example)所用的实际上都是这种模糊查询。

3.描绘示例检索和查询

描绘示例检索和查询(Retrieval And Query By Describable Example)是针对用户给出的所需图像的粗略结构化描述进行处理。如用户提供一个(可能是画的)需查找图像的"形状"的粗略轮廓,在这种情况下,一般没有一个完全的实例,因此,只有用一些局部特征,这时需要抽取这些局部特征,如形状或每个形状所定义的在图像中空间定位的相关结构。对于形状的每个部分,必须在库中找到相应的形状,并返回相应的图像集。

二、图像特征提取与表达的方法

不论哪种查询方法,都需要针对图像的具体特征进行匹配检索。在实际应用中,用户一般对颜色、纹理、形状以及目标的空间关系等特征比较敏感。下面就常用的特征介绍几种基于内容的图像检索方法。

1、基于颜色特征的检索

颜色特征是图像最直观、最明显的特征,一般用直方图描述。直方图的横轴表示颜色等级,纵轴表示在某一个颜色等级上具有该颜色的象素在整幅图像中所占的比例。以直方图为特征的常用的匹配方法有:

1.矢量距离法

以图像的直方图在各个灰度级上的值构成特征矢量,按照欧氏距离公式计算特征矢量之间的距离,以这个距离值代表图像之间的差别程度。试验证明,如果选择合适的彩色空间,那么,欧氏距离与人感觉的颜色差别是一致的。

2.直方图交叉法

取两幅图像的直方图在各个灰度级上的较小值,累加后即表示图像之间的相似程度。这种相似度实际上表示两幅图像的公共部分。

3.直接差值法

把直方图在各个灰度级上的值对应相减,并做归一化处理,用差值代表图像之间的差别。如果两幅图像内容一样,则相似度为1。相似度值越小,表示图像间差别越大。

另外,根据图像的不同特点,可以采用不同的方法对图像进行预处理,然后用直方图进行匹配,以满足不同的检索要求。

认知科学及视觉心理学证明,人类不能像计算机显示器那样只使用RGB(红、绿、蓝)成份感知颜色,因此,选择一个适合于人类视觉特征的颜色空间可以改善检索效果。实验证明,HSV模型是一种适合人眼分辨的模型,在基于内容检索中用这种模型更适合用户的肉眼判断。这种颜色模型把彩色信号表示为三种属性:色调(Hue)、饱和度(Saturation)和亮度(Value)。色调H表示从一个物体反射过来或透过物体的光波长,亮度V是颜色的明暗程度,色度或饱和度S指颜色的深浅。例如,同样是红色,会因浓度不同而分为深红和浅红。一般一幅图像的颜色非常多,尤其是真彩色图像,因此,直方图矢量的维数也会非常多。如果对HSV空间进行适当的量化后再计算直方图,则计算量要少得多。所以,HSV三个分量按照人的感知进行非等间隔量化,然后通过数学公式把HSV三维空间中的特征矢量转换为一维空间中的特征矢量。转换工作会带来误差,但对检索结果影响不大。

由于所采用的彩色空间与人的感知是一致的,因此,用转换后的直方图计算的差值对应于感知上的差别,这样可以比较明显地区分颜色上不相似的图像。虽然直方图特征计算简单,但不能反映图像中对象的空间特征。颜色对(Color Pair)方法可以解决这个问题。该方法把图像分成相同大小的若干个小块,那么,每一个小块与相邻的小块构成颜色对。考虑每个小块与周围8个小块的颜色距离,距离越大,说明相邻小块的差别越明显,于是,可以认为这两个小块分别属于目标和背景,反之则属于同一目标或背景。这样,目标的空间特征就表现出来了。首先计算颜色对之间的距离,然后选择若干个距离值较大的颜色对代表查询图像的特征,这一过程如下图所示。

主色调查询主要使用颜色特征。主色调能够代表一幅图像的基本概貌,如蓝色主色调往往与大海或蓝天的图像相关,如果用户想要查找大海的照片,则可以指定蓝色作为主色调。但主色调仅仅反映了图像的大致情况,由于人的肉眼的分辨率有限,因此,可以选取两种以上颜色作为主色调。

有时,用户只想找具有某种颜色的目标,而对背景并不感兴趣。在这种情况下,必须将图像目标标识出来,即对图像进行分割,将背景滤掉。目前已有不少分割算法。在具体应用中,可以根据图像分割算法由计算机自动分割,也可以人工参与进行半自动分割。对分割后图像目标的颜色进行检索,可以满足用户基于色彩的模糊查询。

2、基于纹理特征的检索

纹理是图像中一个重要而又难以描述的特性。很多图像在局部区域内可能呈现出不规则性,而在整体上却表现出某种规律性。习惯上把图像中这种局部不规则而整体有规律的特性称之为纹理。从人类的感知经验出发,纹理特征主要有粗糙性、方向性和对比度,这也是用于检索的主要特征。已有不少纹理分析方法,大致可分为两类。

1.统计方法

用于分析像木纹、沙地、草坪等细致而不规则的物体,并根据关于象素间灰度的统计性质对纹理规定出特征及特征与参数间的关系。

2.结构方法

适于像布料的印刷图案或砖瓦等一类元素组成的纹理及其排列比较规则的图案,然后根据纹理基元及其排列规则来描述纹理的结构及特征、特征与参数间的关系。由于纹理难以描述,因此,对纹理的检索都采用QBE(Query By Example)方式。另外,为缩小查找纹理的范围,纹理颜色也作为一个检索特征。通过对纹理颜色的定性描述,把检索空间缩小到某个颜色范围内,然后再以QBE为基础,调整粗糙度、方向性和对比度三个特征,逐步逼近要检索的目标。

检索时首先将一些大致的图像纹理(可采用Brodatz的纹理相薄)以小图像的形式全部显示给用户,一旦用户选中了其中某个与查询要求最接近的纹理形式,系统则以查询表的形式让用户适当调整纹理特征,如方向上"再偏西一点",粗糙度上"再细致一些",或对比度"再强一些",通过将这些概念转换为参数数值进行调整,并逐步返回越来越精确的结果。

3、基于形状特征的检索

形状特征是图像目标的一个显著特征,很多查询可能并不针对图像的颜色,因为同一物体可能有各种不同的颜色,但其形状总是相似的。如检索某辆汽车的图像,汽车可以是红的、绿的等,但形状决不会如飞机的外形。另外,对于图形来说,形状是它唯一重要的特征。从图像中提取的目标边缘称为轮廓。基于形状或轮廓的检索是基于内容检索的一个重要方面,它能使用户通过勾勒图像的形状或轮廓,从图像库中检索出形状相似的图像。一个封闭的形状具有许多特征,如形状的拐点、重心、各阶矩,以及形状所包含的面积与周长比、长短轴比等。对于复杂的形状,还有孔洞数及各目标间的几何关系等。图形特征还包括其矩阵表示及矢量特征、骨架特征等。

基于形状特征的检索方法有两种:

(1)分割图像经过边缘提取后,得到目标的轮廓线,针对这种轮廓线进行的形状特征检索。

(2)直接针对图形寻找适当的矢量特征用于检索算法。处理这种结构化检索更为复杂,需做更多的预处理。

基于形状的检索更多地用于当用户粗略地画出一个轮廓进行检索的情况。这种轮廓可以是用户凭借脑子中的印象徒手画出来的,也可以是通过系统提供的基本绘图工具"拼凑"的。这两种情况都有一个特点,即提供的形状只是欲检索形状的粗略描述,它从大小、方向或整体结构上都可能与真正要查的图形有较大出入。因此,基于形状检索的难点在于寻找能够检索与大小、方向及扭曲伸缩无关的方法。因此,同时采用三个特征作为形状特征,即长/短轴比、周长2/面积比、最近与最远点的连线间的夹角。这三个特征对形状的大小变化与旋转都不变。其中长短轴分别定义为形状质心到形状边缘最远点或最近点的连线。

4、基于空间关系特征的检索

上 述的颜色、纹理和形状等多种特征反映的都是图像的整体特征,而无法体现图像中所包含的对象或物体。事实上,图像中对象所在的位置和对象之间的空间关系同样 是图像检索中非常重要的特征。打个比方,蓝色的天空和蔚蓝的海洋的在颜色直方图上是非常接近而难以辨别。但如果我们指明是处于图像上半部分的蓝色区域,则一般来说就可以区分天空和海洋。由此可见,包含空间关系的图像特征对检索有很大帮助。

空 间关系特征可以分为两类:一类是基于图像分割的方法:首先对图像进行自动分割,划分出其中所含的对象或颜色区域,然后根据这些区域对图像索引。这种方法的 算法都是自动的,其主要优点是可以从大量的图像中提取边界而不占用用户的时间和精力。然而,如果通用领域内没有经过预处理的图像,这种自动的分割技术效果 就不太好。另一类是基于图像子块的方法:它是将图像简单地均匀划分若干规则子块,对每个图像子块提取特征建立索引。这类方法从概念上来说非常简单,但这种 普通规则的分块并不能精确的给出局部色彩的信息,而且计算和存储的代价都比较昂贵,因此,在这类方法在实际中应用较少。

三、检索效果评价方法

基于内容的图像检索方法很多,在具体应用中,对于某个特定的图像库,我们需要采用一种或多种最有效的检索算法才能得到满意的结果。这需要对这些算法进行评估,比较不同方法的优劣,找出最佳算法。在目前已有的一些评价准则中,主要有以下两种:

1.以查全率和查准率为基准的方法

查全率和查准率一般定义:

查全率=检索到的相关图像数目/所有相关图像数目;

查准率=检索到的相关图像的数目/已检索出的图像数目。

为了评价算法的优劣,用户可以选定含有特定目标的图像作为一组相关图像,然后根据返回的结果计算查全率和查准率。查全率和查准率越高,说明该检索算法越有效。

2.排序评价方法

如果图像匹配采用相似性比较,那么,根据不同的相似性尺度,返回的图像数目可能不同,此时采用该方法。方法是:

(1)选定一定数目的含有特定目标的相关图像,如水池、草坪、人与人会谈等。

(2)固定返回图像的数目,把返回的图像按相似性大小排序。

(3)计算有关返回图像的排序评价指标。比如计算检索到的相关图像在所有返回图像中的序号平均值。在理想情况下,所有相关图像都排在最前面,因此,平均值越小,表明检索算法越好。还可以计算丢失的相关图像占所有返回图像的比例,这个值越小,表明成功率越高。

四、基于内容的图像检索技术在军事上的应用

随着信息技术在侦察情报装备中的广泛应用,具有图像侦察获取能力的传感器种类和数量越来越多,图像情报的应用也越加广泛,因此图像处理技术成了战场情报综合处理的重要组成部分。 由 于战场图像侦察的数据源较多,数据量大,实时性要求较强,图像里面许多有用的信息,必须经过去伪存真、去粗取精的处理过程才能形成有价值的情报产品。基于 内容的图像检索技术在图像数据挖掘,图像目标自动识别提取,辅助图像判读,图像多属性分层标绘等方面有着重要的价值。下面就其在军事领域的主要应用作一介 绍。

1、             多光谱战场图像的实时处理技术

由于侦察目标对多个光谱频段的反应特性不同,多光谱图像的融合处理极易发现目标本质特征上的差异,提取目标特征。因此解决多谱段的数据获取和大容量的信息处理,要求多谱图像通过实时处理分析,以连续图像流的形式显示并提取目标,并可形成更高分辨率的侦察图像供分析评估。

2、战场图像理解技术

全面战场感知将在未来军事行动中带来决定性情报优势。图像理解(Image UnderstandingIU)技术是图像情报处理中的关键技术。未来战场的图像信息主要来自陆基、空基和天基平台的各种侦察图像传感器,信息量大,需要图像理解技术从浩如烟海的原始数据中提取所要求的情报信息。 目前图像理解算法的不可靠性已经极大地限制了IU系统在侦察情报领域更广泛的采用,需在技术和算法上不断取得突破。 在 未来,完成图像挖掘不是通过人工搜索分析大面积的地形图片来侦察重要的目标、机动部队,而是通过智能对比、提取、分析、特定地理区域里图像情报的变化来监 视和跟踪所有敌人目标及变化态势,这一设想将通过维护一个巨大的信息知识库得以实现,通过与以前的知识进行比较,可以完成图像判读理解。大量图像将按程序 加以收集,用来扩展特定区域内的知识库,借助超级计算机强大的处理能力,利用人工智能、模糊逻辑、神经网络等技术实现图像情报的自动挖掘、分析、理解。 美军已可以利用无人机侦察图像完成一定地理区域(比如一个5千米×5千米的战场,一个飞机场,或一个道路交*点)内的图像理解,自动识别重要车辆的地面运动。

3、战场图像的自动分发技术

建 立不同等级的图像产品库,针对不同的需要,建立多功能的情报分发模型,扩展图像情报的应用范围。图像情报产品应用很广,经过地理校正的遥感图像产品可以作 为精确的电子地图,供导弹部队、特种部队作战使用。遥感图像和地面图像等相结合,可以形成三维地面可视图,供指挥员使用。由于图像情报产品可以作为不同专 题二次使用,不同处理等级的图像情报产品的分发就更为重要。

4、图像快速检索和目标分类

由 于对战场图像进行融合处理的工作量大,涉及的内容十分广泛,因此需要使用图像检索技术,快速获取相关的图像情报数据,进行融合处理。战场图像的自动分类技 术可以在大型图像集合中挖掘有价值的信息,可以提取目标的特征形成特征库,按照一定的知识进行自动匹配、识别,提高图像情报的处理速度。
  评论这张
 
阅读(535)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017