视觉注意机制理论分析
篇一:itti原理
第2章 视觉注意机制理论分析
2.1 引言
随着信息技术的快速发展，数字图像、视频成为信息的重要载体。如何高效地处理和分析图像数据，理解图像内容已经成为当前的研究热点。众所周知，人类可以从复杂的场景中快速地找到我们感兴趣的区域，容易地完成对场景的理解。这是因为人类视觉系统(Human Visual System/HVS)的信息选择策略，利用视觉注意机制引导人眼在海量数据中注视到显著的区域，并分配资源对重要区域优先进行处理[10]。多数情况下，当我们的眼睛接收到来自外界的大量的视觉信息，大脑并不能对所有的视觉信息进行同时，而是删除大部分无用信息，筛选出少许感兴趣的重要信息，优先对这些视觉信息进行处理。
计算机作为目前处理信息最快的工具之一，在计算机图像处理中引入视觉注意机制，不仅可以提高数据筛选能力和计算机的运算速度，还在物体识别、目标跟踪、图像分析与理解等领域具有重要的应用价值，这就为汽车车牌的快速处理提供了一个很好的解决方法。但是目前的计算机视觉与人类的视觉在能力上存在着巨大的差异。视觉注意机制是涉及生物视觉处理等学科交叉领域，生物视觉与计算机视觉进行的学科交流为理论创新带来了新的思路：一个可行的方法是从研究人类的视觉系统(大脑)如何感知和识别外界视觉刺激出发，模拟人的视觉注意机制，建立一种有效的视觉注意计算模型，使计算机拥有人类所具备的观察和理解世界的能力，并将其应用于静态场景、动态场景的感兴趣区域检测及场景分类中。
2.2 人类视觉感知系统
关于人类的视觉感知系统，尤其是人类自身的视觉神经系统，心理学等相关领域专家已经进行了长期的探索和研究。通过深入研究探索，人们发现人类视觉神经系统中的视觉感官信息在人脑中是按照某一固定路径来进行传递的，其输入的是视觉刺激，输出的是视觉感知，主要是由视觉感官、视觉通路、视感觉中枢组织和视知觉中枢组织组成的，其分别负责视觉信息的生成、传送和分析。其中视觉信息分析过程可分为视感觉分析和视知觉分析，如图2.1所示。
图2.1 人类视觉感知系统信息感知流程
2.2.1 视觉系统生理结构
人类视觉系统的感觉器宫是眼睛，一般人眼睛直径大约24毫米，近似球形，由眼球壁和眼球两部分组成。角膜和巩膜位于眼球壁的外层，其中角膜具有屈光作用，能够将光线折射到眼睛内，巩膜保护眼球。眼球壁的中间层由控制瞳孔大小的虹膜和吸收外来散光的脉络膜组成，内层有视网膜由视锥细胞和视杆细胞组成，有感光作用。视觉信息的传递过程如下:视觉刺激从光感受细胞出发，作用在视网膜引起视感觉，再经由视神经、视束以及皮层下中枢，最终到达视皮层，引起视知觉[11] 。所谓的视感觉，指光的明暗，视知觉指颜色、形状等特性。
图2.2 人眼结构示意图
眼睛的角膜是透明的、高度弯曲的折射窗口，光线通过它进入人眼内，随后有部分被带色的不透明的虹膜表面所阻挡。瞳孔随光照强度而改变，光线暗时扩张，在正常的光照条件下它处于收缩状态，以限制眼内因球面像差引起的图像模
糊。一只人眼视网膜中不均匀分布了大约有上亿个视杆细胞及500万个圆锥细胞。视网膜中心区域是黄斑，圆锥细胞密集程度密度特别高。视网膜上还有一个盲点，神经中枢细胞轴突从视网膜盲点中离开，组成视神经[12]。
视网膜具有感光层、双极细胞层和节细胞层的三层生理结构，感光层中的感光细胞将视觉信号(光信号)转变为电信号，接着双极细胞分析处理这些转换的电信号，并进行分类成形状、深浅和色彩等信号。接着节细胞把传入视网膜分类过后不同的信号传输到大脑形成图像。除了上述细胞外，视网膜还有其它细胞:水平细胞和无长突细胞。
人眼是包含有限球壁、眼内容物和神经系统等，是一个前后直径大约24毫 米，垂直直径大约23毫米的近似球状体。眼睛的主要感光系统是眼球壁内层的 视网膜，它由视锥细胞和视杆细胞组成的，视锥细胞主要用于分辨颜色。我们会 有对外界事物的色觉，其原因在于视网膜上有三种视锥细胞分别感受了蓝色、红 色和绿色。另外，视杆细胞也是主要用于感受运动物体和弱光[13]。晶状体富有弹性，中央厚边缘薄，像一块双面凸起的球镜，它的作用是聚焦光线和调节屈光，并且玻璃体充满晶状体和视网膜之间，占据眼内腔的4/5，内含99%的水分，是眼球壁的主要支撑物[14]。
2.2.2 视觉感知系统加工特点
人类视觉感知系统在视觉信息处理过程中，并不是原封不动的传送，而是结合输入信息进行相应的处理，再输出给其他神经元。人眼的视觉系统只能选择少数显著性信息进行处理，摒弃大部分无用信息。在视网膜上，每个神经元有不同形式的感受野，并呈现同心圆拮抗的形式[11]。这种形式根据刺激对细胞的影响分为“on中心-off环绕”和“off中心-on环绕”两种类型。“on中心-off环绕”类型，当光照充满中央区域时，激活反应最强;当光照充满了周边的区域时，则产生最大的抑制作用。“off中心-on环绕”由中央抑制区和周边兴奋区组成，与“on中心一off环绕”相反。大脑皮层上的感受野分简单细胞的感受野和复杂细胞的感受野。其中简单细胞的感受野也分为兴奋区与抑制区，对刺激的方向和位置有很强的敏感性;复杂细胞的感受野对刺激敏感性取决于刺激的形式，和刺激的位置无关。
一般来说，不同的视觉信息要经过腹侧通路和背侧通路的加工处理操作。腹侧通路由V1, V2, V3, V4和颞下回组成，主要对刺激信息负责接收。视觉意识的产生须要腹侧一背侧这二条通路的共同参与。这两条通路之间相辅相成、互相依赖与作用:人眼调整视觉注意焦点可以通过目标识别来完成，而视觉焦点可以
有效地对目标识别进行指导，两者相辅相成帮助人类理解场景中的事物[15]。作为一种生理机制，视觉注意与个人主观因素有关，也与眼球感知到的物象、环境条件和心理感受等外部刺激有关，视觉注意流程如图2-3所示。
图2.3 人类神经视觉注意识别框图
在视觉处理中，视皮层中腹侧通路和背侧通路对视觉刺激信号的输入和视觉信息的进一步的处理起着重要作用。腹侧通路中接收的信息由初级视皮层V1区经过V2区和V3区从腹侧延伸到V4和IT区直至颞叶，腹侧通路输入的信息来 源主要是来源于视网膜的P型神经节细胞，该通路主要负责的是物体的识别功能，这也是另外叫“what通路”的缘由[15]。背侧通路则由初级视皮层V2和V3区从背侧延伸向MT和MST区一直到顶叶后部，它的信息输入源主要由视网膜的M型神经节细胞，也称为“Where”通路，主要负责空间位置的信息。
根据神经生理学的相关研究结果，通过串行和并行的加工机制，可以将形状、颜色、深度和运动的相关视觉信息分离出来，并且在V2区以上层级的视皮层的分离趋向更为明显点[16]。为比较快速完成不同的视觉任务处理，视通路各个层次上存在着基本互相独立的并行通道。在人类视觉处理机制中，视网膜读入的信息是存在着反馈的双向传输，大脑中更高层区域都有许多反馈通路到达初级视皮层V1区和V2区，这些不同的反馈通路在一定程度与人类的意识行为有关联。
2.3 视觉注意机制模型
视觉注意实质上是一种生物机制，这种机制能够从外界复杂的环境中选出重
要的和所需要关注的信息，逐步排除相对不重要的信息，通过这种方式能够将十分复杂的外界视觉场景进行简化和分解，进而在接下来对重要的信息进行进一步处理。这种机制的优势在于它能够使得我们在十分复杂的外界视觉场景环境中，可以十分迅速的注意所需要关注的重要的信息和物体。
在图像理解和分析中，人类视觉系统的视觉注意使得人们可以在复杂的场景中选择少数的感兴趣区域作为注意焦点(Focus Of Attention , FOA)，并对其进行优先处理，从而极大地提高视觉系统处理的效率。在日常生活中，我们会常常的感受到视觉注意机制的存在。比如说一幅图像，我们会轻易的发现，墙壁上的小坑和黑点，白色打印纸上的纸张缺陷，蓝色车牌上的车牌号码等等。图2.4列举了几个关于视觉注意的示例图，当人们观察以下几张图片时，观察者会迅速将自己的注意力集中在左边图中的空心圆、中间图中的实心圆以及右边图中间部分的斜线，这种人眼的选择过程就是视觉注意，而被选中的对象或者区域就被称为注意焦点【17】。itti原理。
图2.4 视觉注意机制示例图
关于视觉注意机制，研究者们最初从生物神经科学、心理科学等方面进行了大量的探索。心理学家将视觉注意划分为两种:一种是以自底向上(数据驱动)的方式驱使的，另一种是以自顶向下(任务驱动)的信息来控制的。自底向上的视觉注意机制是基于刺激的、与任务无关的，比如在绿油油的草地上有一只白色的羊，大部人会第一时间注意到与周围环境不一样的羊。自顶向下的视觉注意机制是基于任务的，受意识支配。比如在机场接人时，我们会立刻看到我们要接的人，而对其他的人则视而不见。
2.3.1 数据驱动的视觉注意机制模型
数据驱动的视觉注意机制的初级计算模型的研究从80年代后就开始成为很热的研究点，Koach等人在1985年提出了这种计算模型的理论框架[18]，其中的神经网络理论的焦点抑制机制为众多模型所参考和借鉴。Milaness等学者也提出了特征显著图的理念并利用中央—周边差分算法进行特征的提取[19]，数据驱动的注意模型原理是从输入图像提取多方面的特征，如图片颜色、图像朝向、光照
文献综述
篇二:itti原理
毕业设计（论文）文献综述 课题名称：复杂行车环境中障碍物检测的方法研究学 院：
专 业：
指导教师：
学生姓名：
学 号： 计算机科学与工程学院 网络工程 杨健 李翔 0906840322
2013年 3月 1 日
前言itti原理。
由于越野智能车在军事和民用方面的巨大潜在的应用，这些年来已经成为了一个研究热点。越野环境非常复杂，障碍物检测成为最大难题之一[1]。之前人们对结构化和半结构化道路环境下的障碍物检测做了大量的研究，提出了很多基于不同传感器的障碍检测方法。但是越野环境和上面的又有很大的不同：越野环境障碍众多，除了凸出地面的，还有凹陷的以及水面、山坡等危险地形。而结构化的道路环境通常只考虑凸出的障碍物。美国喷气动力实验室的Matthies等人利用多传感信息融合来检测越野障碍方面做了大量的研究，融合了CCD立体视觉以及激光雷达来检测水面和凸起障碍物并根据颜色信息对地形分类做了初步探索，用红外摄像机检测坑洞，并用理论计算证明了凹陷类障碍物从远处检测的困难。
视觉显著性的产生是由于视觉对象与外界通过某种对比形成了能够引起观察者注意的新异刺激,让观察者将目光更多的停留在该区域,以便对其进行更精细的观察和分析。对于低层特征来说,显著区域的产生是由图像某区域的特征和其他区域的特征的不协调造成的。其中图像的特征包括颜色、纹理、亮度等。特征的不协调能够产生刺激,引起观察者的注意,从而这部分区域就产生视觉显著性。对于高层语义特征来说,在一些杂乱的区域映衬下,含有高层语义的区域更能引起人们的注意,其显著性较高。但是,需要注意的是,并不是所有的图像都有显著区域,例如一张纯色的图片没有显著区域,杂乱无章的背景也没有显著区域。显著区域引起观察者注意的并不是因为具体的颜色,也就是说并不是由于黄色比较扎眼就能引起我们的注意,而是通过各种特征(包括颜色、方向等)相互之间的竞争引起观察者的注意。因此,某区域首先引起我们的注意,是因为该区域与周边区域差异较大。综上，在越野环境数据库中，那些凹凸障碍物在一定程度上也就成为了图像的显著区域，而我们就可以将基于显著图（saliency map）的图像显著区域检测方法应用于凸凹障碍物检测。
显著性国内外研究综述
无论是国内还是国外,有关视觉显著性检测技术的研究是由认知心理学的研究者首先展开的。二十世纪九十年代末,基于生物感知的图像显著性分析开始兴起,并逐渐成为视觉感知领域研究的焦点。显著性检测模型之间最大的不同主要是测量显著性原理的不同。大多数图像显著性提取模型[2][3][4]是基于人类视觉注意力机制,结合心理学和神经生物学[5]的研究成果构建合理的生物学机制。
视觉显著性划分为两种类型:一种是基于低层视觉,由数据驱动的自底向上的视觉显著性(bottom-up saliency)。另一种是基于高层视觉,由知识驱动的自顶向下的视觉显著性(top-down saliency)。
1998年,Itti和Koch等人提出的视觉注意力模型[6]是最早、最具有代表性的模型。Itti模型的框架如图1所示,输入的原始图像通过中央-周边(Center-Surround)算子计算图像的颜色(color)、亮度(intensity)和方向(orientation)的局部特征对比,生成一系列特征图,再把这些特征图归一化融合为显著图,然后将图像某位置的显著值与固定值比较,最终得到显著区域的范围。
图1
不少方法类似于Itti模型,自底向上分析图像的低层特征(颜色、纹理、形状等),对图像进行局部处理,得到最终的显著图。这种视觉显著性模型与图像的具体内容无关,只是取决于图像特征自身的视觉反差,反差越大的区域显著性越明显。而自顶向下的视觉注意力模型是利用高层语义特征计算图像的显著性。高层语义特征指的是图像中的对象级别的特征,利用这种特征进行的自顶向下的计算模型复杂度较高,检测效果更接近人类的视觉系统。目前也有些研究[8][9][10]结合自底向上和自顶向下两种方法,吸取两者的优点,缩短了用户查询意图与图像低层特征间的鸿沟,提取出来的感兴趣区域更符合人类的观察效果。
在图像显著性检测研究的过程中虽然有些方法可能是生物合理的,但是在计算机视觉上并不是最优的。Le Meur等人提出利用一种一致的计算方法模仿自底向上的视觉注意力。将心理视觉空间与视觉特征相结合,使用对比敏感度函数来计算显著性,而且通过交互信息的中央-周边假设判别式[7]计算显著性。每个点的显著值本质上就是一个或多个特征的局部对比度。这种模型的显著图过多依赖图像的局部信息,并没有充分的考虑整幅图像的全局信息,从而产生局部效应,检测结果不准确。“虽然这种方法可能是生物学上较为合理的，但是在计算机视觉上不是最佳的”。Yan Junchi针对数据显著性检测提出一种简单的基于特征的模型,主要包括两歩:首先,使用超完备学习稀疏成分表示图像块,然后,通过直接的低秩和稀疏矩阵分解评估显著信息。具体来说,该模型根据稀疏先验学习图像块的过完备词典。输入图像划分为多个块,这些图像块进一步通过词典进行分解。因此,图像可以通过词典分片表示。这种表示方法包含矩阵的自然形式,每一行表示图像的特征,每一列表示一个图像块。矩阵可以认为是两部分的和:
由低秩矩阵表示的冗余部分和稀疏矩阵表示的显著部分。该模型明显不同于
先前的大多数方法:首先,因为合理的图像信息描述,着重于通过直接矩阵分解来求得显著元素。其次,提出了通过能描述大脑图像块的过完备稀疏成分的一种基于特征的模型。最后,求解目标显著性转换为一个计算可靠和有效的最优化过程。与此类方法相关类似的文献可参考
[11][12][13]。
参考文献
[1] 项志宇，“针对越野自主导航的障碍物检测”，东南大学学报（自然科学版），vol.35, pp71-74, 2005
[2] L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(1 l):pp.1254-1259. 1998.
[3] J. Tsotsos, S. Culhane, W. Wai, Y. Lai, and N. Davis. Modelling visual attention via selective tuning. Artificial Intelligence. 78(1): pp. 507-545. 1995.
[4] O. Meur, P. Callet, D. Barba, and D. Thoreau. A coherent computational approach to model bottom-up visual attention. IEEE Transactions on Pattern Analysis and Machine Intelligence.28(5): pp. 802-817. 2006.
[5] A. Treisman and G Gelade. A feature-integration theory of attention. Cognitive Psychology,12(1); pp. 97-136. 1980.
[6] L. Itti, C. Koch and E- Niebur. A Model of Saliency-based Visual Attention for Rapid Scene Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence. 01(20): pp.1254-1259. 1998.itti原理。
[7] D. Gao and N. Vasconcelos. Bottom-up saliency is a discriminant process. IEEE International Conference on Computer Vision, pp. 1-6. 2007.
[8] V. Navalpakkam and L. Itti. An Integrated Model of Top-down and Bottom up Attention for Optimizing Detection Speed In Proc. IEEE of Computer Vision and Pattern Recognition(CVPR 06). New York. 01(2): pp. 2049-2056. 2006.
[9] R. J. Peters and L. Itti. Beyond Bottom-up: Incorporating Task-dependent Influences into a Computational Model of Spatial Attention. In Proc. IEEE of Computer Vision and Pattern Recognition (CVPR 07), Minneapolis, pp. 1-8. June 2007.
[10] Wei Zhang, Wu Q. MJ. and Guanghui Wang. Adaptive Semantic Bayesian Framework for Image Attention Pattern Recognition. ICPR08, Tampa FL, Dec. pp. 1-4. 2008.
[11] Liu et al. Robust Subspace Segmentation by Low-Rank Representation, ICML 2010.
[12] Liu et al., Robust Recovery of Subspace Structures by Low-Rank Representation, TPAMI 2012.
[13] Lang et al. Saliency Detection by Multitask Sparsity Pursuit. IEEE TIP 2012.
生物视觉原理在图像处理中的应用
篇三:itti原理
生物视觉原理在图像处理中的应用
1、 生物视觉原理概述
生物视觉是个交叉性研究领域，涉及认知心理学、人工智能、计算机图像处理等学科，生物视觉的重要性无庸置疑，因此研究生物视觉系统受到相关科学界的相当关注。与计算机视觉有很大的差别的是，生物视觉系统硬件层次上使用神经网络来实现。但如果两者选用同样的计算理论框架理论层次，那本质上应没有太大区别，仅仅区别在于计算机视觉把该研究作为进一步深入探索和理解人脑视觉技能的手段。计算机视觉研究其主要对象是数据，是一个3D到2D，以及2D到3D的逆问题，而生物视觉的研究能够充分理解人脑视觉认知过程，这也促进了计算机视觉更深入的研究和发展。
生物视觉系统是一个串行与并行相结合复杂的高级视觉信息处理过程，当前在更高层次上的机理研究尚未有突破性进展。目前搞清楚的仅仅是其中的极小一部分，两者处于“独立自主，各自为政”的阶段，因此必须深层次研究生物视觉系统的各自功能和实现原理，而计算机视觉系统的发展也在视觉领域寻找着新的思路和方法，在未来，依据生物视觉模式识别模型来寻找新的计算机视觉方法，那时计算机视觉系统的研究和生物视觉系统的研究将融合在一起。 了解大脑的运作机理如同大海捞针，而随着生理学和解剖学的近两个世纪的发展，生物视觉系统的研究进入神经元细胞的层面，自Hubel和Wiesel于50年代末首次开展对视皮层细胞的研究，为生物视觉系统研究方面做出了开拓性的工作和重大贡献，在这基础上关于视网膜、视神经通道和视皮层的研究不断深入，并取得了大量的重要的研究成果。他们在60-70年代提出了视觉感受野的理论，感受野是支持视觉信息分层串行处理的最重要的生理学基础。之后Kuffler首次通过对猫的神经元细胞的研究，提出感受野在反应上的空间分布呈同心圆颇顽形式，通过这些研究成果，1985年，Daugman等提出使用Gabor函数模拟视皮层中简单细胞的感受野。Riesenhuber和Poggio在1999年第一次建立了完整的视觉处理HMAX模型，这是一个从生物学的角度上模拟的多层次模型，并在进行模式分类与识别研究中取得相当高的正确率，引起了计算机视觉和生物视觉界相当大的关注和更深层次的研究。
神经稀疏编码机制是初期视觉感知所采用的基本视觉响应方式，表示了图像中的高阶统计性。稀疏编码即给定输入图像，寻找一组完备基，使得图像在
这些基下的表示系数具有“大量系数为零，少量不为零”的稀疏特性。近年来，关于稀疏编码的研究使得人们突破了已有的完备基的思想框架，踏入新的领域。而对于超完备基（基函数的维数大于输出神经元的个数）的研究，最早由Olshausen等人将超完备基引入到稀疏编码模型中。稀疏编码技术发展迅速，但尚处于发展阶段，其在理论和应用方面的研究还有待于进一步深化和完善，是最近的一个研究热点。
2、在目标检测中的应用
复杂动态背景下的目标检测和提取是图像处理领域中的一项关键技术，在机器人视觉，工业交通监视，视频压缩和遥感影像解译等众多领域具有重要的应用价值。自然界中，生物视觉系统卓越的目标检测和跟踪能力是现有计算机视觉技术无法比拟的。为此，研究生物视觉中的生物学机理，降低计算机视觉在目标检测和跟踪上的虚警概率，获得稳定、鲁棒的目标提取效果成为当前研究的热点。目前，目标检测和提取算法主要分为基于空域特征的目标检测算法、基于时域特征的目标检测算法和时空域特征相结合的目标检测算法三大类。基于空域特征的算法是通过单帧图像局部区域内目标的显著特征进行目标检测和提取。而仅依赖空域特征的目标检测算法通常无法克服复杂背景干扰，对于占地面积较小、空间对比度较低、容易被周围背景物体混淆的目标，单纯依靠空域特征无法获得理想的提取效果。另外生物视觉研究表明，相对于空域特征，生物视觉系统对时域特征光具有更高的敏感性。基于时域特征的目标检测算法是以目标和背景之间的运动差异为依据，通过背景建模、光流场分析以及目标轮廓跟踪等方法实现目标检测与提取。采用背景抑制、运动矢量差异以及目标轮廓提取等方法可以降低复杂背景对于目标检测的干扰，但是对于动态复杂背景，该类算法仍存在一定的局限性。时空域特征相结合的目标检测算法是为克服依靠单一目标特征无法获得稳定检测效果的问题而提出的，该类算法试图通过融合不同类特征在目标检测和提取上的优点，获得理想的提取效果。2005 年Cheng等人将Itti模型提取的空域特征与动态时域特征相结合，较好的改善了由于光照变化和噪声等因素对检测结果的影响。2009年Liu等人以信息论为基础提出了联合时空域特征显著性的目标检测算法( S-T，spatial-temporal)。
3、在特征提取中的应用
近些年来基于生物视觉的计算模型受到了广泛的重视，很多研究者受此启发提
出了基于生物视觉的特征提取，图1为一种基于生物视觉特性的特征提取框架图，基于生物视觉的特征提取目前在很多方面取得了成功的应用。Bileschi等人基于对视皮层区域特征提取机制的研究，构造了适合计算机视觉应用的一系列特征提取算法和学习方式，将标准特征集用于目标检测、纹理识别以及上下文分析，最终构建了一个统一的场景理解系统。
图2基于生物视觉特性的特征提取
Hinton在提出深层信念网络模型后，进一步将其应用在视频序列处理等任务中，取得了很好的效果；Boureau等人也提出类似卷积网络的基于非监督学习的层级稀疏特征提取方法，并将其用于目标识别。Serre等人在HMAX前馈模型的基础上，构造模拟各个细胞层的计算单元，并通过从自然图像中学习视觉特征库，实现对目标的不变特征提取，在复杂场景下广义目标识别任务上取得了成功应用。鉴于Serre标准模型在计算机视觉领域的成功应用，很多研究者进一步对其改进，提取生物启发的特征并扩展到其它应用领域，如将模型中的层级单元扩展成了层，并通过将检测运动信息的时空特征检测器进行级联实现人体动作的识识别，基于该模型提取出了一组新的有效特征用于人脸识别，并在多个数据库上证实了此生物启发的特征明显优于一些表现较好的视觉特征（如局部二值描述，梯度方向直方图等）；Huang基于生物启发提出优选层滤波器的方法和一个非线性操作子，然后用层特征来编码人脸上的年龄细节，成功的应用于年龄估计；Tao等人将C1特征和一些降维等算法相结合，对特征进行优选，在歩态识别和场景分类上取得了不错的效果。
除了基于Poggio团队提出的腹部流前馈识别模型产生的诸多特征提取算
法和应用外，还有很多研究者基于视皮层中其它的功能特性提出了一些生物启
发的特征模型。Saber等人根据生物注意力机制提出了一种生物启发的显著区域检测方法，该方法提取的显著区域分辨率高，且目标的轮廓突出；Mahadevan等人基于中央周边差的显著性机制提出了一个生物启发的判别目标跟踪器，其将目标跟踪问题建模成一系列目标背景分类问题，有效提升了系统的性能。
Yang等人基于稀疏编码模型和线性空间金字塔匹配方法来提取保留物体空间结构的鲁棒特征，在图像分类任务中获得了很大的成功；Zhang等人所在的团队深入稀疏编码的研究，分别提出了基于稀疏编码的有效外观模型和在线学习稀疏表达方法，在视觉跟踪应用中效果明显。还有研究者基于视皮层中感知色彩的机制，提出了模拟颜色拮抗细胞的特征提取算法，联合颜色和形状信息的颜色描述子，并扩展了多个流行的视觉系统，实验证明其能更有效的利用颜色信息；Yang等人基于颜色拮抗机制提出了一个模拟从视网膜到初级视皮层颜色信息处理的前馈级联模型，将其用于复杂场景中的边界检测取得了优异的性能。此外，Beghdadi等人对应用在图像增强、分割、编码等方面的基于图像感知的方法进行了综述，详细分析了它们的贡献及缺点；Saleiro等人也对用于主动视觉的多个生物启发的模型进行综合，集中分析它们的系统结构和算法，并最终建立了一个统一的框架系统。综上所述，基于生物视觉的特征提取算法是当前计算机视觉领域的一大热点，其带来了诸多灵感和机遇，在很多方面取得了进展和应用，但仍存在着一些不足，例如对于模拟腹部流前馈级联结构的特征提取模型（模型、模型等），其存在模型复杂计算量大等问题；对于基于从自然图像中统计学习而得的线性基函数来提取局部不变特征的模型，其存在训练迭代复杂或超完备基信息冗余等问题；而对于人类颜色感知机制的研究，目前还比较少，已有模型存在模拟不够深入等问题；此外，对于视皮层内响应合并机制的研究，基于生物视觉的局部特征描述等，目前也研究比较少，而这些生物特性或机制在计算机视觉中具有重要的作用，有很大的研究价值；同时，很多已有特征模型在性能上、鲁棒性上和速度上也存在很大的挑战。总之，目前研究基于生物视觉的特征提取算法或模型仍存在着很大的空间，具有广阔的前景和应用价值。
4、在目标识别中的应用
预处理这几乎是所有计算机视觉算法的第一步，预处理是在不改变图像携带的重要本质信息的前提下，处理的目的是为方便之后的处理过程，使得每张图像如颜色分布、尺寸大小、整体明暗等特性尽可能表观一致。预处理涉及的主要包括图像像素值的变换、几何变换、局部预处理、归一化、平滑和图像复
原等方法。在预处理中引入先验信息，可以对图像粗处理减小数据量得到目标，然后在更高分辨率图像上检测该假设，反复迭代直至出现的知识被证实或被拒绝，但反馈就可能超出预处理，图像分割把图像中感兴趣的物体分割出来，可以将反馈信息放在分割之后。
特征抽取和选择。特征抽取负责从图像中得到重要的信息，忽略不太重要的信息，交给下一层使用，这一步影响着识别效果还有效率，是目标识别中的关键问题。图像的特征提取方法可以这样分为三种，基本的特征提取方法、基于选择注意机制的特征提取方法以及基于生物视觉特性的标准模型特征集合提取方法。基本的特征提取方法是指基本的颜色、灰度、形状、纹理等基本特征，通过对特征的统计分析得到相关的提取特征，一般的方法包括直方图均衡化，纹理分析的方法较常用的是共生矩阵法和随机场模型，基于选择注意机制的特征是指具有视觉特征的，比如角点、边缘、显著点等，通过建立视觉模型来体现视觉的选择性和主动性等特点，典型的方法比如和显著点、多尺度翻角点、描述等方法而关于生物视觉特性的标准模型的特征抽取，因为是比较新的研究比较少，有许多值得探讨和研究的问题，这在后面生物视觉中会着重介绍。另外，基于空间关系特征的子空间方法也是特征抽取的有效的方法，主要包括主成分分析、独立分量分析、辨别成分分析等，因具有很好的整体性，在特征抽取的研究中成为研究热点。
建模和分类。在计算机视觉领域，常用的分类器有以下三种神经网络、支持向量机和分类。建立在结构风险最小化原则和计算学习理论基础上，通过约束经验风险和置信区域来满足分类要求神经网络属于人工智能的连接主义，已有很多众所皆知的成熟方法。方法是一种集成机器学习方法，一开始通过初级预测出一个粗糙的、不太正确的方法，按照一定的规则调整权重，不断自组织学习最终得出一个复杂的、精确的分类器方法。目前，研究将它们结合起来达到更好的效果也是一个热点。利用提取的图像特征集训练我们选择的模型，建模是物体识别系统中最重要的问题，建模的目的是建立特征与特征之间的空间结构关系，以此我们已经建立了许多不少目标识别的模型。生成模型方法是偏数学的模型，包括隐马尔可夫链和条件随机场。
视觉系统中将选择有用信息，拒绝无用的信息的这个行为叫做视觉注意机制。生物视觉的注意机制提高了效率，完成极为复杂的信息处理任务，由于视觉注意机制能够快速准确的选择感兴趣区域，高效地完成视觉搜索任务，通过计算机来模拟视觉注意机制一直是研究中的重点。可以将注意划分为两种类型，分为自下而上的数据驱动，从这方面着重视觉注意显著图的建立也可以是自上而下的任务驱动，从高层的知识表达来确定视觉的显著性上升。在自下而上的
显著性检测
篇四:itti原理
显著性检测
视觉注意机制(Visual Attention Mechanism，VA)，即面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著性区域。人类视觉注意机制有两种策略，即采用自底向上策略注意机制和采用自顶向下策略注意机制。前者利用图像的颜色、亮度、边缘等特征表示，判断目标区域和它周围像素的差异，进而计算图像区域的显著性。后者针对图像的特定特征来计算图像区域的显著性。
显著性检测就是提取图像中重要的、人类感兴趣的区域。根据显著性区域的应用不同，产生了很多不同的显著性区域定义，相应的显著性检测算法也不相同。按检测目标，显著性检测可分为基于显著性点的显著性检测和基于显著性对象(图像前景)的显著性检测。前者以最能引起人类视觉系统的点为检测目标，后者以最能引起人类视觉系统的前景为检测目标。按显著性检测的变换域，显著性检测还可以分为时域显著性检测和变换域显著性检测。下面我们介绍几种经典的显著性检测方法。
Itti等人提出Itti视觉注意力模型。根据视觉系统的行为和神经网络结构，它
是经典的基于自底向上策略视觉注意力模型。该模型组合多尺度图像特征到一个单一视觉显著性图中。首先，通过线性滤波对图像颜色、亮度、方向等特征进行提取。其次，通过高斯金字塔、中央周围(center-surround)算子和归一化处理获得显著性图，其中包括6个亮度特征图、12个色彩特征图和24个方向特征图。最后，再根据显著图确定图像显著性区域，从而实现图像的显著性检测。
Hou等人提出了一种基于傅里叶频谱残差(Spectrum Residual，SR)的分析方法。该方法将输入图像进行对数频谱分析，去除对数频谱中的通用信息，得到目标的频谱信息，最后利用傅里叶反变换得到其显著性映射，即得到其空间域对应的目标区域。我们可以通过阈值选择确定重要物体。该方法原理简单、运算速度快并且具有较强的抗干扰性。
Guo等人提出了基于四元数傅里叶变换相位谱(PQFT)信息来计算图像的显著性映射。每幅图像的每个像素都用四元数表示，即两个颜色通路、一个强度通路和一个运动通路。然后，用其四元数傅里叶变换相位谱来求其显著性映射，也就是对四元数进行傅里叶变换，仅用它的相位信息做傅里叶反变换得到其显著性映射。该方法的显著性映射提供主要物体的位置。因此可以通过阈值的选取，在显著性映射结果中提取重要物体。本文提出的模型增加了有效的运动信息，不仅能够应用于图像中，同时在视频中也同样适用
图像显著性检测在图像处理相关领域有非常广泛的应用，例如：图像编辑、基于内容的图像缩放、自动聚焦以及图像智能压缩等，应用较为广泛。
http://m.myl5520.com/news/123722.html