运动目标智能检测算法研究

运动目标智能检测算法研究

作者：冷 祥, 高广珠, 何智勇

来源：《现代电子技术》2010年第19期

摘 要:随着视频监控系统的普及化和庞大化,传统的运动目标检测技术难以适应检测场景的各种变化,局限性越来越突出,且实时性和准确性难以平衡。为有效解决传统的运动目标检测技术中出现的问题,以固定摄像机视频监控系统为研究背景,使用一种基于的运动目标检测方法,提高了运动目标检测准确性,降低了对光照的敏感性,并保证了实时性。 关键词:智能视频监控; 运动目标检测; 背景相减法; 区域划分 中图分类号:TN919-34文献标识码:A 文章编号:1004-373X(2010)19-0076-05

Intelligent Detection Algorithm for Moving Object

-zhu1, HE Zhi-yong1

(1.National University of Defense Technology, Changsha 410073, China; 2.Kinds of CAPF Command College,Beijing 102202,China)

Abstract: With the popularization and expansion of video surveillance system, the conventional detection technology for moving object was not suit for variations of detection scenes, the limitation of this technology became more and more outstanding, furthermore, the timeliness and accuracy were hard to be balanced. In order to effectively resolve those issues occurred in conventional moving detection technology, making the fixed camera video surveillance system as research background, using a moving object detection based on area partition which improved the accuracy of moving object detection, reduced the sensitivity of lighting and ensured the timeliness.

Keywords: intelligent video surveillance; moving object detection; background subtraction; area partition 0 引 言

随着科学技术快速发展,视频监控系统得到越来越广泛的应用,其正向数字化、网络化、智能化方向发展。

龙源期刊网 http://www.qikan.com.cn

运动目标的检测与跟踪是智能视频监控系统中最基础的两项核心技术,它们是后续各种高级处理,如行为分析、事件检测、行为识别、智能预警、视频图像压缩编码和语义索引等高层次视频处理和应用理解的基础,也是视频监控技术智能化和实时应用的关键。传统的运动目标检测与跟踪技术往往只适用于特定的场景,对场景中各种复杂变化难以适应,且在实时性和准确性方面很难达到平衡。针对上述问题,本文在固定摄像机视频监控系统前提下,将运动目标检测分为背景相减法和基于目标特征检测法进行简单讨论,然后使用一种基于区域划分的运动目标检测方法对简单场景中运动目标进行检测,并进行实验分析,为提高智能视频监控系统对运动目标检测的准确性和实时性做出有益探索。 1 视频图像中运动目标的一般检测方法

智能视频监控具有传统模拟视频监控无法比拟的优点,符合视频监控发展趋势。近年来在各个领域都有极其广泛的应用,如停车场、交通路口、高速公路以及重要路段的交通流量监测与违章事件监控;应用到军事和国家重点安全部门,如军事基地、监狱、博物馆、边境等防范意外事件或恐怖分子的袭击;还有敏感公共场合,如天安门广场、火车站、银行及社区和家庭的视频监控等。人们从这些监控系统中能得到大量的监控数据,并希望在安全防范和决策支持方面,系统能够提供智能化帮助。运动目标的检测是视频监控系统中智能化分析的基础,本节将对运动目标检测的背景相减法和基于目标特征检测法进行简单讨论,提出它们应用中存在的问题。 1.1 背景相减法

背景相减法(Background Subtraction)是目前运动检测中最常用的一种方法,它是利用当前图像与背景图像的差分来检测出运动目标的一种技术,包括预处理、背景建模、前景检测和后处理四个步骤。

实际上,背景的建模是背景相减法的技术关键。目前,人们基本都在研究如何建立更加实用和健壮的背景模型,使背景能随时间重建和更新,减少光照变化、背景扰动等对运动目标检测的影响。

1.1.1 时间差分法

时间差分法[1](Temporal Difference)是利用视频序列中当前两帧或当前帧与前某帧的差分来提取出图像中的运动区域。直接利用t-1时刻的视频帧作为

时刻背景帧的方法又叫帧差

法(Frame Difference)。文献[2]中还有一种方法是先以帧差法求出当前t时刻与t-1时刻的变化区域,然后将t时刻背景的非变化区域以当前帧的像素代替,这时背景图像大部分与当前帧一样,再以这个背景图像去和t+1时刻的视频帧进行差分来得出运动目标区域,这种方法实际上是在帧差法中引入可变背景,而不是简单地利用前一视频帧作为背景。

可见,时间差分法具有较强的场景变化适应能力,背景不随时间积累,且更新速度快。但由于它得到的是两帧同位置的像素“或”,因此,判定颜色一致的、比较大的运动目标的内部像素时比

龙源期刊网 http://www.qikan.com.cn

较容易困难,以至在运动实体内部产生空洞现象。因此,要得到好的性能,背景帧选择必须考虑运动目标的速度和帧率。对于快速运动目标,背景帧应该与当前帧靠近,甚至就是前一帧,否则很有可能把同一目标检测为两个目标。 1.1.2 中值滤波法

中值滤波和均值滤波(Median/Average Filtering)思想上差不多,这里将它们归为一类,它们是用得最多的背景图像构建方法[3]。其算法思想是先建立一个视频流滑窗用来缓存L张视频帧,然后把缓存中所有视频帧同位置像素的平均值或中值作为背景中该处像素的值。

可见,中值滤波和均值滤波需要L倍帧大小的内存,它们适用于场景目标不大且运动连续的情况,对于大而慢的运动目标检测,则需要相应增大滑窗。为了减少内存,另一种改进的方法称为运行期均值法RA[3](Running Average),其思想是通过引入学习率变化的响应

通常取

来体现背景图像对场景

越低,前景的变化越不会影响背景。

1.1.3 混合高斯模型

对于室外场景,因为经常有摇动的树干/叶等,监控背景通常不会完全静止。那么,在没有运动目标的情况下,对于相同位置的像素,在视频序列的某些帧中表示地面,而在另一些帧中则表示树叶。这类背景模型可以采用混合高斯模型GMM[4-5](Gaussian Mixture Model)建模,在文献[4-5]中给出了GMM的原理。

GMM适用于室外经常存在树干/叶等背景扰动的场景,但其收敛速度缓慢、时间复杂性偏高。而针对收敛速度的改进模型[6],只是提高其初始化的收敛速度,初始化模型与混合高斯模型相互独立,在初始化后的目标检测过程中,当光照突变等导致背景发生改变时,这些改进模型对混合高斯模型收敛速度的改进效果较差;而针对时间复杂性的改进模型[7],则主要是利用每个像素对应高斯分布个数的自适应调整来降低时间复杂性。 1.2 基于目标特征的运动目标检测

除背景相减法外,还可利用运动目标的特征信息来检测目标,如运动目标颜色、纹理、边缘、形状和运动信息。但该方法常常涉及到匹配、光流分析等复杂的运算,难以满足实时处理的条件,且一般对先验知识的依赖性较强,导致其鲁棒性受到一定影响。

比较以上两种方法,背景相减法仅识别那些有变化的像素,可以提供较好的检测效果,且时间复杂性小。因此,为了实现实时自动的检测运动目标,应当选择背景相减法或者以背景相减法为主,并融合目标特征等先验知识的方法来实现运动目标的检测与提取。 2 针对简单场景运动目标检测的MODBAP方法

龙源期刊网 http://www.qikan.com.cn

通常人们将固定摄像机视频监控系统的应用场景分为简单场景和复杂场景两类,当摄像机安装的位置固定时,其监控区域不再改变,即应用场景已经确定。本文主要讨论研究的是简单场景的固定摄像机视频监控,目前比较流行的方法是采用运行期均值法RA检测目标,但RA对背景相减法阈值的设定和场景光照的变化比较敏感。文献[8]采用光流法构建精细的背景模型,并采用彩色信息进行阈值自适应分割,该方法虽然适用于场景光照突变的情况,但时间复杂性显著提高,其实时性得不到满足。那么针对简单场景,这里使用一种基于区域划分的运动目标检测方法MODBAP(Moving Object Detection Based on Area Partition),该方法对阈值设定和光照条件变化不敏感,时间复杂性低,并能更有效的抑制噪声和检测出完整的运动目标。 MODBAP基本流程如图1所示。 图1 MODBAP基本流程

监控视频处理过程中,视频背景的地形和道路等信息可以被充分利用,因此,可以人工确定视频背景中的目标出现区域,即运动目标进入视频背景的区域;相对于整个视频背景区域,目标出现区域要小得多,因此,只在目标出现区域内利用Canny算子[9]提取的边缘信息检测运动目标,这对时间效率上影响较小;根据视频序列快速的帧率,运动目标在相邻两帧的差异很小,因此,当运动目标离开目标出现区域,可以在背景相减法获得的差异图像上,利用目标运动的连续性,根据运动目标在前一帧被检测出的区域,自适应检测运动目标在当前帧的区域。根据上述思路,下面给出MODBAP的算法步骤。

2.1 目标出现区域划分及背景图像获取

在固定摄像机安放位置确定时,监控区域不再改变,那么根据视频背景划分的目标出现区域在一定时间段内也不再改变。由于受到地形、建筑布局等限制,运动目标一般只能从特定的区域进入视频背景。通常运动目标会从监控区域边界进入视频背景,如图2边界处的闭框即为划定的目标出现区域,当监控区域有遮挡物时,则在遮挡物的边界处也可划定目标出现区域。下面以图2(a)对应监控视频图像为实例,设计目标出现区域内(外)运动目标的检测步骤。 图2 目标出现区域的划分

这里采用简单的运行期均值法RA获取背景图像,即更新方式为: 式中度为0.03。

2.2 目标出现区域内运动目标的检测

-λ)Bt(x,y)

和Bt(x,y)分别表示t时刻当前图像和背景图像中位置(x,y)处的像素亮表示

时刻背景图像中位置(x,y)处的像素亮度;背景学习率

通常取值

龙源期刊网 http://www.qikan.com.cn

如图3(a)为图2(a)对应监控视频中的一帧图像,有目标进入目标出现区域内,图3(b)为图3(a)对应的背景图像。因为简单场景的背景纹理平滑,所以背景图像中的边缘信息较少。因此,利用当前图像与背景图像边缘信息的对比,可以实现目标出现区域内运动目标检测。目标出现区域内运动目标的检测步骤描述如下(将“0~255”二值图像I中像素x的值用I(x)表示):

步骤1:利用Canny算子提取当前图像和背景图像在目标出现区域的边缘,分别用二值图像I1和I2表示,如图3(d),图3(e)所示对像素x,若

将I2用3×3结构元素的膨胀算子处理一次后得到I3,此时,

可获得如图3(f)的二值图

且I3(x)=0,则I4(x)=255,否则

像I4,即去除背景边缘后的运动目标边缘。设定阈值T,如果I4中值为255的像素个数少于阈值

则认为目标出现区域内没有目标,否则进行下一步处理。 步骤

如果I4中运动目标边缘是完整闭环,则可以通过填充获得完整的运动目标,但由于

而是由宽度为1个像素的连通曲线组成,

结

噪声和I3(背景边缘)的影响,I4中边缘没有形成闭环

图4(a)是图3(f)中的一个连通曲线,图4(a)中共有3个红色连通域,每个连通域对应连通曲线的一个端点,图4(b)~(d)中的红色正方形是以图4(a)的连通曲线中某一像素为中心的

构元素。图5(a)~(c)分别对应给出了图4(b)~(d)中红色正方形的局部放大,由图5(a)~(c)可知:当且仅当连通曲线中与红色正方形相邻的像素(除绿色像素)在同一连通域时,绿色像素为端点像素。由此规律,可以找出I4中所有连通曲线的端点(如图一个端点为中心不断向外寻找相邻的像素,如图连,如图

的红色像素)。为获得封闭的运

动目标边缘,需要消除如图3(g)中的端点。图5(d)截取了图3(g)中的一个连通曲线L,以L中的

中相互嵌套的浅灰色和深灰色闭环,直

到与L以外其他连通曲线相交,相交部分如图5(d)中的绿色像素,然后将红色端点与绿色像素相

中的黄色线段,这样即可消除如图3(g)中的端点。考虑到噪声等的影响,设定阈

中端点进行连接后,得到如图3(h)的结果。

值D,当如图5(d)中浅灰色和深灰色闭环数目超过D还没有与L以外其他连通曲线相交时,则对应的端点不与其他任何连通曲线相连。将图

步骤3:由于内部边缘将运动目标分割成多块区域,因此采用对运动目标外部进行填充的方式,如图

中的灰色区域即填充区域,然后将未被填充的区域作为运动目标区域如图3(j),为

了消除噪声的影响,对图3(j)进行3×3结构元素的腐蚀和膨胀算子处理各一次,得到完整运动目标,如图3(k)所示。图3(c)即图3(a)在目标出现区域内检测出的目标。 2.3 目标出现区域外运动目标的检测

在目标出现区域划定带方向的红色越界线,如图

所示,然后利用目标出现区域内的

检测方法得到如图6(b)的结果,图6(b)中目标的中心点越过越界线,因此,图6(a)的下一帧图6(d)采用目标出现区域外的检测方法。图6(d)与图6(a)间隔0.1 s,相互差异不大。目标出现区域外运动目标的检测步骤为:

步骤1:当前图像减去背景图像的绝对值构造如图

的差异图像

用F(x)表示差异

图像F中像素x的亮度值;设像素x的4邻接N4(x) = {x1,x2,x3,x4},如图6(f)所示,对差异图像F中的像素进行分类标记:自顶向下、自左到右扫描差异图像F一次,设当前扫描至像素x,计算

龙源期刊网 http://www.qikan.com.cn

∈N4(x)}|F(x)-F(y)|(N4(x)中的像素已被扫描,因此,可以认为N4(x)中的像素已

被标记分类),若|F(x)-F(xk)|

图3 目标出现区域内运动目标的检测 图4 连通曲线端点的获取

步骤2:设前一帧检测出的运动目标区域为M,非运动目标区域为一帧获得的差异图像为集合BC={ci|ci∈

的差异部分;设BC={b1,b2,…,bn},对中的平均亮度值-

如图6(c)所示

设集合IC={ci|ci∈

计算bj∩M在F′中的平均亮度值

设集合SC={bj|bj∈

如图6(b)所示,并设前

如图6(h)所示,

在F′

如图6(i)所示,BC描述了当前帧与前一帧运动目标区域

和bj在F中的平均亮度值

图5 连通曲线端点的判断及连接 图6 目标出现区域外运动目标的检测 2.4 算法实验结果及其讨论

实验使用监控视频如图7(a)~(c)所示,在Windows操作系统下,算法采用写。

首先采用运行期均值法RA检测运动目标,其中RA背景相减法阈值的自适应性采用文献[10]的自适应阈值Th获取方法:

(1) 选择平均亮度值作为Th的初始估计值;

(2) 用Th分割生成两组像素:G1由亮度值大于Th的像素组成,G2由亮度值小于等于Th的像素组成;

(3) 计算G1和G2中像素的平均亮度值 (4) 计算新阈值

和μ2;

编

(5) 重复步骤(2)~(4),直到逐次迭代所得的Th值之差不变为止。

然后将MODBAP与RA进行对比,图7(d)~(f)为MODBAP的实验结果,图7(g)~(i)为自适应阈值RA的实验结果。通过实验对比发现:MODBAP能更加完整的检测出运动目标,且对光照的敏感性低于自适应阈值RA;MODBAP对输入阈值参数不敏感,阈值取值在合理范围内时,对实验

龙源期刊网 http://www.qikan.com.cn

结果没有明显影响;MODBAP不需要构造精细的背景模型,采用clock()函数的100帧均值测试CPU执行时间,可以发现MODBAP对每帧图像的平均处理时间为0.023 s,可以有效解决简单场景的实时运动目标检测问题。

图7 MODBAP与自适应阈值RA的实验结果与对比 3 结 语

在固定摄像机视频监控系统简单场景的运动目标检测中,本文使用一种MODBAP方法,改善了传统运动目标检测技术的不足,提高了目标检测准确性和光照低敏感性,并且满足视频序列实时性,保证了监控系统后续处理能有充裕的时间。该方法准确、稳定、快速,在诸多固定摄像机视频监控系统具有很高的实用价值。 参考文献

[1]LIPTON A, FUJIYOSHI H, PATIL R. Moving target classification and tracking from real-time Video[C]//Proceedings of IEEE Workshop on Applications of Computer Vision. USA: Princeton, NJ, 1998: 8-14.

[2]艾海舟,吕凤军.面向视觉监视的变化检测与分割[J].计算机工程与应用,2000,37(5):75-77. [3]CUCCHIARA R, PICCARDI M, PRATI A. Detecting moving objects, ghosts and shadows in 1337-1342.

[4]STAUFFER C, GRIMSON W E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 747-757.

[5]STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time

tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Colorado, USA: Fort Collins, 1999, 2: 246-252.

[6]SUN Yun-da, LI Ming, WU Wei, et al. Background model initialization in moving object detection with shadow elimination[C]//Proceedings of the 7th International Conference on Signal Processing. China: Beijing Jiaotong University, china, 2004, 2: 1288-1291.

[7]ZORAN Zivkovic. Improved adaptive gaussian mixture model for background

subtraction[C]//Proceedings of the International Conference on Pattern Recognition. Netherlands: Amsterdam University, 2004, 2: 23-26.

龙源期刊网 http://www.qikan.com.cn

[8]魏志强,纪筱鹏,冯业伟.基于自适应背景图像更新的运动目标检测方法[J].电子学报,2005,33(12):2261-2264.

[9]CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

[10]GONZALEZ R C, WOODS R E. Digital image processing[M]. New Jersey: Prentice Hall, 2002.