王罡 

(南京信息职业技术学院 素质教育部，江苏 南京 210046)

摘要：唇部特征定位是唇读系统不可获缺的一个环节。本文在人脸检测的基础上，对唇部特征进行定位研究。我们先根据AdaBoost人脸检测算法对人脸图像进行人脸检测，确定人脸位置。根据人脸面部结构特征估计唇部所在区域，运用唇部BR加权G色对比法(WBRGC)对唇部进行分割，在唇部边缘上提取特征点，实验表明该方法能够快速有效地定位出唇部特征点。

关键字：唇部特征  人脸检测  灰度特征  WBRGC

中图分类号：TP391.41   文献标识码：A

1 唇部检测算法选取

    唇部检测是唇读技术的首要任务之一，唇读技术可以通过说话人的口型运动特征对说话人的信息进行捕获，该技术被广泛应用于语音识别、身份识别、人机智能接口以及多媒体体统等领域。唇部检测作为唇读技术的首要环节用于对说话人的唇部进行快速、准确的定位，因此唇部检测的效果将直接影响整个唇读系统的性能。

    近年来，不少研究者致力于研制能够自动将不同光照，不同肤色，不同说话者唇部准确定位的智能型检测方法。其中灰度值和边缘检测方法[1]用的比较普遍，另外一种比较普遍的方法是水平边缘检测方法[2]，这个方法能够较好的检测嘴唇，但是对胡须比较敏感，检测效果也相对差些。为了克服胡须的干扰，研究者转向考虑彩色图片，其中Wark, Sridharan和Chandran [3]提出的RGB空间中利用公式

                                                    (1)

来检测嘴唇，此法可以获得唇角信息，但得不到其他唇部特征信息，比如上唇边界。还有一种检测方法就是在HSV空间，Coianiz等 [4]提出的利用如下公式：

                                      (2)

和计算相关的灰度值，此法能够在理想的条件下检测出唇部特征，但不适用于一般性。Lewis等提出了一种红色排除法(Red Exclusion)[5]，在RGB空间利用公式

                                                         (3)

能把唇色从肤色中有效地分离出来。其中，G、B分别为绿色、蓝色分量，为阈值。由于该算法不考虑红色分量的值，因此称为红色排除法。其中，取对数是为了拉大肤色和唇色的类聚间距。对于阈值的确定，Lewis采用基于统计的手工计算，同时，他提到可以采用自适应的阈值选择算法。下图是运用红色排除法检测嘴唇的一个例子，左图为待检测的嘴唇区域，右图为检测结果。但红色排除法的一个缺陷是当唇部光照不均匀时，不能很好地避免光线等因素的影响。

 

本文首先运用BR加权G色对比法(WBRGC) [6]分割出唇部，进而提取唇部特征点。

BR加权G色对比法采用判别式

                             (4)

来分割肤色和唇色。其中为权重，R, G, B是彩色像素红、绿、蓝分量，为唇色和肤色的阈值。文献[6]通过实验确定最终的检测判别式为

                                                 (5)

实验结果表明BR加权G色对比法能够较好地避免光线、胡须等因素的干扰，可以有效地分割出唇部。

 

2 唇部特征定位

2.1人脸结构和唇部特征点选取

    人脸的基本形状及五官之间的位置存在“三庭五眼” [7]的比例关系。在人脸正面图像上，人的脸部轮廓可近似地看作椭圆，双眼在椭圆的水平对称轴上，眉间点、鼻尖和下巴尖点位于竖直对称轴上，眼睛、鼻子、嘴巴等器官在整个面部中的相对位置是稳定的。在竖直方向上，发际到眉弓、眉弓到鼻尖、鼻尖到下巴的距离都相等，称作“三庭”；在水平方向上，两眼之间、两眼外角分别到双耳的距离都相等，均为一眼宽，这样加上两个眼睛自身的宽度，称为“五眼”。

    唇部特征点应该选择最能代表唇部特征的某些位置，主要是唇部的轮廓特征点。在MPEG-4标准[7]中，FDP(Face Definition Parameters)定义了人脸面部几何特征信息。本文参照MPEG-4标准，在唇部的上下左右共选取5个特征点进行提取，如图1所示：

 

图1 唇部特征点的选取

 

2.2 唇部区域的确定

根据人脸的“三庭五眼”关系，在水平方向嘴唇位于人脸的第三“庭”；竖直方向上位于两眼之间，更精确地可认为嘴唇位于两眼眼珠之间。在实际检测中，嘴唇区域在水平方向上位于人脸区域的下1/4处，竖直方向上位于两眼眼珠中心之间。如下图所示，红色矩形为嘴唇所在区域。

 

图2 嘴唇区域示意图

 

2.3 唇部特征点的提取

    对于唇部，本文要检测出图1所示中的5个特征点。我们先运用文献[6]中提出的WBRGC嘴唇检测判别式对唇部区域进行计算，通过Otsu算法选取最佳阈值来对嘴唇区域进行二值化分割，然后运用Canny算子提取唇部边缘，在边缘图像上提取我们所需要的特征点。提取过程如下：

    在唇部区域对唇部边缘图像从左往右进行扫描，最先和最后出现的边缘像素点分别就是左唇角点M1和右唇角点M2。设唇部区域的边缘像素全体为集合，则左唇点M1即为满足下式的像素点

        (6)

同样右唇点M2用下式检测

              (7)

根据(6)式和(7)式，左唇角点M1检测过程用伪代码描述如下。假设唇部区域位于第行,列之间。左唇角点M1检测的伪代码如下：

 

    通过上述方法已经可以检测出嘴唇的左嘴角点M1和右嘴角点M2，下面用这两个特征点的位置信息来检测嘴唇中心点M0。假设嘴唇中心点M0的坐标为,嘴角点M1和右嘴角点M2的坐标分别为和。嘴唇中心点M0应该和M1与M2在同一行，实际中由于检测会有误差，我们用下式确定唇部中心点的坐标

 

    得到唇部中心点M0的坐标后，就可以来检测上唇点M3和下唇点M4，它们的坐标分为设为和。上唇点M3的位置为：

           (8)

下唇点M4的位置为：

           (9)

这样我们就可以检测出唇部的5个特征点了。

 

2.4 实验结果

    根据上述方法，首先对分割后的唇部区域进行边缘检测，先提取左右唇角点，嘴唇中心即为两嘴角之间的中点，最后在嘴唇中心所在竖直方向上检测其余两个特征点。嘴唇特征检测实验结果如下：

图3 唇部特征点提取效果

 

3 结论

    唇读系统的首要任务是准确高效地检测出唇部，本文研究了人脸彩色图像的唇部特征点的定位问题。我们运用唇部BR加权G色对比法(WBRGC)对唇部进行分割，充分考虑面部肤色和唇色中红绿蓝三个分量的差异，让唇色和肤色形成更好的两个聚类，在此基础上提出了一种快速有效的唇部定位算法，实验结果表面算法具有很好的实用性。

 

参考文献：

[1] R Rao and R Mersereau. Lip modeling for visual speech recognition. In 28th Annual Asimolar Conference on Signals, Systems, and Computers. volume 2. IEEE Computer Society, Pa2cific Grove CA, 1994.

[2] R Steifelhagen, J Yang and UMeier. Real time lip tracking for lip-reading[ C ]. In Proceedings of Euro speech , 97, 1997.

[3] T Wark, S Sridharan and V Chandran. An approach to statistical lip modelling for speaker identification via chromatic feature extraction. In Proceedings of the IEEE International Conference on Pattern Recognition, August 1998. 123~125

[4] T Coianiz, L Torresani and B Caprile. 2d deformable models for visual speech analysis [R]. In NATO Advanced Study Institute: Speech reading by Man and Machine, 1995.

[5] TW Lewis, DM Powers. Lip Feature Extraction Using Red Exclusion[C]. Proceeding Selected papers from Pan-Sydney Workshop on Visual Information Processing, Sydney, Australia, December, 2000. 61~67.

[6] 苏根发. 一种快速鲁棒的唇部检测方法[J].中国制造信息化:学术版, 2009, 38(5): 51~53.

[7] 刘永健. 现代人物素描技法. 湖南: 湖南人民出版社, 2006:12~13