手語識別的目的就是通過計算機提供一種有效的、準確的機制將聾啞人常用的手語手勢識別出來，使得他們與健全人之間的交互變得更方便、快捷。同時，手語識別的應用還可以提供更自然的人機交互方式，方便聾啞人對計算機等常用信息設備的使用。目前手語識別可以分為基于視覺（圖像）的識別系統和基于數據手套（佩戴式設備）的識別系統。基于視覺的手勢識別系統采用常見的視頻采集設備作為手勢感知輸入設備，價格便宜、便于安裝。鑒于基于視覺的手勢識別方法交互自然便利，適于普及應用，且更能反映機器模擬人類視覺的功能，所以目前是手勢識別的研究重點。

手語識別的研究開始于1982年，Shantz和Poizner實現了一個合成美國手語的計算機程序。之后，中國、美國、日本、德國等許多國家都進行了自己國家的手語識別與合成研究，并取得了許多重要的研究成果。Triesch和Malsburg開發了一種彈性圖模板匹配技術對復雜背景下的手形進行分類，在相對復雜的背景下的識別率達到86.2%。Davis和Shah將戴上指間具有高亮標記的視覺手套的手勢作為系統的輸入，可識別7種手勢。Starner等在對美國手語中帶有詞性的40個詞匯隨機組成的短句子識別率達到99.2%。Yang等人采用7Hu不變矩特征量進行手語字母識別，最好識別率為90%。

本文采用SVMs （Support Vector Machines，支持向量機）作為手語識別的分類器，提出了一種基于視覺的手語字母識別方法。SVMs在解決小樣本、非線性及高維模式識別問題中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。采用SVMs作為圖像分類器首先要解決的問題是：如何用典型視覺特征來表征圖像的不同視覺特性。

在圖像特征提取方面，為了能夠同時表征圖像的全局特性和局部特性，需要同時提取圖像的全局特征和局部特征，并且這些特征中用以描述圖像整體形狀的特征應當具備平移、旋轉和尺度不變性。SIFT（Scale Invariant Feature Transform）是一種對尺度空間、圖像縮放、旋轉甚至仿射不變的圖像局部特征描述算子;而7Hu不變矩特征量具有平移、旋轉和尺度不變性的特點，具有很好的穩定性，適合描述目標整體形狀。

手語簡介

手語是一種聾人使用的語言，是一種靠動作/視覺交際的特殊語言。中國手語包括30個手指字母，大約5500個基本手勢詞。手指語是從字母語言發展起來的，是漢語手語的一種，用一個指式代表一個漢語拼音字母，按照漢語拼音方案拼成普通話。而手勢語則是由象形語言發展起來的。它充分利用人的手勢、表情和身體動作形象地表達物體和行動的最基本特征。

中國文字改革委員會、教育部等單位于1963年聯合公布實施漢語手指字母方案。方案中包括漢語拼音中26個單字母（A～ Z）和4個雙字母（ZH、CH、SH、NG）如圖1所示。

圖1 中國手語字母表

SVMs

SVMs的主要思想是建立一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。對于二維線性可分情況，令 H為把兩類訓練樣本沒有錯誤地分開的分類線，H1，H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔。所謂最優分類線就是要求分類線不但能將兩類正確分開，而且使分類間隔最大。在高維空間，最優分類線就成為最優分類面［8，9］。

設線性可分樣本集為（xi，yi）），i=1，2，…，n，x∈Rd，即x是d維特征向量，y∈{+1，-1}是類別標號，d維空間線性判斷函數的一般形式為g（x）=w×x+b，分類面方程為：w×x+b=0 （1）

式中w為權向量，b為分類閾值。要求分類面對所有樣本正確分類，就是要求它滿足：

Yi［w×xi+b］-1≥0，i=1，2，…，n （2）

滿足上述條件且使||w||2最小的分類面就叫做最優分類面， H1，H2上的訓練樣本點，也就是使式（2）中等號成立的樣本點，稱作支持向量。解這個最優化問題后得到的最優分類函數是：

在學習樣本是線性不可分，但卻是非線性可分的情況下，可以通過非線性變換把學習樣本變換到高維空間，使其在高維空間里是線性可分的。用核函數 K（x，y）代替原來的點積（x·y），Mercer定理指出，核函數 K（x，y）通過與其相聯系的非線性變換Φ隱含地把特征向量映射到高維特征空間，使得學習樣本成為線性可分的。常用的核函數有：

圖像特征選取

手語圖像特征的選取，會直接影響到識別的效果，因此在表示圖像的不同視覺特征時本文同時提取全局視覺特征和局部視覺特征。為了避免圖像分割工具可能帶來的問題，在特征提取時不進行圖像分割。在研究中，將提取圖像的以下特征：（1）7維不變矩特征量，作為圖像整體形狀描述的特征向量（2）用Gabor小波提取48維的紋理特征，以表示圖像的整體結構屬性［10］;（3）提取一定數量的興趣點及它們的SIFT特征［11］，以表示圖像的局部結構特征與所包含目標的大致形狀。實驗表明，全局和局部視覺特征可以有效的表示出圖像的主要視覺特征。

Hu不變矩特征量

利用矩不變量進行形體識別是模式識別中的一種重要的方法， Hu在1961年首先提出了矩不變量的概念。Hu首先提出代數不變矩的概念，并給出了一組基于通用矩組合的代數矩不變量。這些矩具有平移、尺度和旋轉不變性，被稱為Hu’s矩。

對于連續灰度函數 f（x， y），它的（p + q）階二維原點矩Mpq 的定義為：

假設 f（x， y）為分段連續的有界函數，并且在x，y平面上有限區域內有非零值。根據唯一性定理，它的各階矩存在且唯一地被 f（x， y）確定，反過來，f（x， y）也唯一地被它的各階矩確定。

此外，還可以定義 f（x， y）的（p + q）階中心矩μpq 為：

Hu首先提出了不變矩，他給出了連續函數矩的定義和關于矩的基本性質，證明了有關矩的平移不變性、旋轉不變性以及比例不變性等性質，具體給出了具有平移不變性、旋轉不變性和比例不變性的七個不變矩的表達式。

七個不變矩由二階和三階中心矩的線性組合構成，具體表達式如下：

實驗中，使用了全部的7Hu不變矩特征量作為手語圖像整體形狀描述的特征向量。形成特征空間（M1， M2， M3， M4， M5， M6， M7），如表1所示。

表1手語字母X，Y，Z的7Hu矩分量

SIFT特征

David G.Lowe在2004年總結了現有的基于不變量技術的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子-SIFT算子［6，11］，即尺度不變特征變換。

SIFT算法首先在尺度空間進行特征檢測，并確定關鍵點（Keypoints）的位置和關鍵點所處的尺度，然后使用關鍵點鄰域梯度的主方向作為該點的方向特征，以實現算子對尺度和方向的無關性。

Lowe在圖像二維平面空間和DoG（Difference of Gaussian）尺度空間中同時檢測局部極值以作為特征點，以使特征具備良好的獨特性和穩定性。DoG算子定義為兩個不同尺度的高斯核的差分，其具有計算簡單的特點，是歸一化LoG （Laplacian of Gaussian）算子的近似。DoG算子如下式所示：

對于圖像上的點，計算其在每一尺度下DoG算子的響應值，這些值連起來得到特征尺度軌跡曲線。特征尺度曲線的局部極值點即為該特征的尺度。尺度軌跡曲線上完全可能存在多個局部極值點，這時可認為該點有多個特征尺度。

一幅圖像SIFT特征向量的生成算法總共包括4步：

（1）尺度空間極值檢測，初步確定關鍵點位置和所在尺度。

（2）通過擬和三維二次函數以精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩定的邊緣響應點（因為DoG算子會產生較強的邊緣響應），以增強匹配穩定性、提高抗噪聲能力［6，11］。

（3）利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，使算子具備旋轉不變性。

式（14）為（x，y）處梯度的模值和方向公式。其中L所用的尺度為每個關鍵點各自所在的尺度。

（4）生成SIFT特征向量。 首先將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性。接下來以關鍵點為中心取8×8的窗口。然后在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。手語字母圖像的SIFT特征提取如圖2所示。

圖2 （a）手語字母J原圖 （b）對（a）提取SIFT特征向量

實驗

本文從視頻中采集了中國手語字母表中的30個手語字母的圖像，30組，每組圖像195幅，共5850幅圖像作為實驗圖像。每組的前50幅作為正例訓練樣本，從其他29組中各選取5幅共145幅作為反例訓練樣本。每類圖像除選作正例的50圖像外，剩余的145幅作為測試圖像。實驗中首先提取圖像的7維不變矩特征量，48維Gabor紋理特征，128維SIFT特征作為圖像全局和局部特征描述。然后分別采用兩種不同核函數（Linear kernel， Radical Basis Function）的SVMs分類器進行訓練，對中國手語字母表中的30個手語字母圖像的識別結果如表2所示。

表2 30個中國手語字母的識別結果

基于線性核函數的SVM平均識別率為95.556%，基于徑向基核函數的SVM平均識別率為83.1282%。實驗表明，采用徑向基核函數的SVM識別率普遍低于采用線性核函數的SVM。

結語

本文提出了一種采用7Hu不變矩特征量等多種圖像特征相融合的SVMs手語識別方法。實驗表明，在手語識別中，采用圖像全局和局部特征相結合的方法，可獲得較高的識別率，為手語識別方法的早日推廣應用提供了理論依據。

責任編輯：gt