步態識別是一種具有遠距離非侵犯性特點的生物特征識別技術,它根據人們走路姿態的不同,從步行運動圖像中提取特征進行身份的識別。一個完整的步態識別過程通常包括:步態序列獲取、步態檢測、步態提取和分類識別。本文簡要介紹了這四個過程的常用方法,針對特征提取方法,從視角數目的不同進行了分類,重點介紹了近幾年多視角步態識別的新算法,并總結了當前步態識別研究中存在的問題,展望了未來的發展趨勢。
引用本文： 李一波, 李昆, 姬曉飛. 多視角步態識別新算法的難點與動向. 生物醫學工程學雜志, 2014, 31(1): 205-209. doi: 10.7507/1001-5515.20140039 復制
引言
步態識別是生物特征識別技術中的一個新興領域。它旨在根據人們的走路姿勢實現對個人身份的識別或生理、病理及心理特征的檢測，具有廣闊應用前景，成為近年來生物醫學信息檢測領域備受關注的前沿方向。一個完整的步態識別過程通常包括以下四個步驟：① 拍攝含有人體步行運動的視頻序列圖像；② 從視頻圖像中分割出步態輪廓圖；③ 從步態輪廓圖中提取步態特征；④ 對步態特征進行分類。與其它生物特征識別技術相比，步態識別的最大特點在于無需被監測人配合或接觸識別設備、僅在遠距離或低視頻質量情況下即可進行人體身份識別；此外，人的步態特征是身體各部位的習慣協調動作，在短時間內很難改變，故無法隱藏、偽造或模仿[1]。這些特點使得步態識別具有其他生物認證技術所不具有的獨特優勢，在門禁系統、安全監控、人機交互、醫療診斷等領域具有廣泛的應用前景和經濟價值[2]，在近些年成為生物特征識別技術中倍受關注的熱點，有關的研究論文與綜述評論也逐年增多。從2000年美國國防部高級研究項目署(Defense Advance Research Project Agency,DARPA)提出人遠距離身份識別(Human Identification at a Distance,HID)計劃至今，國際國內許多研究機構相繼開展了步態識別的研究并發表了多篇論文，涌現出諸多新穎算法。本文從特征提取的角度對最近幾年的研究成果給予總結，并對步態識別的研究難點和發展趨勢進行探討。
1 研究現狀
步態識別是計算機視覺領域結合生物識別技術的一個嶄新方向，它融合了視頻序列處理、圖像處理及模式識別等相關技術。對步態識別的研究旨在建立高效、準確的計算機步態自動識別系統，借助計算機完成目標對象與數據庫的自動匹配以達到身份識別的目的。計算機步態識別通常包括步態序列獲取、步態檢測、步態特征提取、步態識別四個過程。
1.1 步態序列獲取
步態序列獲取是對目標行走姿態的獲取，通常采用消費級DV、專業攝像機或監控攝像機拍攝目標的行走視頻序列。為便于研究，國際上建立了多個專門用于步態識別的數據庫：
① NIST(National Institute of Standards and Technology)/USF(University of South Florida)數據庫[3]是目前比較完備的數據庫，該數據庫在室外采集包括人臉和步態兩方面的數據，由122人的1 870個視頻序列構成，所采集的人數和步態序列以及采集條件都是最多的，反映了實際應用時的情況。該數據庫對沿著倒置的∑字形路線行走的測試者進行采集，采集條件包括相隔6個月的兩個不同日期、兩個不同的視角、不同的地面(草地或水泥地面)、不同的鞋型、提不提手提箱等。
② MIT(Massachusetts Institute of Technology)數據庫[4]是在室內垂直于攝像機光軸并控制照明的條件下拍攝的，包括14男、11女的25名對象共194個視頻序列，在3個月中的數天進行數據采集。
③ CMU(Carnegie Mellon University)數據庫[5]共采集25人，是在室內跑步機上使用6個角度的高質量攝像機同步拍攝的。測試者在跑步機上采用慢步行走、快步行走、在傾斜面上行走、抱球慢步行走四種方式。
④ CASIA(Chinese Academy of Sciences Institute of Automation)數據庫[6]包括小規模庫(又稱Dataset A)、多視角庫(又稱Dataset B)、紅外庫(又稱Dataset C)三個子數據庫。Dataset A(即NLPR步態數據庫)包含20個人、每人3個行走方向的數據，行走方向分別與圖像平面成0°、45°、90°，每個方向獲取4個圖像序列；Dataset B共包含124個人，是一個大規模多視角的步態庫，分別從0°、18°、36°、……、180°的11個視角下，以正常行走、攜帶包裹行走、穿大衣行走三種行走條件采集，相同視角下分別有6個正常行走步態序列、2個穿大衣行走步態序列和2個攜帶包裹行走步態序列，視頻均以320×240的圖像尺寸、每秒25幀的速率拍攝；Dataset C是一個用紅外(熱感)攝像機在夜間拍攝的大規模數據庫，包含153人，每個人有正常行走、帶包行走、快步行走、慢步行走四種方式。
⑤ UM(University of Maryland)數據庫[7]包含兩個數據集。數據集l包括25個單獨行走的測試對象，有迎面走來、背面離去、側面從左到右行走、側面從右到左行走四種角度；數據集2包括55個測試對象，在歷時1個月中的不同時間由兩個正交攝像機對T形路上單人行走的測試對象同步拍攝。
1.2 步態檢測
步態檢測通過對視頻序列操作，將人體步態輪廓區域從背景圖像中分割出來并進行必要的處理以降低噪聲干擾。步態檢測首先需要進行步態輪廓分割，常用方法有光流法、幀差法、背景減除法等。光流法善于捕捉運動特性，但抗噪性差，計算復雜，不滿足實時性要求；幀差法運算快速，方法簡單，穩定性較好，對場景變化不太敏感，能夠適應各種動態環境，但對噪聲敏感，只能提取輪廓邊界；背景減除法計算簡單，實時性好，主要適用于靜態背景的建模，當背景動態變化時需要實時更新。分割方法對比如表 1所示。
表1
輪廓分割方法對比
Table1.
Comparison among different contour segmentation methods
對于輪廓分割的結果，往往存在噪聲和空洞，常采用形態學處理方法進行處理，如膨脹和腐蝕、開運算和閉運算以及它們的組合運算。
1.3 步態特征提取
步態特征提取是對檢測出來的步態和數據庫中的已知步態進行數學描述以供計算機匹配識別。步態特征往往是基于人在步行過程中隨時間變化的某些姿態特點得到的，提取方法多種多樣。按照采集人體步態圖像序列攝像機數目的不同，步態識別可分為基于單視角的方法和基于多視角的方法。單視角步態識別中的一類特征提取方法從單幀圖像出發，獲取包含人體運動信息的人體形狀或結構特征。Cheng等[8]提出了利用步態輪廓構建步態序列的時空動態模板；張浩等[9]提出了加權動態時間規整(dynamic time warping,DTW)距離的自動步態識別算法，用二值輪廓圖像計算質心以及質心到輪廓線上各點的距離作為特征；Yeoh等[10]提出非模型化方法，將人體輪廓分成八個部分，并從中識別關節點，計算關節運動軌跡；Xu等[11]利用提取的關鍵幀輪廓擬合橢圓模型。另一類特征提取方法從視頻序列出發，獲取結合時間和空間的步態運動特征。張元元等[12]使用緊致的Procrustes均值形狀( procrustes mean shape,PMS)描述人體側影輪廓；Han等[13]提出了步態能量圖(gait energy image,GEI)的步態表征方法；Yang等[14]提出增強的步態能量圖(enhanced GEI,EGEI)；Chen等[15]為了降低不完整輪廓圖像造成的影響，用幀差能量圖( frame difference energy image,FDEI)進行步態表征，同時保留步態形狀信息和動態信息；Lee等[16]提出了幀差歷史圖(frame difference history image,FDHI)的步態表征方法，從而有效提取人體靜態形態和動態運動軌跡；Zhang等[17]提出運動能量圖(active energy image,AEI)進行步態特征表示，AEI更側重于動態區域，并且能降低低質量輪廓、攜帶物品以及服飾變化造成的影響；Bashir等[18]提出步態熵圖像(gait entropy image,GEnI)的表征方法。
單視角下的步態序列由于存在遮擋、視角局限性等影響因素，所能提供的步態信息有限。近幾年發展出了基于多視角的步態識別研究方法，對多個視角下的步態序列展開研究。相比于單視角的步態識別方法，多視角能消除圖像中的遮擋影響，提供更多的步態信息，形成不同視角之間的信息互補。基于多視角的研究關鍵是對不同視角間的信息進行融合。
Bouchrika等[19]對協變量分析和視角不變性進行了擴展研究，在一個未校準的攝像機下建立基于人體模型的姿態估計方法。Bashir等[20]通過構建高斯分類框架來估計探測序列的視角，使用典型相關分析(canonical correlation analysis,CCA)建立不同視角下步態序列的相關模型，并用關聯強度作為相似性度量來解決探測步態序列視角未知的交叉視覺步態識別問題。該方法不需要特征重建便可處理不同視角間的特征失配并且對特征噪聲具有魯棒性。Kusakunniran等[21]為了解決視角變化對步態識別造成的影響，提出了基于視角轉換模型(view transformation model,VTM)的交叉視覺和多視角步態識別算法，通過多層感知器(multi-layer perceptron,MLP)退化處理構造的VTM將交叉視角下的步態特征轉換到相同視角下進行相似性度量。該方法通過大數據庫的驗證，表明對交叉視角和多視角步態識別具有很好的識別效果，但系統開銷與3D步態模型相當，且僅對一定范圍內視角變化有效。趙永偉等[22]提出了基于多特征和多視角信息融合的步態識別方法，在單視角下采用計分的方法對偽Zernike矩、小波描述子和Procrustes形狀分析法提取的特征進行多特征融合，然后分別采用基于Rank、基于K近鄰(k-nearest neighbor,KNN)和基于Fuzzy等融合機制，完成多視角步態信息的融合識別。該方法在普通條件下獲得了比較高的識別率，但所提出的特征易受衣著、背包等情況的影響。Hu等[23]為了利用不同行走階段的顯著特征，提出多視角多實例步態識別方法，使用統一多視角的總體隱馬爾可夫模型(population hidden Markov models,pHMMs)提取多視角實例，應用多線性分析進行多視角多實例步態識別。實例關系的采用，無論各視角下步態周期是否完整，都可以獲得最佳內在標識向量估計。Liu等[24]發現如果3D目標能通過相同視角下少數原型的線性組合很好地表征，那么具有相同原型的表征系數在不同視角間仍很相似，因此提出用這樣的表征系數作為視角無關的特征，通過使用典型相關分析和主元分析的聯合子空間學習(joint subspace learning,JSL)獲取不同視角下的原型，使用相同視角下少數原型的線性組合作為視角無關的特征。
多視角步態識別還可采用立體視覺的方法，通過構建合適的立體模型展開研究。劉海濤[25]在步態識別問題的求解中首次引入立體視覺的方法，構造了以三維人體輪廓的質心為參考中心的三維人體輪廓描述子(3D body contour descriptor,3D-BCD)。立體視覺步態識別完成了像素級的融合，但需要立體視覺標定、立體匹配以及三維重建，并且系統結構比較復雜。Sivapalan等[26]提出一種基于3D橢球的快速步態識別算法，使用橢球擬合3D體素模型(3D voxel model)并從中提取步態特征。該方法可以解決現有以橢圓擬合模型為基礎的方法的視角依賴和自閉塞局限性。Canton-Ferrer等[27]為了克服視角帶來的外觀變化，利用多視角信息生成3D體素重建現場并提取步態周期將輸入數據在時間域對齊，然后通過超球面Radon變換(hyperspherical radon transform)從時空步態模板中提取特征，該特征具有比例、平移和旋轉不變性。Sivapalan等[28]為了克服GEI本身對視角依賴的問題，將GEI擴展到3D，通過重建體素卷來構造步態能量卷(gait energy volume,GEV)。在多視角下，該方法相比于GEI等特征具有更好的識別效果。
1.4 步態識別
步態識別是將待識別的步態序列與樣本庫中的已知序列進行匹配，通過一定的判別依據決定它所屬的類別。步態的表征方式與整個識別系統的構造密切相關，選取適當的步態表征方式與匹配策略十分關鍵。目前常見的分類器有：近鄰分類器、各種神經網絡分類器以及基于統計學的支持向量機(support vecter machine,SVM)分類器和隱馬爾可夫模型(hidden Markov model,HMM)等。常見分類器如表 2所示。
表2
常見分類器
Table2.
Common classifiers
此外，對于多視角的步態研究方法，在識別時多采用基于決策層的信息融合方法。這種方法對單個不同的特征先分別處理，得到各自獨立的決策結果，然后進行關聯并依據融合策略綜合匹配得到最終識別結果。決策層融合主要的研究方法有貝葉斯推理、統計決策、D-S(Dempster-Shafer)證據推理法、專家系統法、人工神經網絡、遺傳算法、粗糙集理論等。文獻[22]分別采用了基于Rank、KNN、Fuzzy的融合方法對多個視角信息進行融合識別；文獻[29]采用了簡單投票機制和D-S證據理論進行決策層信息融合；文獻[30]采用并聯的多分類器體系結構，選擇三個基于最近鄰準則的分類器對三個不同特征進行融合識別。
2 研究難點
步態識別是計算機視覺領域結合生物識別技術的一個嶄新方向，它融合了視頻序列處理、圖像處理及模式識別等相關技術。對步態識別的研究旨在建立高效、準確的計算機步態自動識別系統，借助計算機完成目標對象與數據庫的自動匹配以達到身份識別的目的。對于步態識別的研究已經有二十余年，但迄今為止還沒有能投入使用的步態識別系統，這是因為步態序列圖像獲取易受干擾，特征提取和識別算法復雜，完整匹配數據庫的建立比較困難。步態識別研究在計算機視覺領域和應用領域都有很大的研究潛力，同時也存在諸多的問題和挑戰。
(1) 步態檢測關系到后續特征提取的有效性和分類識別的準確性，人體輪廓提取的好與壞直接影響著識別結果，但當前還沒有通用性很好的步態檢測算法能適應各種噪聲和干擾，因此如何有效地分割人體輪廓是亟待解決的問題。
(2) 多視角研究方法可以消除遮擋，帶來視角間的信息互補，但各個視角下所提供的信息有所差別，不同視角間的步態信息存在冗余，在進行多視角研究時，首要問題是去除冗余的同時使步態特征信息的損失降到最低。
(3) 識別系統的通用性不強。當前研究都是在相似的步態相關變量(衣著、背包等)下獲取的步態序列中進行的，一旦測試序列和樣本序列的變量條件不同或者測試序列的變量條件未知，識別效果會受很大影響。實際情況下同一視頻序列中存在著多種變量的變化問題，這對步態表征的魯棒性及系統的通用性提出了很高的要求。
3 發展趨勢
從當前的研究現狀和實際應用的需求出發，可以預測步態識別的發展趨勢如下：
(1) 對特征層融合方法的探索。相比于數據層融合，特征層融合減少了信息損失，實現了信息壓縮，有利于實時處理。對特征層融合進行研究，利用單視角下的多特征及不同視角間的特征進行融合，獲取具有互補性的特征，有助于提高步態識別系統的性能。
(2) 對目前應用較廣的投票機制、D-S證據理論等決策層融合算法進行完善，發展基于人工神經網絡、遺傳算法等的方法，使其符合多視角步態識別研究的算法要求。
(3) 開展復雜環境下的步態識別研究。真實環境中總是不可避免地出現背景變化、多人同時出現等情況，這就需要開展諸如動態背景、多人環境等復雜情況的步態識別研究，從而促進步態識別從實驗室的理論研究向現實環境中的實際應用轉變。
4 結語
步態識別作為生物特征識別領域的一個很有發展潛力的研究方向，已經引起越來越多科研工作者的注意，他們從不同角度提出了多種識別方法。本文結合當前步態研究的現狀，從步態識別的數據獲取、步態檢測、步態表征、步態識別方面進行了概括，重點回顧了步態表征的最新研究成果，并對研究難點與發展趨勢進行了總結與展望。
引言
步態識別是生物特征識別技術中的一個新興領域。它旨在根據人們的走路姿勢實現對個人身份的識別或生理、病理及心理特征的檢測，具有廣闊應用前景，成為近年來生物醫學信息檢測領域備受關注的前沿方向。一個完整的步態識別過程通常包括以下四個步驟：① 拍攝含有人體步行運動的視頻序列圖像；② 從視頻圖像中分割出步態輪廓圖；③ 從步態輪廓圖中提取步態特征；④ 對步態特征進行分類。與其它生物特征識別技術相比，步態識別的最大特點在于無需被監測人配合或接觸識別設備、僅在遠距離或低視頻質量情況下即可進行人體身份識別；此外，人的步態特征是身體各部位的習慣協調動作，在短時間內很難改變，故無法隱藏、偽造或模仿[1]。這些特點使得步態識別具有其他生物認證技術所不具有的獨特優勢，在門禁系統、安全監控、人機交互、醫療診斷等領域具有廣泛的應用前景和經濟價值[2]，在近些年成為生物特征識別技術中倍受關注的熱點，有關的研究論文與綜述評論也逐年增多。從2000年美國國防部高級研究項目署(Defense Advance Research Project Agency,DARPA)提出人遠距離身份識別(Human Identification at a Distance,HID)計劃至今，國際國內許多研究機構相繼開展了步態識別的研究并發表了多篇論文，涌現出諸多新穎算法。本文從特征提取的角度對最近幾年的研究成果給予總結，并對步態識別的研究難點和發展趨勢進行探討。
1 研究現狀
步態識別是計算機視覺領域結合生物識別技術的一個嶄新方向，它融合了視頻序列處理、圖像處理及模式識別等相關技術。對步態識別的研究旨在建立高效、準確的計算機步態自動識別系統，借助計算機完成目標對象與數據庫的自動匹配以達到身份識別的目的。計算機步態識別通常包括步態序列獲取、步態檢測、步態特征提取、步態識別四個過程。
1.1 步態序列獲取
步態序列獲取是對目標行走姿態的獲取，通常采用消費級DV、專業攝像機或監控攝像機拍攝目標的行走視頻序列。為便于研究，國際上建立了多個專門用于步態識別的數據庫：
① NIST(National Institute of Standards and Technology)/USF(University of South Florida)數據庫[3]是目前比較完備的數據庫，該數據庫在室外采集包括人臉和步態兩方面的數據，由122人的1 870個視頻序列構成，所采集的人數和步態序列以及采集條件都是最多的，反映了實際應用時的情況。該數據庫對沿著倒置的∑字形路線行走的測試者進行采集，采集條件包括相隔6個月的兩個不同日期、兩個不同的視角、不同的地面(草地或水泥地面)、不同的鞋型、提不提手提箱等。
② MIT(Massachusetts Institute of Technology)數據庫[4]是在室內垂直于攝像機光軸并控制照明的條件下拍攝的，包括14男、11女的25名對象共194個視頻序列，在3個月中的數天進行數據采集。
③ CMU(Carnegie Mellon University)數據庫[5]共采集25人，是在室內跑步機上使用6個角度的高質量攝像機同步拍攝的。測試者在跑步機上采用慢步行走、快步行走、在傾斜面上行走、抱球慢步行走四種方式。
④ CASIA(Chinese Academy of Sciences Institute of Automation)數據庫[6]包括小規模庫(又稱Dataset A)、多視角庫(又稱Dataset B)、紅外庫(又稱Dataset C)三個子數據庫。Dataset A(即NLPR步態數據庫)包含20個人、每人3個行走方向的數據，行走方向分別與圖像平面成0°、45°、90°，每個方向獲取4個圖像序列；Dataset B共包含124個人，是一個大規模多視角的步態庫，分別從0°、18°、36°、……、180°的11個視角下，以正常行走、攜帶包裹行走、穿大衣行走三種行走條件采集，相同視角下分別有6個正常行走步態序列、2個穿大衣行走步態序列和2個攜帶包裹行走步態序列，視頻均以320×240的圖像尺寸、每秒25幀的速率拍攝；Dataset C是一個用紅外(熱感)攝像機在夜間拍攝的大規模數據庫，包含153人，每個人有正常行走、帶包行走、快步行走、慢步行走四種方式。
⑤ UM(University of Maryland)數據庫[7]包含兩個數據集。數據集l包括25個單獨行走的測試對象，有迎面走來、背面離去、側面從左到右行走、側面從右到左行走四種角度；數據集2包括55個測試對象，在歷時1個月中的不同時間由兩個正交攝像機對T形路上單人行走的測試對象同步拍攝。
1.2 步態檢測
步態檢測通過對視頻序列操作，將人體步態輪廓區域從背景圖像中分割出來并進行必要的處理以降低噪聲干擾。步態檢測首先需要進行步態輪廓分割，常用方法有光流法、幀差法、背景減除法等。光流法善于捕捉運動特性，但抗噪性差，計算復雜，不滿足實時性要求；幀差法運算快速，方法簡單，穩定性較好，對場景變化不太敏感，能夠適應各種動態環境，但對噪聲敏感，只能提取輪廓邊界；背景減除法計算簡單，實時性好，主要適用于靜態背景的建模，當背景動態變化時需要實時更新。分割方法對比如表 1所示。
表1
輪廓分割方法對比
Table1.
Comparison among different contour segmentation methods
對于輪廓分割的結果，往往存在噪聲和空洞，常采用形態學處理方法進行處理，如膨脹和腐蝕、開運算和閉運算以及它們的組合運算。
1.3 步態特征提取
步態特征提取是對檢測出來的步態和數據庫中的已知步態進行數學描述以供計算機匹配識別。步態特征往往是基于人在步行過程中隨時間變化的某些姿態特點得到的，提取方法多種多樣。按照采集人體步態圖像序列攝像機數目的不同，步態識別可分為基于單視角的方法和基于多視角的方法。單視角步態識別中的一類特征提取方法從單幀圖像出發，獲取包含人體運動信息的人體形狀或結構特征。Cheng等[8]提出了利用步態輪廓構建步態序列的時空動態模板；張浩等[9]提出了加權動態時間規整(dynamic time warping,DTW)距離的自動步態識別算法，用二值輪廓圖像計算質心以及質心到輪廓線上各點的距離作為特征；Yeoh等[10]提出非模型化方法，將人體輪廓分成八個部分，并從中識別關節點，計算關節運動軌跡；Xu等[11]利用提取的關鍵幀輪廓擬合橢圓模型。另一類特征提取方法從視頻序列出發，獲取結合時間和空間的步態運動特征。張元元等[12]使用緊致的Procrustes均值形狀( procrustes mean shape,PMS)描述人體側影輪廓；Han等[13]提出了步態能量圖(gait energy image,GEI)的步態表征方法；Yang等[14]提出增強的步態能量圖(enhanced GEI,EGEI)；Chen等[15]為了降低不完整輪廓圖像造成的影響，用幀差能量圖( frame difference energy image,FDEI)進行步態表征，同時保留步態形狀信息和動態信息；Lee等[16]提出了幀差歷史圖(frame difference history image,FDHI)的步態表征方法，從而有效提取人體靜態形態和動態運動軌跡；Zhang等[17]提出運動能量圖(active energy image,AEI)進行步態特征表示，AEI更側重于動態區域，并且能降低低質量輪廓、攜帶物品以及服飾變化造成的影響；Bashir等[18]提出步態熵圖像(gait entropy image,GEnI)的表征方法。
單視角下的步態序列由于存在遮擋、視角局限性等影響因素，所能提供的步態信息有限。近幾年發展出了基于多視角的步態識別研究方法，對多個視角下的步態序列展開研究。相比于單視角的步態識別方法，多視角能消除圖像中的遮擋影響，提供更多的步態信息，形成不同視角之間的信息互補。基于多視角的研究關鍵是對不同視角間的信息進行融合。
Bouchrika等[19]對協變量分析和視角不變性進行了擴展研究，在一個未校準的攝像機下建立基于人體模型的姿態估計方法。Bashir等[20]通過構建高斯分類框架來估計探測序列的視角，使用典型相關分析(canonical correlation analysis,CCA)建立不同視角下步態序列的相關模型，并用關聯強度作為相似性度量來解決探測步態序列視角未知的交叉視覺步態識別問題。該方法不需要特征重建便可處理不同視角間的特征失配并且對特征噪聲具有魯棒性。Kusakunniran等[21]為了解決視角變化對步態識別造成的影響，提出了基于視角轉換模型(view transformation model,VTM)的交叉視覺和多視角步態識別算法，通過多層感知器(multi-layer perceptron,MLP)退化處理構造的VTM將交叉視角下的步態特征轉換到相同視角下進行相似性度量。該方法通過大數據庫的驗證，表明對交叉視角和多視角步態識別具有很好的識別效果，但系統開銷與3D步態模型相當，且僅對一定范圍內視角變化有效。趙永偉等[22]提出了基于多特征和多視角信息融合的步態識別方法，在單視角下采用計分的方法對偽Zernike矩、小波描述子和Procrustes形狀分析法提取的特征進行多特征融合，然后分別采用基于Rank、基于K近鄰(k-nearest neighbor,KNN)和基于Fuzzy等融合機制，完成多視角步態信息的融合識別。該方法在普通條件下獲得了比較高的識別率，但所提出的特征易受衣著、背包等情況的影響。Hu等[23]為了利用不同行走階段的顯著特征，提出多視角多實例步態識別方法，使用統一多視角的總體隱馬爾可夫模型(population hidden Markov models,pHMMs)提取多視角實例，應用多線性分析進行多視角多實例步態識別。實例關系的采用，無論各視角下步態周期是否完整，都可以獲得最佳內在標識向量估計。Liu等[24]發現如果3D目標能通過相同視角下少數原型的線性組合很好地表征，那么具有相同原型的表征系數在不同視角間仍很相似，因此提出用這樣的表征系數作為視角無關的特征，通過使用典型相關分析和主元分析的聯合子空間學習(joint subspace learning,JSL)獲取不同視角下的原型，使用相同視角下少數原型的線性組合作為視角無關的特征。
多視角步態識別還可采用立體視覺的方法，通過構建合適的立體模型展開研究。劉海濤[25]在步態識別問題的求解中首次引入立體視覺的方法，構造了以三維人體輪廓的質心為參考中心的三維人體輪廓描述子(3D body contour descriptor,3D-BCD)。立體視覺步態識別完成了像素級的融合，但需要立體視覺標定、立體匹配以及三維重建，并且系統結構比較復雜。Sivapalan等[26]提出一種基于3D橢球的快速步態識別算法，使用橢球擬合3D體素模型(3D voxel model)并從中提取步態特征。該方法可以解決現有以橢圓擬合模型為基礎的方法的視角依賴和自閉塞局限性。Canton-Ferrer等[27]為了克服視角帶來的外觀變化，利用多視角信息生成3D體素重建現場并提取步態周期將輸入數據在時間域對齊，然后通過超球面Radon變換(hyperspherical radon transform)從時空步態模板中提取特征，該特征具有比例、平移和旋轉不變性。Sivapalan等[28]為了克服GEI本身對視角依賴的問題，將GEI擴展到3D，通過重建體素卷來構造步態能量卷(gait energy volume,GEV)。在多視角下，該方法相比于GEI等特征具有更好的識別效果。
1.4 步態識別
步態識別是將待識別的步態序列與樣本庫中的已知序列進行匹配，通過一定的判別依據決定它所屬的類別。步態的表征方式與整個識別系統的構造密切相關，選取適當的步態表征方式與匹配策略十分關鍵。目前常見的分類器有：近鄰分類器、各種神經網絡分類器以及基于統計學的支持向量機(support vecter machine,SVM)分類器和隱馬爾可夫模型(hidden Markov model,HMM)等。常見分類器如表 2所示。
表2
常見分類器
Table2.
Common classifiers
此外，對于多視角的步態研究方法，在識別時多采用基于決策層的信息融合方法。這種方法對單個不同的特征先分別處理，得到各自獨立的決策結果，然后進行關聯并依據融合策略綜合匹配得到最終識別結果。決策層融合主要的研究方法有貝葉斯推理、統計決策、D-S(Dempster-Shafer)證據推理法、專家系統法、人工神經網絡、遺傳算法、粗糙集理論等。文獻[22]分別采用了基于Rank、KNN、Fuzzy的融合方法對多個視角信息進行融合識別；文獻[29]采用了簡單投票機制和D-S證據理論進行決策層信息融合；文獻[30]采用并聯的多分類器體系結構，選擇三個基于最近鄰準則的分類器對三個不同特征進行融合識別。
2 研究難點
步態識別是計算機視覺領域結合生物識別技術的一個嶄新方向，它融合了視頻序列處理、圖像處理及模式識別等相關技術。對步態識別的研究旨在建立高效、準確的計算機步態自動識別系統，借助計算機完成目標對象與數據庫的自動匹配以達到身份識別的目的。對于步態識別的研究已經有二十余年，但迄今為止還沒有能投入使用的步態識別系統，這是因為步態序列圖像獲取易受干擾，特征提取和識別算法復雜，完整匹配數據庫的建立比較困難。步態識別研究在計算機視覺領域和應用領域都有很大的研究潛力，同時也存在諸多的問題和挑戰。
(1) 步態檢測關系到后續特征提取的有效性和分類識別的準確性，人體輪廓提取的好與壞直接影響著識別結果，但當前還沒有通用性很好的步態檢測算法能適應各種噪聲和干擾，因此如何有效地分割人體輪廓是亟待解決的問題。
(2) 多視角研究方法可以消除遮擋，帶來視角間的信息互補，但各個視角下所提供的信息有所差別，不同視角間的步態信息存在冗余，在進行多視角研究時，首要問題是去除冗余的同時使步態特征信息的損失降到最低。
(3) 識別系統的通用性不強。當前研究都是在相似的步態相關變量(衣著、背包等)下獲取的步態序列中進行的，一旦測試序列和樣本序列的變量條件不同或者測試序列的變量條件未知，識別效果會受很大影響。實際情況下同一視頻序列中存在著多種變量的變化問題，這對步態表征的魯棒性及系統的通用性提出了很高的要求。
3 發展趨勢
從當前的研究現狀和實際應用的需求出發，可以預測步態識別的發展趨勢如下：
(1) 對特征層融合方法的探索。相比于數據層融合，特征層融合減少了信息損失，實現了信息壓縮，有利于實時處理。對特征層融合進行研究，利用單視角下的多特征及不同視角間的特征進行融合，獲取具有互補性的特征，有助于提高步態識別系統的性能。
(2) 對目前應用較廣的投票機制、D-S證據理論等決策層融合算法進行完善，發展基于人工神經網絡、遺傳算法等的方法，使其符合多視角步態識別研究的算法要求。
(3) 開展復雜環境下的步態識別研究。真實環境中總是不可避免地出現背景變化、多人同時出現等情況，這就需要開展諸如動態背景、多人環境等復雜情況的步態識別研究，從而促進步態識別從實驗室的理論研究向現實環境中的實際應用轉變。
4 結語
步態識別作為生物特征識別領域的一個很有發展潛力的研究方向，已經引起越來越多科研工作者的注意，他們從不同角度提出了多種識別方法。本文結合當前步態研究的現狀，從步態識別的數據獲取、步態檢測、步態表征、步態識別方面進行了概括，重點回顧了步態表征的最新研究成果，并對研究難點與發展趨勢進行了總結與展望。
