面對人口老齡化加劇、醫療資源不足與分布不均衡的挑戰，遠程診療越來越重要。運動障礙特別是步態障礙，是帕金森病（PD）等神經系統疾病的主要癥狀。本文提出了一種基于二維（2D）視頻的步態障礙量化評估與分析方法，以智能手機為視頻采集設備。采用卷積姿態機提取人體關節點，設計基于節點運動特征的步相劃分算法，提取上肢和下肢相關特征。并設計了基于身高比例的空間特征提取方法，可有效提取空間特征。使用運動捕捉系統對所提方法進行誤差分析、校正補償以及精度驗證，校正后提取的步長誤差小于3 cm。開展臨床驗證，招募64名帕金森病患者和46名同年齡組健康受試者，對各項步態指標進行統計學分析，并采用三種經典分類方法進行實驗，其中使用隨機森林方法可以獲得91%的分類準確率。本文所提方法為神經系統疾病導致運動障礙的非接觸和遠程診療提供了一種客觀、方便、智能化的解決方案。
引用本文： 孫玉波, 劉培培, 楊宇辰, 于洋, 于歡, 孫瀟逸, 巫嘉陵, 韓建達, 于寧波. 一種基于二維視頻的運動障礙量化評估方法與臨床應用研究. 生物醫學工程學雜志, 2023, 40(3): 499-507. doi: 10.7507/1001-5515.202203052 復制
0 引言
由于人口老齡化不斷加劇，優質醫療資源較為稀缺且分布不均衡，特別是對于因帕金森病、腦卒中等神經系統疾病導致運動障礙、需要早診斷早治療或及時隨訪的患者，遠程診療的重要性日益攀升[1-2]。目前，視頻分析技術正逐步應用于運動障礙的測評中[3]，并且近些年來智能手機大量普及，使用手機進行視頻錄制越來越簡單，這使得通過視頻對疾病進行遠程監測和篩查成為可能。
帕金森病、腦卒中等是常見于老年人的神經系統疾病[4]。患者的姿態和運動異常是這類疾病造成的運動障礙的一種主要表現，患者步態的顯著變化已經成為帕金森病早期篩查和診斷的重要參考指標[5]。然而，目前臨床上使用的篩查方法，如帕金森病綜合評分量表（Movement Disorder Society-Unified Parkinson’s Disease Rating Scale，MDS-UPDRS）[6]，很大程度上依賴于醫生的專業知識、經驗和判斷。因此，亟需一種客觀、有效、便利的評測手段。
隨著傳感裝置的不斷發展，多種方法已經被用于識別受損步態。其中，運動捕捉技術[7]和壓力墊技術[8]的使用最為廣泛，它們也被認為是臨床評估中的金標準[9-10]。Nardo等[11]使用運動捕捉系統對9名接受了腦深部電刺激手術治療的帕金森病患者進行了步態分析。劉俊杰[12]提出了針對垂直地面反作用力信號的步態特征提取方法。然而，對運動捕捉系統來說，嚴格的測量條件使之只能在實驗室中完成。壓力墊系統雖然布置簡單，但缺少人體上肢信息。可穿戴設備的使用使得測試可以在非實驗室環境下進行，Greene等[13]和Lima等[14]分別使用了陀螺儀和加速計來對運動功能進行量化評估，沈天毓等[15]則使用了慣性傳感器進行了運動分析。但此類專業設備仍無法滿足大規模人群篩查、遠程診療的需求。
近些年來，基于計算機視覺技術的步態量化評估方法受到越來越多的關注。Kinect可以拍攝帶有深度信息的影像并獲得三維步態信息[16]。為了在二維圖像中定位人體特定關節，Kim等[17]通過在受試者的身體粘貼標志點來實現，但標志點的固定與獲取也為評估增加了困難。Gabel等[18]使用Kinect對健康人的步態進行了分析，基于Kinect的方法可以實現在非實驗室環境下進行非接觸式的步態分析，但數據的采集仍然需要專業設備。Verlekar等[19]使用背景減除算法實現了在無標記環境下對人體輪廓的提取，進而獲取步態信息，但此方法對實驗環境要求嚴格。部分研究實現了在無標記的復雜場景中提取人體關節信息的功能，但此類研究多為使用神經網絡針對大量數據集進行訓練[20]，且沒有對精度進行校正，并未在臨床中得到應用。
本文提出了一種基于二維（two-dimensional，2D）視頻的運動障礙量化評估方法，通過由姿態估計算法提取的人體關節信息，利用受試者在社區甚至家中的行走視頻進行步態分析。采用卷積姿態機（convolutional pose machine，CPM）提取人體關節點，進而計算步態的時間和空間相關特征。我們設計了一個包括視頻和運動捕捉的同步采集系統，對參數進行誤差分析和校正補償，進一步提高了視頻分析的精度。隨后我們采集了帕金森病患者和同年齡組健康人的步行視頻數據，使用所建立的系統進行步態分析和健患分類。本文所提出的系統僅需一部手機作為數據采集設備，可以在社區甚至家中進行行走視頻的錄制，以期為運動障礙的遠程診療提供一種客觀、方便、智能化的解決方案。
1 材料與方法
1.1 實驗環境與數據采集
1.1.1 步態特征校正實驗
步態特征校正實驗在南開大學人工智能學院運動捕捉實驗室進行，行走區域長度為5 m。一部智能手機（Nova 7，HUAWEI，中國）被架設在垂直于行走方向的一側以記錄受試者行走過程中的矢狀面圖像，且本實驗中對手機的相對位置無需定點定標，只要求手機架設在運動范圍的中垂線上，且受試者及運動區域都在視頻拍攝范圍內。視頻拍攝的圖像規格為1 920*1 080 像素，幀率為30幀/秒。
采用由8臺攝像機組成的光學運動捕捉系統（Vicon，Oxford Metrics Limited，英國）與視頻同時進行數據采集，采樣頻率為100 Hz。有研究表明，按照規范操作使用三維運動捕捉進行步態分析是可信的[21-22]，且可以作為步態評估的金標準[23]。實驗開始前，將用于運動捕捉的標志點固定在受試者身體上，與姿態估計算法檢測得到的關鍵點位置保持一致，具體位置如圖1所示。
圖1
運動捕捉系統標志點粘貼示意圖
Figure1.
Marker placement diagram of motion capture system
步態特征校正實驗中共招募了10名健康志愿者，其中包括7名男性和3名女性，年齡（23.50 ± 0.92）歲，身高（171.90 ± 7.71）cm，無運動障礙相關疾病，每名志愿者都被要求在行走區域內往返行走三次。
1.1.2 臨床試驗
臨床試驗中共招募了110名受試者，其中實驗組為64名帕金森病患者，包含38名男性和26名女性，年齡（63.09 ± 8.49）歲，身高（166.92 ± 8.40）cm；對照組為46名同年齡組健康人，包括20名男性和26名女性，年齡（55.45 ± 8.32）歲，身高（166.55 ± 7.11）cm。
臨床試驗在天津市環湖醫院康復醫學科進行，本研究已通過醫學倫理許可并在中國臨床試驗注冊中心注冊（注冊編號：ChiCTR1900025372），且經過了受試者及其家屬的知情同意。臨床試驗中每名受試者均需在長度為5 m的試驗區域內往返行走3次，行走過程的視頻數據由按照要求設置的智能手機錄制。
1.2 步態特征提取
我們提出的基于視頻的步態分析方法以二維圖像作為輸入，整體流程如圖2所示。在使用姿態估計算法提取人體的骨架之后，首先計算時間相關的步態參數；然后以獲得的關鍵時間點為基礎，計算空間相關的步態特征，并與運動捕捉系統計算得到的步態特征進行對比以驗證所提出方法的準確性。而且，針對步長等空間特征，根據對比的結果進行補償以提高精度。本研究中的步態特征是基于帕金森病患者運動功能障礙臨床癥狀選取的，有研究表明，所用時間相關特征（如步態周期時間、支撐相時間、擺動相時間等）和空間相關特征（如步長、步速等）均為帕金森病運動功能障礙評估中的有效指標，可在臨床診斷和早期篩查中發揮重要作用[24-25]。
圖2
量化評估方法與參數校正流程圖
Figure2.
Flow chart of the quantitative evaluation method and parameter calibration
1.2.1 姿態估計算法
在所提出的方法中，我們使用了基于CPM的開源姿態估計算法OpenPose來完成對人體關鍵點的估計，整體結構如圖3所示。在第1階段，通過卷積與池化，獲得關節點置信度熱度圖。從第2階段開始，每個階段中CPM都使用從圖像中提取得到的信息和從前一個階段熱力圖中獲得的空間上下文信息，來對關節點的位置進行預測。
圖3
CPM模型結構圖
Figure3.
The structure of the CPM
采用姿態估計算法提取人體骨架中各個關鍵點在二維圖像中的坐標，位置與人的各個關節對應，包括髖、膝、踝、肩、肘和腕等部位，如圖4所示。
圖4
姿態估計算法關節點提取示意圖
Figure4.
Node extraction schematic of pose estimation algorithm
1.2.2 時間相關的步態特征計算
一個步態周期可以被劃分為支撐相和擺動相，通過識別足跟觸地和腳趾離地時刻，可以對步相進行劃分，如圖5所示。找到這兩個關鍵時間點是計算步態時間相關參數的關鍵。
圖5
足部角度和步相劃分關系示意圖
Figure5.
The diagram of the relationship between foot angle and gait phase
我們將足跟和腳趾的連線與水平線之間的夾角定義為足部與地面的夾角，當腳趾高度大于足跟時，夾角為正；否則為負。首先對得到的角度數據進行低通濾波處理，因為在正常條件下人運動的最大頻率為20 Hz[26]，考慮到人體步態周期大約為1 s，所以我們將濾波的截止頻率設為10 Hz。根據人體步態運動特征，當足跟觸地時，足部角度達到一個步態周期中的極大值，該時刻即為支撐相開始的時間點。定義腳趾離地時刻即為腳趾移動速度由慢變快的時刻，即加速度最大時刻。本研究中使用二階差分方法計算腳趾標志點加速度變化，以識別腳趾離地時刻。由于不同人的步態習慣不同，步態周期也會有差異，識別過程中如果選取的幀數過少，可能漏掉腳趾離地幀；選取的幀數過多，可能會采集到下一步態周期的數據。經過多次實驗分析，我們得出選取9幀是比較合適的。
為了找到腳趾離地的時間點，我們對足部與地面夾角極小值點附近共9幀的數據求取二階差分：
 |
 |
其中，
為
時刻足部與地面夾角。二階差分曲線的極大值點即為所求。
利用得到的足跟觸地和腳趾離地這兩個關鍵時間點，可以進一步計算出步態周期、支撐相時間和擺動相時間：
 |
 |
 |
其中，
為第
個步態周期，
為第
個支撐相時間，
為第
個擺動相時間，
為第
個腳跟觸地的時間點，
為第
個腳趾離地的時間點。
運動捕捉系統中，使用受試者前進方向和豎直方向的數據進行計算，提取兩個步態事件中的兩個關鍵時間并進一步計算時間相關的步態參數。
1.2.3 空間相關的步態特征計算
步長為兩側足跟觸地點之間的距離，并按邁步下肢區分左右側。基于上文得到的足跟觸地時間點，步長的計算方法為：
 |
其中，
為第i個步長在圖像中的長度，
為t時刻的足跟水平坐標。
由于使用智能手機拍攝視頻得到的是沒有深度信息的二維圖像，所以計算得到的是像素距離，而非實際距離。為了將步長的像素長度轉化為真實長度，我們將人體脊柱部分的真實長度與像素長度的比值作為轉化因子。測量受試者身高，根據人體身材的比例[27]，計算得到受試者的脊柱真實長度
。而脊柱的像素長度
則可以通過計算頸部到髖部中點的距離得到，即圖6中的紅色連線。為了盡量減少由于姿態估計算法導致的誤差，我們將足跟觸地幀附近5幀的脊柱長度取均值作為
。進一步計算真實步長為：
圖6
擺臂角度示意圖
Figure6.
Diagram of arm swing
 |
步速的減慢同樣是帕金森病患者的主要運動特征之一。以步長為基礎，全部步長之和與時間的比值即為步速：
 |
其中，
為行走過程的總時間。
1.2.4 上肢特征計算
上肢擺動異常是除步態外，帕金森病患者另一種常見的運動功能障礙，對上肢擺動的分析也可以作為對病情的有效預警，有時候甚至還要早于臨床的診斷[28]。故在步態時空特征基礎上，我們增加了上肢擺動相關指標進行運動功能量化分析。將上肢擺動角度（arm swing angle，ASA）定義為上臂肱骨與圖像中豎直線的夾角，當上臂擺動到身體前側時，角度為正數；當上臂擺動到身體后側時，角度為負數。在實驗中，手機被架設在行走區域的一側，因此由于身體的遮擋，只有靠近手機一側的手臂擺動可以被記錄下來，由于實驗范式中要求患者做往返步行運動，因此兩側擺臂會被交替記錄與分析。一個步態周期序列中錄制的一側擺臂角度變化如圖6所示。
手臂擺動幅度（arm swing magnitude，ASM）被定義為相鄰的
的最大值（
）與最小值（
）之差：
 |
而手臂擺動速度（arm swing velocity，ASV）則為
與擺臂時間
的比值：
 |
1.2.5 檢驗與分類算法
我們使用獨立樣本t檢驗測試了所提出方法關于區分帕金森病患者和健康人的能力，并進一步驗證了基于這些特征的分類精度。采用三種分類方法，分別為邏輯回歸（logistic regression，LR）、支持向量機（support vector machine，SVM）和隨機森林（random forest，RF），并使用五折交叉驗證來驗證這些分類方法的準確性。
為了客觀地對各分類算法進行評估，分別使用準確率（accuracy）、精確率（precision）、召回率（recall）、F1得分（F1 score）、受試者操作特征（receiver operating characteristic，ROC）曲線下面積（area under curve，AUC）作為評價指標進行分類性能分析。
2 結果與分析
2.1 步態特征校正實驗結果
將本文方法提取的步態參數與金標準運動捕捉系統進行對比，結果如表1所示。首先是對于步態中關鍵事件發生時間的確定，由于視頻的采集幀率為30幀/秒，即每次采樣的間隔為0.03 s左右，本文所提出的方法中，輸出的腳跟觸地與腳趾離地的時間點與運動捕捉系統的誤差均接近甚至小于0.03 s。基于準確的兩個關鍵事件計算得到的時間步態參數如步態周期、支撐相時間和擺動相時間也有著相近的高精確度。
表1
精度驗證實驗結果
Table1.
Results of the validation experiment
對于空間步態參數，由于步速反映了一段時間內行走速度的均值，因此所提出的方法與運動捕捉系統得到的數值十分接近。但是對于步長來說，二維圖像中缺少深度信息使得其計算結果并不理想。
2.2 步長的反饋補償
為了分析步長精度不理想的原因，我們繪制出了隨水平坐標變化的誤差分布圖，如圖7所示。以視頻圖像的正中央為原點，設整個圖像的水平寬度為1，因此視頻水平坐標范圍為[?0.5, 0.5]。我們以實驗中129個左側步長和126個右側步長足跟觸地的水平坐標為橫坐標，以步長的誤差絕對值作為縱坐標繪制出散點圖。
圖7
步長誤差隨水平坐標變化的分布圖
Figure7.
Distribution of step length error with horizontal coordinates
通過觀察發現，左側步長和右側步長隨坐標的變化均呈現出中間誤差小、兩端誤差大的規律。鏡頭由若干組透鏡構成，由于鏡頭焦平面上不同區域對影像的放大率不同，因而形成的畫面會存在扭曲變形現象。這種變形的程度從畫面中心至畫面邊緣依次遞增，在步長計算中越遠離視頻中央的步長誤差越大。而左側步長隨水平坐標的增大而增大，右側步長隨水平坐標的增大而減小，是因為OpenPose依賴圖像空間信息來進行姿態估計，視野邊緣的不同視角會給OpenPose依賴空間信息的參數帶來誤差，從而導致左右兩側在進行步長計算過程中呈現出不同的規律。
我們使用最小二乘法分別對左右側步長誤差分布圖中的點進行擬合，擬合結果分別如式(11)和式(12)所示。
 |
 |
為了對這種趨勢進行彌補以減小誤差，將之前計算得到的步長與擬合曲線上對應的
數據作差進行反饋補償，補償后由視頻計算的步長與動作捕捉獲得的標準步長誤差減小，距視頻中心較遠的位置步長誤差明顯減小。具體數據如表2所示，相對于補償前，補償后左右兩側誤差分別縮小了29.87%和10.38%，且誤差均可達到3 cm以下。
表2
補償后的步長
Table2.
Step length after compensation
2.3 步態特征臨床試驗結果及統計學分析
臨床試驗中對帕金森病實驗組和健康對照組以0.001作為檢驗水準進行了獨立樣本t檢驗，步態特征結果與統計學分析如表3所示。為了消除身高對于指標的影響，我們計算了步長和步速的實際值，并與身高的比值進行了歸一化。在空間相關的步態特征中，帕金森病實驗組與健康對照組的差異均有統計學意義，實驗組的步長顯著小于對照組，步速顯著慢于對照組。在上肢擺動相關特征中也有著相同的趨勢，實驗組的擺臂幅度顯著小于對照組，擺臂速度顯著慢于對照組。而在時間相關的步態特征方面如步態周期、支撐相和擺動相等，健患組間差異無統計學意義。
表3
帕金森病患者和健康對照組的步態特征的平均值和標準差
Table3.
Mean and standard deviation of gait features for Parkinsion’s disease patients and healthy control
2.4 分類結果
基于上述的歸一化步長、歸一化步速、擺臂幅度、擺臂速度、步態周期、支撐相和擺動相等特征，使用LR、SVM和RF算法來進行分類，并分別通過五折交叉驗證提高結果的可靠性。各分類算法性能的評價指標如圖8和表4所示。其中，采用RF分類算法可以獲得較高的分類精度。以上各項指標證明了本文所提出方法能夠有效地對帕金森病患者及健康人進行區分。
圖8
三種方法的ROC曲線
Figure8.
The ROC curves by three methods
表4
使用LR、SVM和RF的分類性能
Table4.
Classification performance using LR, SVM and RF
3 結論
為了解決目前人口老齡化加劇、醫療資源不足和分布不均衡以及突發公共衛生事件的挑戰問題，我們提出了一種基于單目視覺的步態識別與分類方法，以行走視頻作為輸入，實現了對主要步態特征的提取，并設計實驗通過運動捕捉系統對所提特征進行校正。步長在矯正后左右兩側誤差縮小了29.87%和10.38%，且均達到了3 cm以下。基于這些步態特征，我們進一步開展了臨床試驗，對帕金森病患者組和健康對照組的各項指標進行了統計學分析，并使用三種不同的分類算法進行健患分類，其中使用隨機森林分類算法的準確率達到0.91，證明了所提方法對帕金森病患者和健康人具有良好的區分能力，達到了較高的分類準確率。除此之外，實驗過程中只需要一部智能手機即可完成數據的采集。本文為運動功能障礙遠程診療及大規模篩查提供了一種新的方案。
重要聲明：
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：孫玉波、劉培培與楊宇辰對本文貢獻相同。孫玉波、劉培培與楊宇辰負責研究框架設計、實驗方案設計與實現以及數據處理與分析。孫玉波與楊宇辰負責代碼撰寫與文稿寫作。于洋、于歡與孫瀟逸主要負責數據采集、整理、分析與解釋。巫嘉陵教授、韓建達教授與于寧波教授負責課題構思與設計以及資料的分析和解釋。孫玉波與于寧波教授負責對文稿關鍵方法與學術內容的修改以及最后定稿。
倫理聲明：本研究已通過天津市環湖醫院醫學倫理許可并在中國臨床試驗注冊中心注冊（注冊編號：ChiCTR1900025372），臨床數據由天津市環湖醫院授權使用。
0 引言
由于人口老齡化不斷加劇，優質醫療資源較為稀缺且分布不均衡，特別是對于因帕金森病、腦卒中等神經系統疾病導致運動障礙、需要早診斷早治療或及時隨訪的患者，遠程診療的重要性日益攀升[1-2]。目前，視頻分析技術正逐步應用于運動障礙的測評中[3]，并且近些年來智能手機大量普及，使用手機進行視頻錄制越來越簡單，這使得通過視頻對疾病進行遠程監測和篩查成為可能。
帕金森病、腦卒中等是常見于老年人的神經系統疾病[4]。患者的姿態和運動異常是這類疾病造成的運動障礙的一種主要表現，患者步態的顯著變化已經成為帕金森病早期篩查和診斷的重要參考指標[5]。然而，目前臨床上使用的篩查方法，如帕金森病綜合評分量表（Movement Disorder Society-Unified Parkinson’s Disease Rating Scale，MDS-UPDRS）[6]，很大程度上依賴于醫生的專業知識、經驗和判斷。因此，亟需一種客觀、有效、便利的評測手段。
隨著傳感裝置的不斷發展，多種方法已經被用于識別受損步態。其中，運動捕捉技術[7]和壓力墊技術[8]的使用最為廣泛，它們也被認為是臨床評估中的金標準[9-10]。Nardo等[11]使用運動捕捉系統對9名接受了腦深部電刺激手術治療的帕金森病患者進行了步態分析。劉俊杰[12]提出了針對垂直地面反作用力信號的步態特征提取方法。然而，對運動捕捉系統來說，嚴格的測量條件使之只能在實驗室中完成。壓力墊系統雖然布置簡單，但缺少人體上肢信息。可穿戴設備的使用使得測試可以在非實驗室環境下進行，Greene等[13]和Lima等[14]分別使用了陀螺儀和加速計來對運動功能進行量化評估，沈天毓等[15]則使用了慣性傳感器進行了運動分析。但此類專業設備仍無法滿足大規模人群篩查、遠程診療的需求。
近些年來，基于計算機視覺技術的步態量化評估方法受到越來越多的關注。Kinect可以拍攝帶有深度信息的影像并獲得三維步態信息[16]。為了在二維圖像中定位人體特定關節，Kim等[17]通過在受試者的身體粘貼標志點來實現，但標志點的固定與獲取也為評估增加了困難。Gabel等[18]使用Kinect對健康人的步態進行了分析，基于Kinect的方法可以實現在非實驗室環境下進行非接觸式的步態分析，但數據的采集仍然需要專業設備。Verlekar等[19]使用背景減除算法實現了在無標記環境下對人體輪廓的提取，進而獲取步態信息，但此方法對實驗環境要求嚴格。部分研究實現了在無標記的復雜場景中提取人體關節信息的功能，但此類研究多為使用神經網絡針對大量數據集進行訓練[20]，且沒有對精度進行校正，并未在臨床中得到應用。
本文提出了一種基于二維（two-dimensional，2D）視頻的運動障礙量化評估方法，通過由姿態估計算法提取的人體關節信息，利用受試者在社區甚至家中的行走視頻進行步態分析。采用卷積姿態機（convolutional pose machine，CPM）提取人體關節點，進而計算步態的時間和空間相關特征。我們設計了一個包括視頻和運動捕捉的同步采集系統，對參數進行誤差分析和校正補償，進一步提高了視頻分析的精度。隨后我們采集了帕金森病患者和同年齡組健康人的步行視頻數據，使用所建立的系統進行步態分析和健患分類。本文所提出的系統僅需一部手機作為數據采集設備，可以在社區甚至家中進行行走視頻的錄制，以期為運動障礙的遠程診療提供一種客觀、方便、智能化的解決方案。
1 材料與方法
1.1 實驗環境與數據采集
1.1.1 步態特征校正實驗
步態特征校正實驗在南開大學人工智能學院運動捕捉實驗室進行，行走區域長度為5 m。一部智能手機（Nova 7，HUAWEI，中國）被架設在垂直于行走方向的一側以記錄受試者行走過程中的矢狀面圖像，且本實驗中對手機的相對位置無需定點定標，只要求手機架設在運動范圍的中垂線上，且受試者及運動區域都在視頻拍攝范圍內。視頻拍攝的圖像規格為1 920*1 080 像素，幀率為30幀/秒。
采用由8臺攝像機組成的光學運動捕捉系統（Vicon，Oxford Metrics Limited，英國）與視頻同時進行數據采集，采樣頻率為100 Hz。有研究表明，按照規范操作使用三維運動捕捉進行步態分析是可信的[21-22]，且可以作為步態評估的金標準[23]。實驗開始前，將用于運動捕捉的標志點固定在受試者身體上，與姿態估計算法檢測得到的關鍵點位置保持一致，具體位置如圖1所示。
圖1
運動捕捉系統標志點粘貼示意圖
Figure1.
Marker placement diagram of motion capture system
步態特征校正實驗中共招募了10名健康志愿者，其中包括7名男性和3名女性，年齡（23.50 ± 0.92）歲，身高（171.90 ± 7.71）cm，無運動障礙相關疾病，每名志愿者都被要求在行走區域內往返行走三次。
1.1.2 臨床試驗
臨床試驗中共招募了110名受試者，其中實驗組為64名帕金森病患者，包含38名男性和26名女性，年齡（63.09 ± 8.49）歲，身高（166.92 ± 8.40）cm；對照組為46名同年齡組健康人，包括20名男性和26名女性，年齡（55.45 ± 8.32）歲，身高（166.55 ± 7.11）cm。
臨床試驗在天津市環湖醫院康復醫學科進行，本研究已通過醫學倫理許可并在中國臨床試驗注冊中心注冊（注冊編號：ChiCTR1900025372），且經過了受試者及其家屬的知情同意。臨床試驗中每名受試者均需在長度為5 m的試驗區域內往返行走3次，行走過程的視頻數據由按照要求設置的智能手機錄制。
1.2 步態特征提取
我們提出的基于視頻的步態分析方法以二維圖像作為輸入，整體流程如圖2所示。在使用姿態估計算法提取人體的骨架之后，首先計算時間相關的步態參數；然后以獲得的關鍵時間點為基礎，計算空間相關的步態特征，并與運動捕捉系統計算得到的步態特征進行對比以驗證所提出方法的準確性。而且，針對步長等空間特征，根據對比的結果進行補償以提高精度。本研究中的步態特征是基于帕金森病患者運動功能障礙臨床癥狀選取的，有研究表明，所用時間相關特征（如步態周期時間、支撐相時間、擺動相時間等）和空間相關特征（如步長、步速等）均為帕金森病運動功能障礙評估中的有效指標，可在臨床診斷和早期篩查中發揮重要作用[24-25]。
圖2
量化評估方法與參數校正流程圖
Figure2.
Flow chart of the quantitative evaluation method and parameter calibration
1.2.1 姿態估計算法
在所提出的方法中，我們使用了基于CPM的開源姿態估計算法OpenPose來完成對人體關鍵點的估計，整體結構如圖3所示。在第1階段，通過卷積與池化，獲得關節點置信度熱度圖。從第2階段開始，每個階段中CPM都使用從圖像中提取得到的信息和從前一個階段熱力圖中獲得的空間上下文信息，來對關節點的位置進行預測。
圖3
CPM模型結構圖
Figure3.
The structure of the CPM
采用姿態估計算法提取人體骨架中各個關鍵點在二維圖像中的坐標，位置與人的各個關節對應，包括髖、膝、踝、肩、肘和腕等部位，如圖4所示。
圖4
姿態估計算法關節點提取示意圖
Figure4.
Node extraction schematic of pose estimation algorithm
1.2.2 時間相關的步態特征計算
一個步態周期可以被劃分為支撐相和擺動相，通過識別足跟觸地和腳趾離地時刻，可以對步相進行劃分，如圖5所示。找到這兩個關鍵時間點是計算步態時間相關參數的關鍵。
圖5
足部角度和步相劃分關系示意圖
Figure5.
The diagram of the relationship between foot angle and gait phase
我們將足跟和腳趾的連線與水平線之間的夾角定義為足部與地面的夾角，當腳趾高度大于足跟時，夾角為正；否則為負。首先對得到的角度數據進行低通濾波處理，因為在正常條件下人運動的最大頻率為20 Hz[26]，考慮到人體步態周期大約為1 s，所以我們將濾波的截止頻率設為10 Hz。根據人體步態運動特征，當足跟觸地時，足部角度達到一個步態周期中的極大值，該時刻即為支撐相開始的時間點。定義腳趾離地時刻即為腳趾移動速度由慢變快的時刻，即加速度最大時刻。本研究中使用二階差分方法計算腳趾標志點加速度變化，以識別腳趾離地時刻。由于不同人的步態習慣不同，步態周期也會有差異，識別過程中如果選取的幀數過少，可能漏掉腳趾離地幀；選取的幀數過多，可能會采集到下一步態周期的數據。經過多次實驗分析，我們得出選取9幀是比較合適的。
為了找到腳趾離地的時間點，我們對足部與地面夾角極小值點附近共9幀的數據求取二階差分：
|
|
其中，為時刻足部與地面夾角。二階差分曲線的極大值點即為所求。
利用得到的足跟觸地和腳趾離地這兩個關鍵時間點，可以進一步計算出步態周期、支撐相時間和擺動相時間：
|
|
|
其中，為第個步態周期，為第個支撐相時間，為第個擺動相時間，為第個腳跟觸地的時間點，為第個腳趾離地的時間點。
運動捕捉系統中，使用受試者前進方向和豎直方向的數據進行計算，提取兩個步態事件中的兩個關鍵時間并進一步計算時間相關的步態參數。
1.2.3 空間相關的步態特征計算
步長為兩側足跟觸地點之間的距離，并按邁步下肢區分左右側。基于上文得到的足跟觸地時間點，步長的計算方法為：
|
其中， 為第i個步長在圖像中的長度， 為t時刻的足跟水平坐標。
由于使用智能手機拍攝視頻得到的是沒有深度信息的二維圖像，所以計算得到的是像素距離，而非實際距離。為了將步長的像素長度轉化為真實長度，我們將人體脊柱部分的真實長度與像素長度的比值作為轉化因子。測量受試者身高，根據人體身材的比例[27]，計算得到受試者的脊柱真實長度。而脊柱的像素長度則可以通過計算頸部到髖部中點的距離得到，即圖6中的紅色連線。為了盡量減少由于姿態估計算法導致的誤差，我們將足跟觸地幀附近5幀的脊柱長度取均值作為。進一步計算真實步長為：
圖6
擺臂角度示意圖
Figure6.
Diagram of arm swing
|
步速的減慢同樣是帕金森病患者的主要運動特征之一。以步長為基礎，全部步長之和與時間的比值即為步速：
|
其中，為行走過程的總時間。
1.2.4 上肢特征計算
上肢擺動異常是除步態外，帕金森病患者另一種常見的運動功能障礙，對上肢擺動的分析也可以作為對病情的有效預警，有時候甚至還要早于臨床的診斷[28]。故在步態時空特征基礎上，我們增加了上肢擺動相關指標進行運動功能量化分析。將上肢擺動角度（arm swing angle，ASA）定義為上臂肱骨與圖像中豎直線的夾角，當上臂擺動到身體前側時，角度為正數；當上臂擺動到身體后側時，角度為負數。在實驗中，手機被架設在行走區域的一側，因此由于身體的遮擋，只有靠近手機一側的手臂擺動可以被記錄下來，由于實驗范式中要求患者做往返步行運動，因此兩側擺臂會被交替記錄與分析。一個步態周期序列中錄制的一側擺臂角度變化如圖6所示。
手臂擺動幅度（arm swing magnitude，ASM）被定義為相鄰的的最大值（）與最小值（）之差：
|
而手臂擺動速度（arm swing velocity，ASV）則為與擺臂時間的比值：
|
1.2.5 檢驗與分類算法
我們使用獨立樣本t檢驗測試了所提出方法關于區分帕金森病患者和健康人的能力，并進一步驗證了基于這些特征的分類精度。采用三種分類方法，分別為邏輯回歸（logistic regression，LR）、支持向量機（support vector machine，SVM）和隨機森林（random forest，RF），并使用五折交叉驗證來驗證這些分類方法的準確性。
為了客觀地對各分類算法進行評估，分別使用準確率（accuracy）、精確率（precision）、召回率（recall）、F1得分（F1 score）、受試者操作特征（receiver operating characteristic，ROC）曲線下面積（area under curve，AUC）作為評價指標進行分類性能分析。
2 結果與分析
2.1 步態特征校正實驗結果
將本文方法提取的步態參數與金標準運動捕捉系統進行對比，結果如表1所示。首先是對于步態中關鍵事件發生時間的確定，由于視頻的采集幀率為30幀/秒，即每次采樣的間隔為0.03 s左右，本文所提出的方法中，輸出的腳跟觸地與腳趾離地的時間點與運動捕捉系統的誤差均接近甚至小于0.03 s。基于準確的兩個關鍵事件計算得到的時間步態參數如步態周期、支撐相時間和擺動相時間也有著相近的高精確度。
表1
精度驗證實驗結果
Table1.
Results of the validation experiment
對于空間步態參數，由于步速反映了一段時間內行走速度的均值，因此所提出的方法與運動捕捉系統得到的數值十分接近。但是對于步長來說，二維圖像中缺少深度信息使得其計算結果并不理想。
2.2 步長的反饋補償
為了分析步長精度不理想的原因，我們繪制出了隨水平坐標變化的誤差分布圖，如圖7所示。以視頻圖像的正中央為原點，設整個圖像的水平寬度為1，因此視頻水平坐標范圍為[?0.5, 0.5]。我們以實驗中129個左側步長和126個右側步長足跟觸地的水平坐標為橫坐標，以步長的誤差絕對值作為縱坐標繪制出散點圖。
圖7
步長誤差隨水平坐標變化的分布圖
Figure7.
Distribution of step length error with horizontal coordinates
通過觀察發現，左側步長和右側步長隨坐標的變化均呈現出中間誤差小、兩端誤差大的規律。鏡頭由若干組透鏡構成，由于鏡頭焦平面上不同區域對影像的放大率不同，因而形成的畫面會存在扭曲變形現象。這種變形的程度從畫面中心至畫面邊緣依次遞增，在步長計算中越遠離視頻中央的步長誤差越大。而左側步長隨水平坐標的增大而增大，右側步長隨水平坐標的增大而減小，是因為OpenPose依賴圖像空間信息來進行姿態估計，視野邊緣的不同視角會給OpenPose依賴空間信息的參數帶來誤差，從而導致左右兩側在進行步長計算過程中呈現出不同的規律。
我們使用最小二乘法分別對左右側步長誤差分布圖中的點進行擬合，擬合結果分別如式(11)和式(12)所示。
|
|
為了對這種趨勢進行彌補以減小誤差，將之前計算得到的步長與擬合曲線上對應的數據作差進行反饋補償，補償后由視頻計算的步長與動作捕捉獲得的標準步長誤差減小，距視頻中心較遠的位置步長誤差明顯減小。具體數據如表2所示，相對于補償前，補償后左右兩側誤差分別縮小了29.87%和10.38%，且誤差均可達到3 cm以下。
表2
補償后的步長
Table2.
Step length after compensation
2.3 步態特征臨床試驗結果及統計學分析
臨床試驗中對帕金森病實驗組和健康對照組以0.001作為檢驗水準進行了獨立樣本t檢驗，步態特征結果與統計學分析如表3所示。為了消除身高對于指標的影響，我們計算了步長和步速的實際值，并與身高的比值進行了歸一化。在空間相關的步態特征中，帕金森病實驗組與健康對照組的差異均有統計學意義，實驗組的步長顯著小于對照組，步速顯著慢于對照組。在上肢擺動相關特征中也有著相同的趨勢，實驗組的擺臂幅度顯著小于對照組，擺臂速度顯著慢于對照組。而在時間相關的步態特征方面如步態周期、支撐相和擺動相等，健患組間差異無統計學意義。
表3
帕金森病患者和健康對照組的步態特征的平均值和標準差
Table3.
Mean and standard deviation of gait features for Parkinsion’s disease patients and healthy control
2.4 分類結果
基于上述的歸一化步長、歸一化步速、擺臂幅度、擺臂速度、步態周期、支撐相和擺動相等特征，使用LR、SVM和RF算法來進行分類，并分別通過五折交叉驗證提高結果的可靠性。各分類算法性能的評價指標如圖8和表4所示。其中，采用RF分類算法可以獲得較高的分類精度。以上各項指標證明了本文所提出方法能夠有效地對帕金森病患者及健康人進行區分。
圖8
三種方法的ROC曲線
Figure8.
The ROC curves by three methods
表4
使用LR、SVM和RF的分類性能
Table4.
Classification performance using LR, SVM and RF
3 結論
為了解決目前人口老齡化加劇、醫療資源不足和分布不均衡以及突發公共衛生事件的挑戰問題，我們提出了一種基于單目視覺的步態識別與分類方法，以行走視頻作為輸入，實現了對主要步態特征的提取，并設計實驗通過運動捕捉系統對所提特征進行校正。步長在矯正后左右兩側誤差縮小了29.87%和10.38%，且均達到了3 cm以下。基于這些步態特征，我們進一步開展了臨床試驗，對帕金森病患者組和健康對照組的各項指標進行了統計學分析，并使用三種不同的分類算法進行健患分類，其中使用隨機森林分類算法的準確率達到0.91，證明了所提方法對帕金森病患者和健康人具有良好的區分能力，達到了較高的分類準確率。除此之外，實驗過程中只需要一部智能手機即可完成數據的采集。本文為運動功能障礙遠程診療及大規模篩查提供了一種新的方案。
重要聲明：
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：孫玉波、劉培培與楊宇辰對本文貢獻相同。孫玉波、劉培培與楊宇辰負責研究框架設計、實驗方案設計與實現以及數據處理與分析。孫玉波與楊宇辰負責代碼撰寫與文稿寫作。于洋、于歡與孫瀟逸主要負責數據采集、整理、分析與解釋。巫嘉陵教授、韓建達教授與于寧波教授負責課題構思與設計以及資料的分析和解釋。孫玉波與于寧波教授負責對文稿關鍵方法與學術內容的修改以及最后定稿。
倫理聲明：本研究已通過天津市環湖醫院醫學倫理許可并在中國臨床試驗注冊中心注冊（注冊編號：ChiCTR1900025372），臨床數據由天津市環湖醫院授權使用。
