Validation of an ergonomic assessment method using Kinect data in real workplace conditions 논문리뷰

본 논문은 2016년에 나왔으나 후속논문에서 꾸준히 언급되는 논문이다.

" " "

TL;DR : Kinect 센서를 이용한 검증논문으로, 총 2차 실험을 수행했다. 1차는 랩실에서, 2차는 실제데이터로 검증을 했다. 두 실험 결과 모두 쓸만한 정확도가 나왔으나, 실제 현장의 장애물로 인한 왜곡현상은 해결하지 못했다.

" " "

 

2. Material and methods

2.1. Computation of joint angles using the Kinect data

키넥트로부터 도출되는 각 신체 좌표값을 토대로 각도를 구하는 상세한 방법을 나열하여 소개하고 있다.

변태같이 하나하나 해석해서 적어보고싶지만 시간여건 상 추가로 준비해서 올려볼 예정이다.

 

대부분의 키넥트 논문은 도출된 좌표값으로 각도를 구하는 개념이 핵심인데, 이에대한 이론적 근거는 ISB Recommandation을 따른다고 한다. ISB Recommandation 논문을 살펴보니 Biometric 분야에서 상세하게 인체의 부위 에 따른 각도계를 정의하고 있다. 쉽게 얘기하면 도출된 좌표값들 중에 어깨각도를 구하고 싶을 때 기준이 있어야 하지 않을까? 이에대한 기준을 제시하는 논문 및 개념으로 이해하면 된다. 의학적인 용어들이 많아 이해하는데 다소 시간이 소요됬지만 어찌되었건 핵심은 좌표계를 이용해 각도를 구하는 기준을 제시하는 역할을 한다는 점이다.

 본 논문에서는 키넥트에서 도출된 좌표부위와 ISB Recommendation에서 제시하는 가이드라인과 완벽히 호환되지 않아 약간의 수정/호환을 위한 변경작업을 진행했다고 한다. 아래 그림의 (a)는 ISB Recommendation을 적용하기 위해 수정된 좌표계이고, (b)는 벡터값의 빨간축(점)이 X축, 파란축이 Z축, 초록축이 Y축을 의미한다.

2.2. Experimental procedure in laboratory condition

실내에서 현장을 모사한 실험실 환경에서 1차적 검증을 한다.

실험을 요약하면, 신체에 센서를 부착하고 벤치마크 좌표를 뽑아낸다. 그리고 키넥트 좌표값과 비교한다.

총 12명의 피실험자를 섭외하여 신체 47개의 부위에 마커(센서)를 부착하고 자세 데이터를 추출한다.
마커 센서는 Vicon 모션캡쳐 장비를 이용, 그 외에 키넥트를 이용하여 각각 좌표를 뽑고 정확도를 검증한다. 

 

실제 현장에서는 가려짐으로 정확하게 탐지가 안되는 경우를 가정하여 실험자가 40X30X17cm 정도 되는 박스를 들고 정면과 옆면으로 각각 전달하는 상황을 모사한다.(그림참고)

구체적으로, 다음 세가지 상황을 각각 피실험자로 하여금 촬영을 하고 약 다섯번의 측정을 한 좌표값을 뽑아냈다.

- Front-NB-(No box condition) : 정면에서 박스 없이 측정한 장면

- Front-B(Box) : 정면에서 박스를 들고 있는 자세를 촬영한 장면

- Side-B(Box) : 측면에서 박스를 들고 있는 자세를 촬영한 장면

- Side-B45(Box and 45 degree sensor placement) : 측면에서 박스 들고 45도 기울어져있는 자세를 촬영한 장면

촬영을 하고 데이터에 부정확한 결과값이 많아 전처리하고 오직 14.6%의 데이터만 사용이 가능했다고 한다.

Fig. 2. Illustration of the lowering and lifting motion with a box in Front and Side target placement, from the Kinect point of view.

2.3. Experimental procedure in real work condition

이제 실제 현장에서 촬영을 하고 검증을 하는 실험을 설명한다.

7명의 실제  자동차 조립업종에 종사하는 작업자를 섭외하였고, 5가지 다른 카시트 조립작업을 키넥트로 정면/측면 각각 촬영을 했다. 특이사항은 작업자가 큰 물체를 조립할 때 왜곡이 심하게 나타났다고 한다.

두 명의 인간공학 전문가가 관찰기법으로 RULA 점수를 매기고 극단치 자세를 선정하고 평가하는 방법 대신 0.2Hz 시퀀스로 뽑아진 작업자세 300장을 모두 평가했다.  두 평가자의 결과가 약간 달랐으며, 이는 Inter-rater variability로 이런 경우 추가적인 재평가를 통해 수정을 했다.

 

2.4. Data analysis

실험 1에서 랩실에서 키넥트와 모션센서의 결과를 각각 도출하여 비교를 통해 키넥트의 정확도를 검증하였다. 통계적 기법으로 Kolmogorov-Smironov test를 통해 정규분포를 따르는지 검증분석을 수행했고 RMSE(Root Mean Squared Error)와 Spearman's rho Correlation coefficient를 계산하여 오차값과 상관도를 측정했다. 그 다음 키넥트 결과와 모션센서 값을 이용해 RULA 점수를 구하고 RMSE와 Proportion agreement 일치도(P0)를 구했다. 참 많이도 구했다.

실험 2에서 실제 현장에서 촬영한 데이터로 분석한 결과는 키넥트로 도출한 각도값을 토대로 RULA 점수를 구하고, 인간공학 전문가 2명의 RULA평가결과와 비교하여 얼마나 일치한 결과가 도출되었는지 검증하였다. 검증기법으로 일치율(P0)와 Cohen's kappa 분석을 수행하였다. Cohen's kappa 분석은 두 평가자 간 일치율을 비교하는데 대표적으로 쓰이는 통계기법이다. 

 

3. Results

3.1. Results in laboratory conditions (Kinect vs Mocap(Benchmark))

요약하자면, 동작이 큰 신체부위 (예를들면 어깨, 팔꿈치 굴곡)의 오차가 크게 나타났다. 하지만 ROM(Range of Motion) 즉, 동작의 최대 각도 대비해서 수용가능한 수준의 결과였다고 한다. 

No box, Front : 10도 이상 차이가 난 9/26 각도 : 평균 7.7도 에러

box, Side : 10도 이상 차이가 난 12/26 각도 : 평균 9.2도 에러

 

상관도(Correlation) 키넥트 - 모션캡쳐센서 : 작은 동작변화가 있는 신체부위는 노이즈로 인해 벤치마크 각도와 비교했을 때 현저히 낮은 정확도/상관도를 보인 반면,  어깨부위와 같이 동작이 빈번히 일어나는 부위의 정확도/상관도는 높게 나타났다. (Front NB 0.98 상관도) 또한, 두 장비를 이용해 RULA 점수를 구하고 비교했을 때 70% 이상 일치한 결과를 보였다. 더불어 RMSE는 0.68 수준 이하의 결과가 나왔다. 결론적으로 말하면 벤치마크결과와 비교했을 때 나름 정확했다고 보는 것 같음.

좌/우 박스 내리는 자세 RULA 평가결과를 비교했을 때 좌 : 2.82, 우 : 2.85로 나름 근접하게 결과가 나왔고,

좌/우 박스 드는 자세 RULA 평가결과 비교했을 때 좌 : 2.66, 우 : 2.66으로 동일하게 나타났다.

두 결과 모두 동일하게 나와야 Best 인 것이다.

 

3.2. Results in real work conditions

실제 현장에서 결과는 키넥트 RULA 점수와 인간공학 평가자 2명의 결과를 비교하여 정확도를 검증한다.

여기서 평가자 2명의 결과가 벤치마크 점수이다. 

결론부터 말하면 70% 이상의 일치도가 나왔고, Cohen's kappa 분석결과 평균 0.5-0.6수준으로 moderate로 나타났다.

RMSE expressed in RULA score, Po and Cohen's kappa index, between RULA scores computed using the Kinect data and expert observations in real work conditions.

4. Discussion

4.1. Main contributions

2번의 실험에 걸쳐 검증했다. 1번째는 랩실에서, 2번째는 실제 데이터로 검증했다. 약 10도 미만의 오차가 발생했으나 실제 RULA 평가를 했을때 점수에 큰 영향을 미치지 않았다. 그 이유는 RULA 평가도구는 각도 범위에 따른 대표점수가 있어, 동일 각도 범위 내에서는 같은 값을 가져 보편적으로 보수적인 평가결과가 도출된다.

랩실에서 아무리 좋은 결과가 나와도 실제 현장에서 정확도가 보장되지 않으므로 2차적인 실증단계를 수행했다. 그 결과 좌/우에서 촬영한 자세 모두 70% 이상의 일치도를 보였다. 

 

4.2. Limitations

ISB Recommendation을 따르기 위해서 신체부위 지점을 만들어냈는데 이 부분에서 큰 에러를 초래했다고 한다. 이 부분은 참고해야겠다. 또한, RULA 점수를 구하는데 있어 메뉴얼로 직접 지정해줘야하는 부분이 여전히 존재했다. 특히 손의 점수는 자동화가 어려웠고, 무게나 힘의 사용 여부 등은 사용자가 직접 지정해야하는 한계가 있었다. 실제 현장에서 촬영한 다리의 경우 탐지정확도가 현저히 낮았고 왜곡이 잦았다. 다리점수도 RULA에 포함되어 있기 때문에 정확히 탐지해서 한 다리로 서있는지, 두 다리 모두 지지하고 서있는지 구분해야하므로 추후 점수차이를 유발할 수 있다.

실제 현장의 조도와 환경의 차이로 인해 왜곡이 발생하는 문제점이 있었다.

 

이 논문에서 키넥트 데이터를 3차원 랜더링하여 Correction 교정을 통해 자세를 교정하는 기법을 사용했다고 한다. 예시는 아래 사진을 참고하자. 아무래도 매번 이렇게 교정하면.. 시간이 너무 오래걸려서 관찰기법을 사용하는게 더 빠를 수도 있다는 생각이 들었다. 

 

Fig. 4. Example of ergonomics application based on Kinect data. In the left part, the blue and yellow skeleton depicts the data provided by the Kinect and the 3D character shows the posture after correction of the Kinect data proposed by (Plantard et al., 2016). The right part depicts joint angle values (below) and the resulting RULA grand score (middle and top). (For interpretation of the references to colour in this figure legend, the reader is referred to the web version of this article.)