재난대응 로봇 오퍼레이터 운용능력 향상을 위한 훈련 결과의 정량적 평가방법 개발 및 ANOVA 분석을 활용한 훈련 효과 검증
A Study on Quantitative Evaluation Methods for Measurement of Disaster Response Robot Operator Proficiency, and Verification of Training Effectiveness using ANOVA
Article information
Abstract
요 약
현대 재난은 사회 인프라가 복잡해지며 점점 예측이 어렵고 대형화되고 있어 기존이 장비만으로 대응하기 어려운 상황들이 자주 발생하고 있다. 이러한 상황에서 인명 피해를 줄이고, 효율적인 재난 대응을 위하여 로봇 기술의 도입에 대한 요구는 점차 높아지고 있다. 재난대응로봇의 현장 활용성을 높이기 위하여 로봇 보급뿐만 아니라, 로봇을 운영하는 인력에게 로봇 조작에 필요한 교육 및 훈련이 병행되어야 한다. 본 논문에서는 재난대응로봇 오퍼레이터 훈련 방법을 제시하고, 그 효과성을 정량적으로 증명하고자 한다. 훈련 방법으로 오퍼레이터의 능력에 따라 초급, 중급, 고급 훈련을 통해 로봇 조작을 단계적으로 익히는 방법을 제안하였으며, 훈련의 효과성에 대한 정량적 검증을 위해 통제 그룹, 일반시험 그룹, MR시험 그룹, 3그룹으로 실험군을 나누고, 그 결과를 ANOVA 분석 방법을 통해 확인하였다.
Trans Abstract
ABSTRACT
Recently, as social infrastructure has become more complex, disasters have become large-scale and difficult to predict. Responding to disasters using the existing equipment is challenging because of this complexity. In this situation, the demand for robotic technology to reduce human casualties and respond effectively to disasters is gradually increasing. To increase the field usability of disaster response robots, not only the distribution of robots but also the development of appropriate robot training methods should be conducted in parallel. This study proposes a disaster response robot operator training method and quantitatively verifies its effectiveness. To increase the proficiency of trainees, we propose a training method involving sequential beginner, intermediate, and advanced training stages. To quantitatively verify the effectiveness of the training, the experimental group was divided into three groups: control, general test, and MR test, and the results were confirmed through ANOVA.
1. 서 론
현대 재난은 사회 인프라가 복잡해지며 점점 예측이 어렵고 대형화되고 있다. 2020년 이천 물류창고 화재, 2022년 평택 물류창고 공사장 화재 등은 안타까운 대응인력의 순직사고가 생기는 등 기존이 장비만으로 대응하기 어려운 상황들이 자주 발생하고 있다(1). 이러한 상황에서 인명 피해를 줄이고, 효율적인 대응을 위하여 로봇 기술의 도입에 대한 요구는 점차 높아지고 있다(2).
해외에서는 몇 차례 로봇을 활용한 재난 대응 임무가 수행 되었다. 2001년 9/11 테러 사고에 iROBOT사의 Packbot(3)이 사용되여 세계 무역 센터 폐허를 탐색하였으며, 2011년 동일본 대지진 때는 Honeywell사의 T-Hawk가 투입되여 원자로 건물 상황 관측 임무를 수행하였다. 하지만 기술적 한계와 가혹한 환경의 이유로 두 재난 사고에서 로봇의 역할은 제한적이었다. 그러나, 2019년 노트르담 대성당 화재 사건에 활용된 샤크로보틱스사의 콜로서스(4)는 붕괴 위험이 커 사람이 들어가기 어려운 성당 내부에 진입해 내부 열기를 낮추면서 더 큰 피해를 막는 데 이바지하는 등 로봇 활용을 통한 안전하고 효율성 높은 재난 대응의 대표적인 사례를 남겼다. 이처럼 재난 사고에 로봇 활용은 점점 효율적이고 빈번해지는 추세이다(5,6).
하지만, 지난 2012년 국내 도입된 소방로봇은 현장에서 활발하게 사용되지 못하여 활용성이 낮은 부분을 지적받았다. 이러한 로봇의 현장 활용 부진에는 적절한 로봇 훈련 시스템 부재가 주요 원인으로 꼽히고 있다. 결국, 재난대응로봇의 현장 활용성을 높이기 위하여 로봇 보급뿐만 아니라, 로봇을 운영하는 인력(오페레이터)에게 로봇 조작에 필요한 교육 및 훈련이 요구된다. 그리고 이를 위해 다양한 연구가 진행되고 있다.
Kim 등(7)의 연구와 Kang(8)의 연구에서는 화재현장에서 활용 가능한 재난안전로봇 교육 시나리오를 개발하고 이를 기반으로 로봇 활용 교육의 효과를 도출하였다. Jin(9)의 연구에서는 AHP를 통한 전문가 의견을 분석하여 VR 소방교육훈련 시스템 도입에 효과적인 소방 훈련 분야를 제안하였다.
본 논문은 재난대응로봇 오퍼레이터 훈련 방법의 효과성을 기존 논문에서 시도하지 않은 통계적인 분석 방법을 사용해 정량적으로 증명하였다. 오퍼레이터의 능력을 정량적으로 분석하기 위해 초급, 중급, 고급 훈련을 통해 로봇 조작을 단계적으로 익히는 방법을 제안하였고, 훈련 방법 중 고급 훈련은 실제 환경에 재난환경을 더한 mixed realrity (MR) 환경을 구현하여, 다양한 재난 실험환경과 로봇 조작감이 충족되도록 구성하였다. 또한 MR 고급훈련의 효과성에 대한 정량적 검증을 위해 통제 그룹, 일반실험 그룹, MR실험 그룹으로 실험군을 나누고, 그 결과를 ANOVA 분석 방법(10)을 통해 확인하였다.
2. 연구 내용
우선 훈련 방법에 있어서는 오퍼레이터가 본인의 실력에 맞는 훈련을 수행할 수 있도록 Table 1과 같이 단계적인 훈련 방법을 제안하였으며, 훈련의 효과성을 검증하기 위하여 각 단계별 훈련 결과의 정량적인 검증을 수행하였다.
Experimental Measuring Instrument
2.1 재난대응로봇 오퍼레이터 훈련 방법
오퍼레이터 각자의 실력에 맞는 단계별 훈련 방법으로 초급, 중급, 고급 3단계의 레벨로 훈련의 난이도를 선정하였다. 실제 현장에 로봇이 투입되게 되면, 오퍼레이터는 로봇을 직접 보지 못하고 로봇이 전송하는 화면만 보고 조종해야 하는 경우가 대다수이기 때문에, 연습을 제외한 모든 훈련은 Figure 1과 같이 로봇을 보지 않고 로봇의 화면만 보는 상태에서 수행하였다.
Picture of a trainee and environment.
초급 훈련의 경우 가장 쉬운 난이도인 8자 주행 훈련으로, 아래 Figure 2와 같이 로봇을 반복적으로 8자 형태의 주행을 하도록 훈련하며 오퍼레이터가 로봇의 기초적인 조작 방법에 대해 숙지할 수 있도록 하였다. 본 훈련에 한하여 최초로 로봇을 운용하는 경우에 오퍼레이터는 로봇을 직접 보고 조작하는 것을 허용하였다.
Beginner training method: 8-character driving course.
중급 훈련으로 아래 Figure 3과 같이 2개의 방과 복도를 구석구석 탐색하는 훈련을 수행하였다. 탐색할 방 안과 복도에는 아래 Figure 4의 우측 그림과 같은 각기 다른 숫자 및 문자로 이루어진 마커들을 설치해 놓았으며, 오퍼레이터는 방을 탐색하며 마커가 보이는 위치로 로봇을 조작하고, Figure 4 좌측의 컨트롤러의 화면캡처 버튼을 눌러 마커의 이미지를 저장하는 임무를 수행하였다. 모든 설치된 마커를 캡처해야 미션이 완료되도록 훈련을 설계했다.
Intermediate training method: Search 2 rooms.
A robot controller (left) and markers (right).
고급 훈련의 경우 Figure 5와 같이 중급 훈련 임무를 확장하여 총 7개의 방에 마커를 설치하고 모든 설치된 마커를 찾아 화면을 캡처하는 임무로 설계하였다
Advanced training method: Search 7 rooms.
다만 훈련의 효과성을 극대화하기 위해 실제 환경에 가상의 재난 상황을 더한 Figure 6과 같은 MR 환경을 고급 훈련에 추가로 적용하였다. 이에, 고급 훈련은 MR 환경을 구현한 훈련과, MR 환경을 구현하지 않은 훈련 2가지로 나누어 수행하였으며, 이를 통해 MR 환경이 훈련의 효과성을 높이는데 기여하는지 여부를 실험을 통해 확인했다.
Advanced training method: MR environment.
2.2 재난대응로봇 오퍼레이터 훈련 효과성 검증
오퍼레이터의 훈련 효과성 검증을 위해 15명의 지원자로 훈련을 진행했다. 지원자는 총 3개의 그룹으로 나누어 실험을 수행하였으며, 첫 번째 그룹은 통제 그룹으로, 중급 훈련까지 수행하고 고급 훈련은 수행하지 않아 타 그룹과 훈련 결과를 비교할 수 있도록 구성하였다. 두 번째 그룹은 MR 실험 그룹으로 고급 훈련을 가상의 재난 상황을 구현한 MR 환경에서 수행하였다. 마지막 세 번째 그룹은 일반 실험 그룹으로 두 번째 그룹과 같은 훈련을 하지만, MR 환경에 대한 훈련은 수행하지 않았다.
Table 2에 언급되어 있는것과 같이 초급 훈련은 개인당 15회 반복 수행하여 훈련자가 충분히 로봇의 기초 조작에 익숙해지도록 하였으며, 중급 훈련은 개인당 12회 수행하여 방 탐색에 대해서도 충분한 경험을 쌓게 했다. 고급 훈련은 개인당 3회 반복 수행하여 최대한 훈련에 적응할 수 있도록 하였다.
Experimental Measuring Instrument
실험 그룹은 처음부터 나누지 않고, 초급과 중급 훈련을 모두 마친 후 결과에 따라 1등부터 15등까지 나누고, 1~3등, 4~6등, …, 13~15등과 같이 순서대로 3명씩 나눈 후 제비뽑기로 3개 그룹을 정해 그룹간 개인차를 최소화할 수 있도록 구성하였다.
최종적으로, 훈련 효과성 검증을 위하여 Figure 7과 같이 연기발생기를 사용하여 화재로 인한 농연 환경(시정거리 3 m 이내)을 구성하였으며, 상기 환경에서 앞서 소개한 고급 훈련을 세 그룹이 모두 수행하고 그 결과를 확인하였다.
Fire smoke training environment (left) and smoke generator (right).
3. 연구 결과
상기 2.2절에서 설명한 방법대로 연구를 수행하였으며, 원 실험은 중급 훈련까지 실험 그룹을 구분하지 않았으나, 설명의 편의를 위하여 아래 실험 및 분석 결과는 초급부터 그룹을 나누어 설명하였다.
3.1 단계별 실험 결과
초급 훈련의 경우 8자 주행로를 1회 완주한 시간의 전체 평균은 29.6 s, 표준편차는 13.2 s로 나타났으며, 각 그룹별 결과를 박스 플롯으로 나타내면 Figure 8과 같다.
Box plot of the result of beginner stage.
중급 훈련의 경우 2개 방의 모든 마커를 탐색한 1회 시간의 전체 평균은 176.2 s, 표준편차는 55.4 s로 나타났으며, 박스 플롯으로 그 결과를 표현하면 Figure 9와 같다.
Box plot of the result of intermediate stage.
정규화 된 초급 및 중급 훈련의 결과를 각각 30%, 70%의 비중으로 가산하여 로봇 운용 능력 하위, 중위 그룹, 고위 그룹을 나누었으며, 최종적으로 그룹 별 실험자를 무작위 추출하여 3개의 실험그룹에 배치하는 방법으로 모든 실험그룹의 운용능력이 비슷하도록 구성하였다. 이에 대한 결과는 Table 3과 Table 4에 구체적으로 명시되어 있다.
Experimental Result of Beginner Stage
Experimental Result of Intermediate Stage
고급 훈련의 경우 실험 그룹 1과 그룹 2는 모두 7개의 방을 탐색했지만, 그룹 1은 MR 환경에서, 그룹 2는 MR이 없는 일반 환경에서 훈련했다. 그 결과 그룹 1이 그룹 2에 비해 평균적으로 7개의 방을 탐색하는데 더 많은 시간이 소요되었으며, 결과를 박스 플롯으로 표현하면 Figure 10과 같다.
Box plot of the result of advanced stage.
모든 그룹이 최종 수행한 화재 모사 환경 내 7 개 방의 모든 마커를 탐색한 훈련의 경우 1회 시간의 전체 평균은 374.2 s, 표준편차는 52.4 s로 나타났으며, 이는 Table 5에 명시되어 있으며 Figure 11은 결과의 박스 플롯이다.
Experimental Result of Advanced Stage
Box plot of the result of fire smoke training.
이 결과를 통해 Table 6의 왼쪽 결과와 같이 MR 환경에서 훈련한 실험 그룹 1이 다른 그룹에 비해 가장 좋은 결과를 보였으며, 고급 훈련을 하지 않은 통제 그룹이 가장 느린 결과를 보임으로, MR 환경을 적용한 고급 훈련이 효과가 있는 것으로 판단할 수 있다.
Experimental Result of Fire Smoke Training
3.2 실험 결과 분석
우선 세 그룹간의 결과 비교를 통한 훈련 효과성을 분석하기에 앞서, 세 그룹으로 구분한 것이 수치적으로 타당한지 분석 했다.
먼저 각 그룹의 초급, 중급 훈련 데이터가 정규성을 가지는 분석 가능한 데이터인지 확인하기 위해 샤피로-윌크 검정을 사용했다. 산출된 p-값이 유의수준(0.05)보다 클 시 귀무가설에 의해 수치적으로 정규분포를 갖는다고 보며, 아래 Table 7과 같이, 모든 그룹의 p-값이 유의수준보다 크므로 각 시험군의 데이터는 정규성을 갖는다.
Shapiro-Wilk Test Result of 3 Groups
다음으로, 초급, 중급 훈련 결과 3개의 데이터 그룹의 로봇 운용 실력의 차이가 있는지 알아보기 위해 ANOVA 검정을 수행했다. 본 시험에서는 중급 훈련까지 세 그룹의 로봇 운용 실력이 차이가 없어야 최종 분석 결과의 차이가 유의미해진다.
ANOVA 검정에 앞서, 세 그룹의 등분산성을 확인하기 위해 바틀렛 검정을 수행했다. 그 결과 Table 8의 왼쪽 결과와 같이 p-값이 유의수준(0.05)보다 크므로 귀무가설을 따르며, 이를 통해 초급, 중급 훈련은 각 그룹간 등분산성을 가진다.
Bartlett‘s Test & ANOVA Result of 3 Groups
ANOVA 검정 결과 Table 8의 오른쪽 결과와 같이 p-값이 유의수준(0.05)보다 크므로 귀무가설에 의해, 초급, 중급 훈련 결과로 구분한 그룹간 평균의 차이는 유의미한 수준이 아니므로, 로봇 운용 실력에 큰 차이가 없음을 확인했다.
이번에는 그룹 1과 그룹 2만이 수행한 고급 훈련에서 두 그룹간의 차이가 있는지 Table 9와 같이 T검정을 통해 확인하였다. 그 결과는 p-값이 유의수준(0.05)보다 작으므로 두 시험의 결과는 차이가 있다. 결과를 해석해보면 MR 환경에서 훈련한 그룹은 그렇지 않은 그룹에 비해 높은 난이도의 훈련을 수행했다고 평가할 수 있다.
T Test Result of Group 1 and Group 2
최종적으로 Table 10과 같이 모든 훈련의 결과의 평균을 통해 훈련의 효과성을 분석해 보면, 중급 훈련까지 그룹 2가 다른 그룹과 비교하여 약소하게 좋은 로봇 운용 능력를 보였고, 고급 훈련은 유의미한 수준으로 그룹 2가 앞선 결과를 보였으나, 최종 화재 연기 모사 환경에서는 MR 환경에서 고급 훈련을 수행한 그룹 1이 가장 좋은 훈련 결과를 보임으로, MR 환경에서 훈련한 그룹이 다른 그룹에 비해 효과성이 높은 훈련을 했다고 결론지을 수 있으며, 고급 훈련을 수행하지 않은 통제 그룹이 가장 훈련의 효과성이 낮다고 볼 수 있다.
Experimental Result of All Training of 3 Groups
4. 결 론
본 연구는 재난대응로봇의 현장 활용 제고를 위한 훈련 방법을 제시하고 이에 대한 효과성을 수치적으로 분석하였다. 그 결과 MR 환경에서 훈련한 그룹이 그 외 그룹에 비해 훈련 결과가 우수한 것을 확인하였으며, 이를 통해 관련 훈련 방법의 효과성이 있다는 결론을 얻었다.
하지만, 해당 훈련은 모바일 로봇의 조작에만 국한된 것으로, 향후 재난 현장에서 활용될 방수로봇, 4족 보행 로봇, 모바일 로봇 팔 등 다양한 로봇에 대한 훈련 방법으로는 부족함이 많다. 향후 재난 현장에서 활용될 다양한 로봇의 훈련 방법으로 그 범위를 넓혀 연구 해 나갈 계획이다.
후 기
본 논문은 행정안전부 재난안전부처협력기술개발사업 지원을 받아 수행된 연구임(과제번호: 20018247).