Advanced Fire Investigation Technique Utilizing Virtual Reality

선재 김; 민혁 강; 승우 우; 준성 민; 태훈 김

doi:10.7731/KIFSE.0bd449ad

요 약

본 논문에서는 가상현실(virtual reality, VR)을 적용한 시스템 개발 및 적용 방법을 통해 화재조사의 최첨단 기법을 제시하였다. 화재현장을 360° 카메라로 촬영한 후, 취득한 이미지 파일을 개발한 프로그램으로 생성, 편집 및 실행 등의 과정을 거쳐 가상현실로 재구성할 수 있다. 현재 화재조사 기법은 촬영된 사진을 기반으로 보고서를 작성하는 방식을 취하고 있다. 2D의 제한적인 어려움으로 현장을 직접 가지 않은 사람은 현장감과 몰입감 등이 부족하다는 한계가 있다. 하지만 제안한 기법을 현장조사에 적용하면 head mounted display (HMD)를 착용하고 360°의 3D 관점에서 현장을 조사할 수 있기 때문에 생동감 및 몰입감을 극대화할 수 있다. 이를 통해 현장에 참여하지 않은 다양한 분야의 전문가들과의 협업을 통해 신뢰성 있는 화재원인을 도출할 수 있다. 또한 국가 주요 재난사고의 3D 디지털 보존이 가능하여 사고에 의한 교훈을 다음 세대에 전달할 수 있다. 향후, 법정에서도 제안한 가상현실 재구성 시스템은 유효성 있는 증거물로 활용될 수 있을 것이다.

ABSTRACT

This paper presents an advanced technique for fire investigation via the development and application of a virtual reality (VR)-based system. After capturing a fire scene with a 360° camera, the acquired image files are processed, edited, and executed through a developed program to reconstruct the scene in VR. Currently, fire investigation methods involve writing reports based on photographed pictures. However, this 2D approach has limitations, as individuals who cannot visit the site in person lack a sense of presence and immersion. When the proposed technique is applied to scene investigations, wearing an head-mounted display allows for the investigation of scenes from a 360° 3D perspective that maximizes vivacity and immersion. This technology facilitates collaboration with experts from various fields who could not otherwise participate in a scene, thereby enabling the reliable derivation of fire causes. Additionally, the proposed method allows for the 3D digital preservation of major national disaster incidents and can therefore convey lessons from accidents to future generations. In the future, the proposed VR reconstruction system could be utilized as valid evidence in court cases.

KeyWords: Fire investigation, Fire scene, Advanced technique, Virtual reality, HMD

1. 서 론

화재는 인명과 재산에 심각한 피해를 발생시키는 재난 사건 중 하나이다. 그로 인한 화재현장의 재구성은 화재조사, 예방, 대응 전략의 개발 및 화재 관련 법률 등에 대한 중요한 역할을 수행한다. 이에 따라, 화재현장 조사 방법의 정확성과 효율성은 화재 관련 분야에서 매우 중요한 문제로 인식되고 있다.

국외에서는 던디대학교(영국)에서 화재조사 훈련을 위해 가상현실(virtual reality, VR) 기술을 사용하는 새로운 훈련 도구를 개발하였다. 이 기술은 실제로 화재가 발생한 장소의 디지털 이미지를 활용하여 가상의 화재현장에서 조사관들이 탐색하고 검토할 수 있게 하였다. 기존의 훈련 방식에 비해 비용이 저렴하고, 실제 화재현장에서 나오는 오염 물질 등으로부터 인체를 보호해 줄 수 있다. 또한 건축, 전기, 기계 등의 다양한 전문가들이 참여하여 원인을 도출함으로써 신뢰성 있는 결과를 제시할 수 있다는 장점이 있다. 현재 스코틀랜드 경찰청(Scottish police authority, SPA)과 스코틀랜드 소방 및 구조 서비스(Scottish fire and rescue service, SFRS)의 조사관들이 화재조사의 운영 확대를 위해 협력하고 있다. 이는 VR 기술이 화재조사 분야에 새로운 차원을 제공할 수 있는 가능성을 보여주는 좋은 사례로 볼 수 있다(1).

지금까지는 화재현장을 분석하고 재구성하는 데에 주로 사진 및 도면 등을 활용하는 방법이 사용되었다. 그러나 이러한 방법은 제한적인 시점과 공간적 한계로 인해 현실적인 재구성이 불가능하다. 예를 들면 화재현장이 협소하고 붕괴 위험이 있을 경우, 전문가들의 현장조사가 불가능하거나 어렵게 된다. 이런 이유로 화재현장에 참여하지 못했던 전문가와 관련자들이 현장을 재조사할 때는 기존에 촬영된 사진으로 분석하기 때문에 현장의 생동감과 몰입감이 부족한 것이 현재의 조사 방법에서 야기되는 문제점이다.

국내에서는 화재조사 분야에 VR 기술을 적용한 사례는 발표되지 않았다. 국내 최초로 메타버스의 가상현실 기술을 화재조사 분야에 적용하였다. 4차산업의 혁명으로 VR 기술은 최근 몇 년간 그 발전이 두드러지게 나타나며, 이러한 기술은 화재조사에 새로운 차원을 제공할 수 있는 가능성을 제시하고 있다. VR을 통해 화재현장을 가상으로 시각화함으로써, 조사관과 이해 관계자들이 화재현장의 상황을 쉽게 이해하고, 신뢰성 있는 원인 제시 및 예방 전략을 개발할 수 있다.

따라서 본 논문에서는 VR 기술을 적용한 화재현장 조사 기법에 관하여 제시하였다. 시스템을 설계 및 개발하였고, 이를 실제 화재현장에 적용한 사례를 기술하였다. VR 기술이 화재현장의 재구성에서 어떻게 사용될 수 있는지에 관해 깊이 있는 분석을 제시하였다. 이를 통해 현재의 재구성 기술 및 방법론에 대한 한계를 극복할 수 있는 새로운 방향성을 제안하였다.

현장조사의 수행 과정은 첫 번째 360° 카메라를 사용하여 현장을 스캔한다. 두 번째 스캔한 데이터를 개발된 프로그램에 입력시켜 드래그 앤 드롭 방식으로 데이터들을 정합한다. 이때 필요한 부분에는 설명문 및 확대 기능을 부여할 수 있다. 세 번째 정합된 데이터를 VR 시나리오로 변환시켜 사용자가 head mounted display (HMD) 착용한 후, 현장조사에 임한다. 이를 통해 붕괴 위험 등의 우려를 걱정하지 않고 다양한 전문가들이 VR 공간으로 참여하여 화재원인을 논할 수 있다. 또한 조사 과정에서의 정보 공유와 의사 결정의 속도를 높여 조사 결과의 정확성을 향상시킬 수 있다.

제안한 VR 기법은 기존의 화재조사 방법에 대한 한계를 극복하고, 현장의 몰입감을 높여 보다 정확하고 효율적인 조사 결과를 도출할 것으로 기대된다.

2. 메타버스

‘메타버스(metaverse)’는 현실 세계와 가상 세계의 경계가 사라져 가는 것을 의미한다. ‘가상⋅초월’을 의미하는 ‘meta’와 ‘세계⋅우주’를 나타내는 ‘universe’의 합성어로, 인터넷 공간과 물리적 공간이 함께하는 집합적인 가상공존세계를 의미한다(2).

세계적으로 COVID-19 팬데믹이 발생한 후, 현재 대면 회의나 모임보다는 온라인상의 비대면 희의 등이 자리 잡으면서 온라인 가상공간의 활용성이 더욱 증가하였다. 온라인상에서 현실감과 몰입감 등을 극대화하여 다른 공간의 느낌을 실제로 체험할 수 있다. 메타버스의 기술로 가상현실(VR), 증강현실(augmented reality, AR), 혼합현실(mixed reality, MR) 및 확장현실(extended reality, XR)이 게임 산업, 교육, 건축 및 디자인 등의 다양한 분야에 적용되고 있다. 기술의 대략적인 상관 관계는 Figure 1과 같다. VR과 AR의 기능을 공통적으로 발전시킨 부분이 MR에 해당되며, 이들을 전체적으로 내포하는 것이 XR의 개념이다.

Figure 1

Outline of the metaverse.

특히 VR 기술은 현실과 유사한 환경을 컴퓨터 그래픽이나 센서 등을 통해 가상으로 만들어내며, 최근 몇십 년간 발전해 왔다. 초기에는 주로 학술 연구나 군사용으로 개발되었다. 1960년대에는 Ivan Sutherland가 개발한 ‘sword of damocles’라 불리는 첫 번째 VR 헤드셋이 등장했다.

그 후 1980년대와 1990년대에는 가정용 VR 시스템이 등장했지만, 기술적인 한계와 고가로 인해 상용화되지 못했다. 최근 몇 년간의 기술 발전과 하드웨어 가격 하락으로 VR 기술은 새로운 활용 가능성을 제시하고 있다. 특히 헤드셋의 해상도 향상, 트래킹 기술의 발전, 그래픽 처리 능력의 향상 등이 VR 기술의 발전을 현재 견인하고 있다(3,4).

3. VR 기반의 화재현장 재구성 시스템

개발된 시스템은 Figure 2(a)와 같이 VR 콘텐츠를 웹브라우저에서 구동하고, 다양한 멀티미디어 파일들을 활용하여 VR 프로그램의 시나리오를 사용자가 직접 생성, 편집, 삭제하여 관리할 수 있다. 실제 화재현장의 공간적 정보 특성을 수집한 360° 이미지 파일, 텍스트, 음원, 사진들을 개발된 프로그램의 편집 기능을 활용하여 사용자가 VR의 시나리오를 직관적으로 생성할 수 있다. 각각의 공간에서 발견되는 특정 위치에 마크업을 통하여 메모 및 문서(PDF 형식)를 배치할 수 있다. 이를 활용하여 스트리트 뷰어 형식으로 거리, 건물 등의 특정 공간이나 구역을 조사할 수 있다. 또한 소프트웨어와 데이터베이스를 서버 컴퓨터에 설치하면 사용자가 웹브라우저를 통해 활용할 수 있는 시스템으로 일반적인 웹서비스와 동일한 방식이다.

Figure 2

Schematic diagram of the system.

Figure 2(b)와 같이 오픈 소스의 관계형 데이터베이스 관리 시스템인 MariaDB의 10.5.9 버전을 사용하여 데이터 베이스를 구축하였다. 소프트웨어는 Node.js (버전 16.17.1.)를 사용하여 프로그램을 코딩, 개발하였다. 이는 V8로 빌드된 이벤트 기반의 자바스크립트 런타임 프로그램이며, 웹 서버와 같이 확장성 있는 네트워크 프로그램을 제작할 수 있다.

시나리오를 실행할 때 10 Mb 내외의 이미지 파일을 약 8개 배치할 경우, 응답처리 시간을 5 s 이내로 설계하였다. VR 운용 시, 가시화 렌더링을 약 60 FPS (frames per second)로 최적화하여 실제 현장과 VR 현장의 이질감을 최소화하였다. 360° 카메라의 high dynamic range image (HDRI) 파노라마 이미지를 구형 지오메트리에 렌더링하였다. 촬영 당시의 방향에 따라 발생되는 UV offset을 보정할 수 있도록 변환 렌더 모듈도 설계하여 시스템에 탑재하였다.

3.1 프로그램 코딩

시스템의 주요 기능은 Figure 3과 같이 시나리오의 작성, 편집, 삭제 및 실행으로 설계하였다. 시나리오의 작성은 각 장면을 기준으로 구성 및 세부 설정을 수행할 수 있으며, 작성된 화면을 연결하여 전체 시나리오를 완성하는 기능을 가진다. 편집은 화재현장을 360° 카메라로 촬영한 후, 이미지 파일을 프로그램으로 드래그 앤 드롭 하여 시나리오에 추가할 때 호출되는 코드이다. 마우스 포인터의 좌표와 브라우저 화면 속 3D 공간의 크기를 연산하여 브라우저의 마우스 끝에서부터 시작되는 Raycaster를 3D 공간 속에 투영시킨다. 3D 화면 안의 레이어 평면과의 마우스에서 시작되는 raycaster 접점의 좌표에 사용자가 놓는 360° 이미지 파일을 배치할 수 있다. 삭제 기능은 작성 과정에서 생성된 불필요한 시나리오를 삭제할 수 있다. 실행 기능은 최종 완성된 시나리오를 사용자가 VR로 구동할 수 있도록 제공하는 기능이다.

Figure 3

Example of a coded screen.

3.2 그래픽 환경

프로그램 코딩을 통해 그래픽으로 나타나는 환경은 Figure 4와 같다. 사용자가 시나리오에 필요한 각각의 장면들을 편집 그래픽 환경에 배치 및 연결하여 WebVR viewer에서 볼 수 있다.

Figure 4

Scenario data editor.

Figure 4 ①에서 시나리오 목록에 신규 시나리오 생성 시, 작성한 시나리오의 이름이 표시되며, 해당 창에 새로운 시나리오 제목을 쓰고 저장을 클릭하면 시나리오의 제목이 변경된다. Figure 4 ②는 360° 카메라로 촬영된 이미지 파일을 서로 연결하는 버튼이다. ‘장면 연결 버튼’을 클릭하고 한 장면을 클릭한 상태로 연결할 장면에 드래그하면 빨간 선이 생성되면서 각각의 장면을 하나의 체계로 연결할 수 있다. Figure 4 ③은 자동 저장 시, 나타나는 ‘알람창’을 의미한다. 프로그램의 셧다운 시, 작업된 프로그램이 삭제되는 것을 방지하기 위하여 5 min 간격으로 자동 저장되는 기능을 탑재하였다. Figure 4 ④는 ‘도움말’ 버튼이다. 처음 사용하는 사람에 대한 개발된 프로그램의 이해를 돕기 위하여 사용자 매뉴얼을 PDF 파일로 다운로드 받아 사용할 수 있다. Figure 4 ⑤는 레이어의 상태를 표시하는 ‘레이어 탭’을 나타낸다. 레이어는 360° 이미지들을 배치하는 시나리오의 베이스에 해당되기 때문에 모든 이미지 파일은 레이어에 배치되어야 한다. 레이어는 처음 시나리오 편집 페이지에 진입할 때 표시되는 모달 창에서 생성할 수 있다. 모달 창에는 기본 레이어를 레이어로 사용할 것인지 또는 이미지를 불러와서 레이어를 만들 것인지 결정할 수 있다. 레이어 탭에는 레이어가 기본 레이어인지, 다른 이미지를 이용한 레이어인지 표시해주는 Figure 4 ⑥의 ‘레이어 이미지 창’이 있다. 레이어를 변경하는 모달을 열 수 있는 Figure 4 ⑦의 ‘이미지 변경’ 버튼도 있으며, 360° 이미지들을 추가하는 Figure 4 ⑧의 ‘추가’ 버튼도 설계되어 있다. Figure 4 ⑨는 ‘장면 상태 표시’ 창이다. 레이어 탭 아래에 추가된 360° 이미지들이 사용 중인지, 아닌지를 표시해준다. Figure 4 ⑩은 ‘시작 시점’ 버튼을 의미한다. 작성된 시나리오의 시작 시점 장면을 지정하는 버튼으로 장면이 배치되었을 때, 활성화 된다.

3.3 VR cabin

VR로 재구성된 화재현장을 조사할 때에는 HMD를 착용하고 활동하기 때문에 독립된 공간이 필요하다. 사용자의 안정성 등을 확보하기 위하여 Figure 5와 같이 독립된 공간의 VR cabin (W 2,000 mm × L 2,000 mm × H 2,100 mm)을 제작하였다. 화재현장에서 촬영된 360° 이미지 파일들을 서버에서 시나리오 편집 등을 통해 VR로 재구성한다. 이후 완벽 구현된 VR 공간에서 화재현장을 조사하며, 연소 형상 및 발화원인을 추적할 수 있다.

Figure 5

Photograph of the VR cabin.

4. 화재현장 적용

4.1 실제 화재현장 적용

2023년도 ○○도에서 발생된 화재현장을 Figure 6과 같이 360° 카메라로 촬영하여 이미지 파일을 추출하였다. 화재현장은 원료를 만드는 공장으로 생산동에서 가스가 유출되어 폭발과 함께 화염이 동반된 현장이었다. 폭발로 인하여 건물 잔해가 사방으로 비산된 상태였으며, H빔의 철골 구조가 만곡되고, 건물 일부는 붕괴되었다.

Figure 6

Fire scene.

화재현장의 입구를 기준점으로 하여 발화지점으로 좁혀들어가는 방향으로 이미지를 취득하였다. 발화지점 및 중요하다고 판단되는 공간은 촬영 횟수를 늘려 VR로 재구성 시, 조사관이 면밀하게 볼 수 있도록 설정하였다.

4.2 VR 시나리오 생성

화재현장에서 취득한 데이터를 가지고 개발한 프로그램에 입력하여 VR 시나리오를 생성하였다. 설계된 편집 기능 중, portal을 배치하기 위한 것으로 다른 장면들과 이동하는 상호작용을 위한 내용을 Figure 7에 나타내었다. 장면 연결을 통해 생성되는 Figure 7 ①의 빨간색 점선이 장면들끼리 연결되었을 때 만들어진다. 해당 장면이 다른 장면들과 연결되어 있는 개수만큼 화면의 오른쪽에 표시된다. Figure 7 ②의 노란색 점선은 ‘상태 표시 창’을 나타낸다. 해당 portal이 장면 편집에 사용 중인지 아닌지 표시해주는 부분이며, 장면 편집에 배치된 portal을 삭제할 경우, 미사용 상태로 변경된다. Figure 7 ③은 ‘portal 아이콘 위치 이동’ 버튼으로, 한번 배치한 portal을 이동할 때 사용된다. 클릭하면 빨간색 작은 구가 나타나며, 원하는 위치에 클릭하면, “여기로 옮길 것인지?”를 물어보는 확인창이 나타난다. 사용자가 ‘확인’을 클릭하면 해당 장소로 portal이 이동하고, ‘취소’를 클릭하면 원래 위치로 복귀한다.

Figure 7

Scenario editor (1).

Figure 8은 시나리오 편집 기능 중, TXT를 배치하는 기능을 나타낸 것이다. Figure 8 ①을 클릭하면 최대 10자까지 시나리오의 제목을 입력할 수 있다. Figure 8 ②는 해당 지역 또는 사물 등의 정보를 입력할 수 있는 기능으로 최대 300자까지 가능하다. 화재현장의 VR을 처음 사용하는 사람은 설명문을 통해 현장의 이해도를 높일 수 있다. Figure 8 ③은 ‘미리보기’ 버튼으로 해당 TXT가 WebVR에서 어떻게 표시되는지 확인할 수 있다.

Figure 8

Scenario editor (2).

4.3 VR 재구성 시스템의 활용

화재현장을 360° 카메라로 촬영한 후, 개발된 프로그램을 적용하여 VR로 재구성하였다. 시스템을 활용하여 조사하는 모습을 Figure 9에 나타내었다. 현재 화재조사 방법은 현장을 사진으로 촬영한 후, 조사관들이 사진을 바탕으로 연소 형상 등에 관한 의견을 Figure 9(a)와 같이 공유한다. 2차원적으로 표현되는 사진의 한계로 인하여 현장의 사실성, 실제성 및 몰입감 등이 없기 때문에 조사관의 역동적인 참여 및 활동이 효과적으로 구현되지 못한다.

Figure 9

Reconstruction of the VR fire scene.

그러나 본 논문에서 제시한 시스템을 활용하면 Figures 9(b), 9(c)와 같이 현장을 직접 보지 못한 조사관은 구획된 공간의 cabin에 위치한 상태에서 HMD를 착용하고 controller를 사용하여 VR 공간에서 현장을 조사할 수 있다. 4K 해상도는 3840 × 2160 픽셀을 제공하여 표준 HD 해상도보다 4배 더 세밀한 이미지를 VR 공간에서 생성한다. 이를 통해 사진보다 더 생생하고 세밀하게 조사에 임할 수 있다. 또한 픽셀 밀도를 증가시켜 screen door effect (SDE) 현상을 최소화하였다. 4K의 해상도를 통해 field of view (FOV)가 높아져 현실의 현장과 이질감 없이 VR로 재구성된 현장에서 120°의 넓은 시야로 볼 수 있다.

개발 과정에서 발생된 기술적인 어려움은 Web기반의 3D 환경을 구현하기 위한 정보 접근성이 낮았다는 것이다. 이를 해결할 방법으로 WebGL로 Web 기반 3D 환경을 렌더링하기 위해 자바스크립트 기반의 three.js 라이브러리를 활용하였다. 기존에 판매되는 HMD와의 연동 기능을 100% 구현하기 위하여 WebXR application programming interface (API)를 활용하고 프로그램을 코딩하여 기술적인 한계를 극복하였다. HMD 상에서 발생하는 이벤트를 PC 화면으로 연동하여 렌더링하는 기능도 정보 접근성이 낮아 asset 없이 직접 프로그램을 코딩하였다.

이를 통해 구현된 시스템을 정부기관, 경찰, 소방, 스리랑카 및 두바이 수사기관, 대학생 등 약 11개 팀이 HMD를 착용한 후, VR로 재구성된 화재현장을 직접 참여하여 조사하였다.

효과를 비교하기 위하여 VR을 보기 전, 기존 방법으로 현장 사진을 먼저 설명하였다. 현장을 가지 않은 참여자들을 2D 사진으로 설득하기에는 한계가 있었다. 그러나 VR로 재구성된 화재현장을 경험한 참여자들은 실제 현장과 이질감이 없어 현장의 이해감을 극대화할 수 있다고 평가하였다.

전문가들의 종합적인 접근을 통해 현장조사에 있어 새로운 패러다임을 제시할 수 있을 것이다. 또한 법정에서도 증거 능력을 극대화할 수 있는 유용한 도구로 채택될 것이다(5).

5. 결 론

본 논문에서는 화재조사의 최첨단 기법으로 VR을 적용한 시스템 개발 및 적용 방법 등에 관하여 기술하였다. 화재현장을 360° 카메라로 촬영한 후 VR로 재구성하였다.

MariaDB와 Node.js를 사용하여 프로그램을 코딩하였다. 현장에서 취득한 이미지 파일을 생성, 편집 및 실행 등을 할 수 있다. 10 Mb 내외의 이미지 파일에 대한 처리 응답 시간을 5 s 이내로 하였으며, VR로 재구성되는 현장을 60 FPS로 최적화하고, HDRI 파노라마 이미지를 구형 지오메트리에 렌더링하였다. 현장 촬영 과정에서 방향에 따라 발생되는 UV offset을 보정하기 위하여 변환 렌더 모듈을 시스템에 탑재하였다. 픽셀 밀도를 증가시켜 SDE 현상을 최소화하고, FOV를 증가시켜 120°의 넓은 시야를 통해 현장의 현실감을 높였다. 또한 HMD와의 연도 기능을 100% 구현하기 위하여 WebXR API를 활용하여 프로그램을 코딩하였다.

제안한 기법을 통해 현장에 가지 않은 전문가들도 기존의 사진 방법보다 정확하고 신뢰성 있는 화재원인을 도출할 수 있을 것이다. 또한 국가 주요 재난사고의 3D 디지털 보존이 가능하기 때문에 세대가 변화더라도 사고를 통해 얻을 수 있는 교훈을 지속적으로 전달할 수 있다. 향후, 법정 문화에서도 제안한 VR 재구성 시스템이 채택 받아 재판과 관련된 사람들의 이해력도 극대화하여 유효성 있는 증거물로 활용될 수 있을 것으로 기대된다.