1. 서 론
다양한 화재 검출 장치들이 개발되어 오면서 연기나 화염을 검출하는 단순 감지기 방식에서 CCTV 영상을 지능적으로 분석하여 검출하는 방식의 기술들이 개발되고 있다. 또한 딥러닝 AI 분석 기술이 접목됨에 따라 지능형 CCTV의 영상 분석 기술도 함께 발전하였다. 현재 정부는 범죄를 예방하기 위해 설치된 CCTV를 재난안전관리에 공동으로 활용하고자, 기존 육안 관제 시스템에서 지능형 관제 시스템으로 전환하고 국가안전시스템을 개편하기 위하여 23년 24%인 지능형 CCTV 보급률을 27년 100%까지 확충하는 것을 목표로 하고 있다(1-5).
하지만 CCTV의 red, green, blue (RGB) 가시광선 영상을 활용한 화재 검출 연구가 이루어지고 있지만, 조도에 민감하므로 역광 등 외부 요인에 취약할 수 있다. 또한 화재 규모가 작은 경우 검출되기 어려운 한계성이 있다. 이에 CCTV 기반 화재 검출 체계는 기존 검출 방식보다 검출 시기가 늦을 수 있다(6,7).
화재의 경우 예방 단계에서 사전 예측 및 조기 감지가 매우 중요하다. 이에 따라 Figure 1에 나타낸 바와 같이 RGB와 열화상 감지기를 결합하여 이중 감지기 검출 방식인 지능형 CCTV를 나타내었다. RGB 카메라 감지기는 가시광선을 활용하여 주변 환경에 대한 정보를 수집할 수 있지만, 빛에 민감하게 작용하여 정보를 미검출하거나 오인식하는 경우가 있다. 열화상 감지기는 주변 조도의 영향 없이 특정 지점의 온도를 실시간으로 검출할 수 있다. 이러한 두 감지기의 장점을 융합하고, 단점을 보완하여 화재를 사전 예측하고 조기에 감지하고자 한다. 따라서 본 연구에서는 CNN 딥러닝 모델을 적용한 화재 예측 장치는 RGB 감지기를 적용하여 화염, 연기와 주변의 환경 등을 실시간으로 감지하고, 미검출하거나 오인식한 정보는 열화상 감지기로 검출하였다. 따라서 이중 감지기가 연동하는 알고리즘을 통해 화재 발생 장소, 화염의 크기, 열화상 감지기의 온도 변화 등을 대상으로 실험하였다(2,8,9).
2. 관련 연구
일반적으로 화재 발생 유형이 다양해지고 진행 양상 또한 변화가 크기 때문에, 화재 검출 방식은 한 가지 감지기만으로 높은 검출율을 기대하기 어렵고 오작동이 발생할 가능성도 높아진다. 이러한 문제를 해결하기 위하여 다양한 감지기를 융합하여 검출하는 방식이 꾸준히 개발되어 왔다. Baek 등(10)의 연구에서는 온⋅습도, 화학적 감지기(CO, CO2, O2), 먼지, 연기 등의 특성을 실험하고, 화재 진행 단계에 따른 변화 양상을 비교 실험하였다. 감지기별 특성을 감안하여 전통적인 산술식을 적용하였다. Rachman 등(11)은 다양한 화재 검출 감지기를 무선 네트워크로 구성하고 퍼지(fuzzy) 논리 규칙으로 처리하는 시스템을 제안하였다(12). 적용된 감지기로는 온도, 연기 및 화염 감지기를 사용하였고, 멀티모달 감지기의 소형화를 위해서 아두이노 나노(arduino nano)를 사용하여 통합하였다. 무선 네트워크는 ZigBee, LoRa 02 방식을 적용하여 실험하였다. 멀티모달을 구성하는 감지기별 특성을 조사하여 각각에 맞는 퍼지 멤버십(fuzzy mebership) 함수를 만들고 융합하는 규칙을 제안하였다. Deng 등(12)의 경우는 유사 연구들과 같이 다중 감지기(연기, 온도, CO)를 적용하여 화재 검출 가능성을 수집하였고, 이를 딥러닝 CNN으로 분석하였다.
최근 CCTV를 적용한 예측 및 검출 방식을 화재에 접목한 연구가 수행되고 있다. CCTV는 방범의 목적으로 건축물에 필수적으로 설치되고 있어 이용의 용이성과 비용 절감의 효과를 얻을 수 있다. 이에 CCTV 설치 대수가 증가하면서 모니터링을 할 수 있는 범위가 확대되고 있어 각종 안전사고를 방지할 수 있는 장비로 활용하려는 연구가 활발히 진행되고 있다(13,14).
앞서 언급한 온⋅습도, 연기, CO 등을 검출하는 감지기로 검출값이 연속적인 신호값의 리스트 형태로 비교적 분석이 용이하다. 반면 CCTV와 같은 RGB 감지기를 이용하는 경우 가로와 세로의 이차원 영상의 형태로 분석해야 하므로 상대적으로 복잡하다.
CCTV 영상 분석은 영상 내 대상 물체들을 구분하는 딥러닝 지능 분석이 적용되고 있으며, 일반적으로 적용되는 딥러닝 모델은 주로 convolution neural network (CNN)방식을 기반으로 하는 학습 모형이 사용되고 있다(1,7,8).
Ahmed 등(15)은 CCTV 영상을 효과적으로 분석하여 화재를 검출하기 위하여 잘 알려진 딥러닝 모델 GoogLeNet Architecture 자체를 보완하여 수정하는 연구를 진행하였다. Jamal 등(13)의 경우는 YOLO 딥러닝 모델로 CCTV 영상을 분석하는 데 획득한 영상 자체를 입력으로 처리하는 것이 아니라 번쩍임과 같은 플리커(flicker)와 색상 정보를 일차적으로 전처리하여 사용하였다. CNN 등 딥러닝 방식은 검출 대상의 다양한 형태 변화를 효과적으로 모델링하기 위하여 대규모의 샘플을 수집하고 학습할 필요가 있다. 충분한 샘플 학습이 전제될 경우 화재 검출 분야에도 적용이 진행되고 있다(1).
3. 이중 감지기 CCTV의 구성
기존의 감지기 방식인 화재경보기는 측정된 한 가지 요소를 기준값과 비교하여 경보를 울리는 방식이지만, 본 연구에서는 CCTV를 이용하여 주변 환경 정보를 2D 영상으로 분석하여 기존의 감지기 방식보다 복잡한 과정을 수행한다. CCTV 영상 분석은 영상 내 대상 물체들을 구분하도록 딥러닝 분석이 적용되고 있으며, 일반적으로 적용되는 딥러닝 모델은 주로 convolution neural network (CNN) 기반인 학습 방법을 사용하고 있다. 딥러닝 방식은 검출 대상의 다양한 형태 변화를 효과적으로 모델링하기 위하여 대규모의 샘플을 수집하고, 학습시켜야 한다. 이에 화재 시 다양한 형태 변화가 나타나는 화염을 인지하고, 화재 상황을 실시간으로 파악하기 위하여 이중 감지기 CCTV를 구성하였다.
CCTV는 가시광선 영상이 입력되어 2D 디지털 영상으로 출력하므로 공간 내 조도 환경과 변화에 민감하게 작용한다. 이에 따라 역광, 직광 및 날씨의 변화 등이 발생하거나 화재 규모가 작은 경우 검출되기 어렵다. 이를 개선하기 위하여 CCTV 영상 분석 기법에 열감지 방식을 결합하였다.
Figure 2의 화재 검출 흐름도와 같이 RGB 감지기와 열화상 감지기 두 개를 결합하였다. RGB 감지기로는 가시광선의 일반적인 디지털 영상을 확보하고 분석 기법을 적용하여 원하는 대상을 검출하였고, 열화상 감지기를 통해 RGB를 통해 검출하지 못하는 온도 및 적외선을 검출하였다.
본 논문에서는 CNN 기법의 딥러닝 모델 중 single shot multibox detector (SSD)와 you only live once (YOLO) 모델을 적용하여 검출 성능을 비교하였다. RGB 감지기와 열화상 감지기 모두 2D 배열의 픽셀값으로 나타나며, 각 픽셀에는 해당 위치의 영상 정보가 수치로 표현된다. 그리고 RGB 채널값과 열화상 감지기의 온도값이 결합되어 처리되고, 시계열 데이터 분석을 통하여 화재의 상태 전이(state transition)를 분석하였다. 또한 두 가지 감지기 방식과 해상도의 영상을 하나로 종합하여 Figure 3에 나타낸 바와 같이 공간적인 동기화를 진행하였다. 식(1)은 RGB 영상의 해상도는 rgbW × rgbH이며, 열화상 영상의 해상도는 thmW × thmH로, 화소(pixel)간의 매핑(mapping) 과정을 설명한다. 예를 들어, 열화상 영상의 화소 좌표가 (j, k)라고 표현된다면, 이 좌표 (j, k)는 RGB 영상의 다음 좌표 (m, n)에 해당하는 것을 말한다.
4. 화재 예측 분석 프로그램의 구조
화재 규모가 작은 경우 검출 인식률이 낮고, 다양한 형태 변화가 나타나는 화염을 인지해야 하므로 CCTV 기반 화재 검출 체계는 기존 검출 방식보다 검출 시기가 늦을 수 있다. 이는 화재가 어느 정도 성장해야 검출될 수 있다는 문제점을 갖고 있지만 화재의 경우 예방 단계에서 사전 예측 및 조기 감지가 매우 중요하다.
이에 본 연구에서는 열화상 감지기의 온도 정보를 부가적으로 활용하고자 한다. RGB 영상에서 화재가 검출되지 않았음에도 특정 지점 내 온도 상승이 검출된다면, 화재가 발생할 가능성이 있음을 예측할 수 있도록 알고리즘(algorithm)을 식(2)와 같이 구현하였다.
Zitp는 열화상 영상의 화소(thermal pixel)값을 의미한다. 예를 들어 Zitpnor은 해당 화소가 일반적인 상황(화재가 없는 상황)에서 갖는 온도값이고, Zitpcur은 해당 화소의 현재 온도값이다. 그리고 thmmax는 전체 열화상 영상의 화소 중 가장 큰 값을 의미하며, Widthm × Heithm인 경우, 전체 화소 중에서 최대 온도값을 갖는 화소값을 나타내며, 이 식은 다음 thmmax와 같다.
그리고 Figure 4에 나타낸 바와 같이 Zi는 분류 신경망의 최종 출력값을 나타내며, 클래스 분류 모델은 클래스 수로 구성된 벡터값이다. 클래스는 식(3)과 같이 총 3개(fire, smoke, person)로 이것은 z1, z2, z3으로 나타내었다. 그리고 z1과 z2는 검출 대상이 화재(fire)이고, z3은 검출 대상이 사람(person)이다. 검출 대상이 화재(fire)와 연기(smoke)인 경우 열화상 영상의 화소값이 상승하는데, 그 상승값을 가산하여 γ1을 출력한다. 하지만 사람(person)인 경우 열화상 영상의 변화를 고려하지 않고, 정해진 값 그대로 사용한다.
그리고 클래스에 대한 확률(γ1, γ2, γ3)을 계산하기 위하여 소프트맥스 함수를 사용하는데, 이것은 식(4)에 나타내었다. 이 식(4)와 식(5)는 각 클래스에 대한 확률값과 모든 클래스의 확률값의 합계가 “1”이 되도록 하여 정규화한다. 즉 입력값에 대한 각 클래스의 확률을 계산할 수 있다.
5. 실험 결과
5.1 이중 감지기 체계 구성
Figures 5(a)와 5(b)에 나타낸 바와 같이 이중 감지기 실험 장치의 내⋅외부를 나타내었다. 구성 장치는 라즈베리파이(raspberry Pi)로 구현된 수집 및 전송기, RGB 감지기와 열화상 감지기로 구성된 이중 감지기 장치, UTP 케이블을 이용하여 필요한 전력을 공급하는 power over ethernet (PoE) 등으로 구성하였다. 그리고 RGB 감지기는 Sony IMX708 (해상도: 4608 × 2592, 비디오 모드: 2304 × 1296, 2304 × 1296)을 사용하였고, 열화상 감지기는 FlIR Lepton 2.5 (해상도: 80 × 60, 감지 범위: -10~+450, 열감지기 타입: Microbolometer, 97 Frames/s)를 사용하였다.
여기서 라즈베리파이(version 3B+, 메모리 1 Gb)는 2D 감지기를 제어하고, 촬영 정보를 전송하기 위해 사용하였다. 그리고 RGB 감지기는 라즈베리파이 보드의 카메라 전용 케이블 커넥터에 연결하였고, 열감지 감지기는 다용도 입출력(general-purpose input/output, GPIO) 핀 배열에 연결하여 사용하였다.
5.2 화재 예측 실험
본 연구에 사용된 실험 장치는 화재 발생을 실시간으로 모니터링하며, 클래스는 총 3개(사람(person), 연기(smoke), 화염(fire))로 구성하였다. Figures 6(a)∼6(d)는 시간 경과에 따라 화재가 발생하는 변화 과정을 나타내었다. 그 중 Figure 6(a) t + 0에서 화재가 발생하지 않은 상황을 나타내었는데, 이것은 RGB 영상뿐만 아니라 열화상에서도 아무런 변화가 발생하지 않은 것을 확인할 수 있었다. 즉 RGB 영상 내 3개의 클래스 중 아무것도 검출되지 않았다.
그리고 열화상 영상의 경우 공간 내 검출된 대상들의 표면 온도가 나타나는데, 본 실험의 주변 환경은 주간(晝間)에 야외에서 촬영하였고, 검출대상은 중앙 내 금속박스로 표면이 금속으로 되어 있어 상대적으로 높은 온도가 나타났다. 이처럼 특정 영역의 온도가 높게 상승하는 경우 특정 영역이 강조되는 특성이 있다.
Figure 6(b)는 검출 대상(금속박스)의 표면에 열이 축적되어 온도가 상승하고 있는 상태이다. 열화상 감지기의 영상은 최고 온도를 기준으로 검출되기 때문에, Figure 6(b)의 경우 Figure 6(a) 보다 주변 환경이 상대적으로 흐리게 나타났고, 검출 대상의 온도 상승으로 인하여 열화상 영상이 변화되었다.
하지만 Figures 6(a)∼6(d)의 경우 화재가 발생하였지만, RGB 영상에서 주변 환경이나 검출 한계(화재의 크기가 매우 작음)로 인하여 화재로 인식하지 못하였다. 하지만 Figure 6(d)의 경우 클래스 중 연기(smoke)는 검출되었다. 이것은 RGB 감지기만으로 초기 화재를 검출하는 데 한계가 있는 것을 확인할 수 있었다.
이러한 문제점으로 인하여 본 연구에서는 열화상 감지기도 함께 사용하여 이중 감지기 체계를 구축하였으며, 열화상 감지기의 온도 변화(Figure 7)를 나타내었다. Figure 7에서 A는 화재가 발생하여 온도가 상승하는 구간, B는 화재 최성기에 도달하는 구간, C는 화재 강도가 점차 감소되는 구간, D는 화재가 점차 소진되면서 온도는 유지하는 구간으로 표현할 수 있다. 그리고 χ축은 프레임 순서로 시간 흐름을 짐작할 수 있다. y축은 해당 시점의 온도값이며, 감지기의 감지 범위는 최고값 180 ℃로 설정하여 실험하였으며, 이것은 적색 사각형으로 표시하였다. 그리고 Figure 6(a)는 화재가 발생하여 온도가 상승하는 상황(Figure 7, A 구간)에서 검출하였고, Figure 8은 화재 최성기에 도달하고 점차 소진되면서 온도는 유지하는 상황(Figure 7, B~D 구간)에서 검출하였다. 또한 Figure 7의 P1과 P2는 온도가 급격하게 변화한 지점으로 열화상 감지기에 다른 검출 대상이 측정되어 노이즈(noise)가 발생하여 일시적으로 불연속적인 온도가 검출된 것으로 판단된다.
그리고 Figure 8에 나타낸 바와 같이 총 3개의 클래스(화재(fire), 연기(smoke), 사람(person))가 모두 검출되었다.
Figures 8(a)∼8(d)에서 열화상 감지기의 온도값이 크게 상승하다가 다시 낮아지는 것을 확인할 수 있었다. 그리고 Figure 6에 비하여 화염의 크기가 커져 시각적으로 화재를 판별할 수 있었고, RGB와 열화상 영상에서 화재로 판별하였다.
RGB 감지기는 클래스(화재(fire), 연기(smoke), 사람(person))를 검출하는데 CNN 딥러닝 모델 분석 방법으로 진행하였다. 하지만 클래스 중 연기(smoke)와 사람(person)은 RGB 감지기로만 검출할 수 있었다. 그 이유는 Figure 8(b)와 같이 화재(fire)만 열화상 감지기의 감지 범위의 최고값인 180 ℃에 근접하게 나타났기 때문이다(14).
본 연구를 통해 CCTV에 열화상 감지기를 추가한 이중 감지 카메라 시스템을 구축하였다. Table 1은 단일 감지 방식과 이중 감지 방식의 세가지 모델에서 감지 재현율, 정밀도, F1-score와 Table 2는 단일 감지 방식과 이중 감지 방식의 정확도, 민감도, 특이도를 나타내었다. 분석 결과 재현율은 Faster R-CNN 방식이 가장 낮았으며, SSD 방식이 재현율이 가장 높았다. 정밀도의 경우 단일 감지 방식에서는 Faster R-CNN이 0.88로 가장 높은 정밀도가 나타났으나, 이중 감지 방식에서는 YOLO model이 가장 높은 정밀도를 나타냈다. F1-score는 두 감지 방식에서 3가지 모델 모두 비슷한 수치를 확인하였다. 하지만 재현율, 정밀도, F1-score에서 단일 감지 방식보다 이중 감지 방식이 가장 좋은 결과를 보였다. 단일 감지 방식은 불꽃 등 시각적인 화재 신호가 없는 경우 화재 감지가 어려우며, 불꽃의 크기가 작을 경우 감지성능이 떨어지는 것으로 나타났다. 반면 이중 감지 방식은 열화상 감지기로 물체의 열을 감지하고, 시각적으로 불꽃이 인식되지 않아도 높은 온도를 감지할 수 있어 화재 초기 단계에서 신속한 감지가 가능한 것으로 나타났다. 따라서 단일 감지 방식은 주로 시각 정보만을 사용하여 시야에 가려진 상황이나 시각적 잡음에 영향을 받지만 이중 감지 방식은 시각 정보와 열 정보를 종합적으로 활용하므로, 시야에 가려진 물체라도 열적으로 감지할 수 있어 화재 초기 단계에서 특히 중요한 요인으로 작용할 것으로 판단된다. 하지만 이중 감지 방식은 단일 감지 방식에 비해 감지 감지기의 종류와 정보 처리 방식을 위한 프로그램이 적용되어 기존 방식에 비해 경제성이 낮은 단점이 있다.
6. 결 론
화재 검출을 위해 일반적으로 활용되고 있는 CCTV는 RGB 감지기를 활용한 단순 2D 영상만을 대상으로 하고 있으며, 화재가 발생하기 전 특이점을 육안으로 검출하기 위해 지속적으로 모니터링을 수행해야 한다. 하지만 사람(관리자)이 모니터링을 수행하기에 한계가 있다고 판단하여 본 연구는 CCTV를 활용한 화재 검출을 신속하고 정확하게 검출하기 위하여 RGB 감지기와 열화상 감지기를 결합한 이중 감지기 방식을 활용하여 화재 검출을 수행하였다.
1) 가시광선 영역을 검출하는 RGB 감지기와 적외선 영역을 검출하는 열화상 감지기의 영상을 중첩하기 위하여 두 감지기의 신호 방식을 결합하는 알고리즘을 통해 3가지 클래스((화재(fire), 연기(smoke), 사람(person))를 대상으로 검출할 수 있는 분류 신경망을 구축하였다. 이를 통해 카메라가 영상의 화소값, 영상 및 온도의 변화를 통해 3가지 클래스를 검출할 수 있도록 이중 감지기 카메라를 구축하였다.
2) 이중 감지기 카메라를 통해 화재 감지 실험을 수행한 결과, 화재의 규모가 작을 경우 RGB 감지기를 통해 소규모 화재(fire)의 검출은 불가능하였으나, 연기(smoke)의 검출은 가능하였다. 반면, 열화상 감지기를 통해 감지하였을 경우 내부 온도 변화를 검출하여 화재 발생 가능성을 예측할 수 있었다.
3) 화재의 규모가 증가할 경우 RGB 감지기와 열화상 감지기 모두 화재를 검출할 수 있었으며, 화재가 발생한 후 규모가 작아지게 될 경우 RGB 감지기의 검출이 불가능하였으나, 화재가 발생한 영역의 잔열을 통해 열화상 감지기가 이를 감지하여 화재 발생 위치의 정확성을 확보할 수 있었다.
4) RGB 감지기와 열화상 감지기를 결합한 이중 감지기 카메라를 활용할 경우 화재 검출 여부의 정확도가 향상되는 것을 확인할 수 있었으며, 감지기에 검출 대상이 변화할 경우 노이즈(noise)가 발생하는 문제점이 있었다. 또한 검출 대상이 3가지 클래스(화재(fire), 연기(smoke), 사람(person))로 한정되었으나, 추후 다양한 클래스의 검출을 수행할 필요가 있을 것으로 판단된다. 이에 학습 개선을 통해 업데이트가 가능하므로 소프트웨어에서 주기적으로 성능을 개선한다면, 서버 업데이트만으로 성능을 개선할 수 있을 것으로 판단된다.
5) 추후 연구를 통해 이중 감지 방식이 단일 감지 방식에 비해 경제적 이점을 갖고 다양한 분야에 활용될 수 있도록 프로그램의 보급화와 감지기의 성능 향상 및 감지기 비용의 절감 방안이 필요하다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
