1. 서 론
현재 동력 전달용 회전체를 포함한 컨베이어 벨트 시스템은 광산 및 시멘트 산업 등의 분야에서 자재 운송을 위한 중요한 시스템으로 사용되고 있으며 고장 등에 의한 운전 정지는 큰 손실을 초래하게 된다. 이러한 회전체의 고장을 조기에 발견할 경우 수리 등의 조치가 가능하나, 고장의 발견이 늦어 심각한 경우 컨베이어 시스템의 운전을 정지하고 회전체의 교체가 진행될 때까지 수송 작업이 장기간 중단된다(1). 또한, 컨베이어 벨트를 통해 이송되는 석탄, 시멘트와 같은 위험 물질은 자연발화 및 분진폭발을 유발하여 급격한 연소확대 및 화재 위험성을 증가시킨다. 또한 컨베이어 벨트 내에 다수 배치되는 베어링 또는 롤러들의 파손 및 고장은 시스템 전체의 소손을 일으키거나 화재를 유발할 수도 있다(2).
컨베이어 벨트 회전체의 고장진단 방법에는 관리자가 작업현장에서 회전체를 직접 점검하는 방법, 회전체의 진동을 측정하여 분석하는 방법, 회전체의 특정 주파수를 분석하여 이상 유무를 진단하는 방법 등이 있다. 하지만, 관리자가 직접 회전체를 점검하는 방식은 끼임 등의 인명피해를 유발할 수 있고, 진동 측정 방식은 구동되는 회전체에 직접 부착되어야 하므로 설치 및 유지보수에 문제가 있다(3,4). 또한, 회전체의 소리 주파수를 분석하는 방법은 고장 대역의 주파수가 일정하지 않아 고장판정에 어려움이 있다(5,6). 이러한 문제점을 해결하기 위해 본 연구에서는 회전체의 소리 data를 실시간으로 수집하고, 수집된 data를 인공지능 모델을 활용하여 고장 유무를 진단할 수 있는 회전체 고장진단 시스템을 개발하였다. 각 회전체 고장진단 모듈에서 실시간으로 회전체의 고장 유무 판별을 수행하도록 하였다. 또한, 판별 결과는 RPI4를 통해 관리자에게 실시간으로 전달 되도록 하였다.
2. 시스템 설계
Figure 1은 본 연구에서 개발한 회전체 고장 감지시스템의 전체 구성을 보여주고 있다. 회전체 고장감지 시스템은 회전체의 정상 동작 여부를 판단하고 원거리의 사용자에게 현장의 상황을 실시간 전송이 가능하다. 따라서 작업현장의 소리 data를 추출하고 고장 여부를 진단하는 이음 감지 센서 모듈 부분과 현장의 상황을 확인하고 사용자에게 시각적으로 전달하는 네트워크 시스템으로 구성된다.
2.1 이음 감지 센서 모듈
컨베이어 벨트 회전체 주위에 다수 분산 배치된 각 회전체 이음 감지 센서 모듈은 주변의 소리 data를 수집하고, 수집된 data에 대해 전처리 과정을 수행한다. 이후, 전처리 과정을 거친 소리 data는 인공지능 모델을 적용하여 회전체에 대한 고장 여부를 분석한다.
이러한 과정을 통해 얻어지는 각 모듈의 고장판단 결과는 상위 제어기에 전달되는데 기존의 소리 data 전체가 전달되는 대신 고장판단 결과만이 전달되므로 PLC에 집중되는 부하를 줄일 수 있게 된다. 회전체 이음 감지 센서 모듈의 구조는 다음과 같다. 척박한 작업현장과 작업현장 전역에 설치되는 살수 시설에 견딜 수 있도록 모듈의 외형은 방폭 및 방수 가능한 알루미늄 재질의 밀폐 구조를 적용하였고, 작업현장의 소리 data 수집을 위해 고성능의 마이크를 설치하였다. 각 모듈이 취득한 소리 data들은 전처리 과정을 거쳐 적절한 이음 감지 판별기법을 적용해야 한다. 이를 위해 Figure 2와 같이 소형 컴퓨터 모듈인 RPI 4 (Raspberry Pi 4) 회로를 설계하였다. RPI 4는 수집된 소리 data에 대해 data 전처리 과정을 수행하고, 사전에 설계된 인공지능 모델을 적용하여 회전체의 고장 여부를 진단한다. 이렇게 얻어진 고장진단 결과는 네트워크를 통해 상위 제어기인 PLC에 전달된다.
Figure 3은 전체 회전체 고장진단 판별 과정을 보여주고 있다. 다수 분산 배치된 각 이음 감지 센서 모듈에 의해 시간-주파수 형태의 소리 data를 수집하고, 수집된 소리 data를 전처리하기 위하여 푸리에 변환(FFT) 기반의 주파수 분석을 통해 스펙트로그램으로 이미지화한다. 이후, 스펙트로그램 이미지를 인공지능의 모델에서 이미지 분류에 가장 대표적으로 활용되는 CNN 알고리즘을 적용하여 분류하고, 검증과 평가의 과정을 거쳐 회전체 고장 유무를 판별한다. 스펙트로그램은 연속적인 소리 신호를 FFT 변환을 적용하여 시간에 따른 주파수 성분의 크기를 데시벨 단위로 표현한 2차원 이미지이다(7). 또한, 인공지능 모델은 사전에 학습된 CNN 기반의 전이학습(transfer learning)모델을 활용하였으며, 전이학습 모델은 Keras application에서 학습된 모델 중 정확도가 가장 높았던 Xception 모델을 적용하였다(8).
기존의 CNN 알고리즘은 convolution layer가 증가하면 hyper parameter가 증가하고, 이미지의 특징을 추출하는데 많은 시간이 소요되며, 기울기 소실을 유발한다(9). 본 연구에서 적용된 Xception의 convolutional layer 층은 separable convolution layer가 총 36개로 구성된다. separable convolution layer에서는 이미지의 특징을 추출할 때, 각 RGB 채널 별로 depth wise convolution layer를 통해 각각의 특징을 추출하고, point wise convolution으로 1 × 1 크기 이미지의 특징을 추출한다. 이러한 방법은 convolutional layer 층의 연산량을 감소시키며, 같은 양의 hyper parameter에서 CNN 모델의 경량화를 가능하게 하며, 동일한 성능을 유지한다(10). 이에 따른 convolution layer 등의 연산 과정을 식(1)에서 식(4)에 표현하였다.
여기서, W는 이전 레이어의 입력 행렬, y는 커널의 가중치 행렬, k는 이미지의 가로 크기, l은 이미지의 세로 크기, m은 이미지의 컬러 값, Conv 는 convolution layer, Pw_Conv는 point wise convolution layer, Dw_Conv는 depth wise convolution layer, Sep_Conv는 separable convolution layer를 나타낸다.
본 연구에서는 Python 환경에서 스펙트로그램 이미지로 변환하기 위해 librosa 패키지를 이용하여 소리 data인 wav 파일을 스펙트로그램 이미지로 변환하였다. 픽셀 크기 128 × 128의 스펙트로그램 이미지 34,000장을 생성하였고, 스펙트로그램 변환 과정 중 컨베이어 벨트 진동 소리의 저주파 영역의 노이즈와 불필요한 정보 등을 제거하는 high pass filtering을 통해 정제된 이미지를 추출하고, 전처리 이미지를 Xception 모델에 적용하였다(11,12). high pass filtering은 높은 대역의 고주파수는 통과시키고 특정 이하로 낮은 주파수 대역의 신호를 감쇠시켜 높은 대역의 고주파수 신호만 통과시키는 필터를 의미한다(13). high pass filtering은 식(5)와 같은 디지털 2차 전달함수의 방식을 사용하여 알고리즘으로 구성하였으며, 각각의 계수a1, a2, b0, b1, b2는 30 kHz를 샘플링 주파수를 기준으로 차단주파수를 200 Hz를 설정하여 계산하였다.
Xception 모델의 입력은 전체 dataset 34,000장의 data 중 훈련 75%, 검증 15%, 시험 10%로 분할 하여 사용하였다(14). 총 학습 횟수(epoch)는 1,000으로 설정했다. 또한, 콜백함수(callback function)를 사용하여 10번 학습하는 중 손실(loss)이 증가하면 자동으로 학습이 종료되는 조기 종료를 적용하였다. 최적의 모델 학습을 위해 Adam 최적화를 수행하였고 손실함수로는 식(6)의 binary cross entropy를 사용했다.
여기서, yi는 스펙트로그램의 출력 이미지, y ^ i
훈련에 사용한 컴퓨팅 환경은 PC 기반이며 Nvidia-V100 그래픽 카드와 128 Gb 메모리를 활용하였고, 이음 감지 알고리즘은 RPI4 메인제어 모듈에서 동작 되며 리눅스 기반으로 시스템 하드웨어 및 응용 프로그램을 제어하였다. Linux Cron은 예약된 작업을 실행시키는 잡 스케줄러로 RPI4의 구동과 함께 shell script을 실행시키고, 1 min마다 shell script 파일을 반복 실행한다. 메모리에 항상 상주하는 응용 프로그램은 마이크를 통한 소리 data 수집, data 전처리, 인공지능 적용, 네트워크 통신을 수행하는 순서로 감지 및 전송 기능을 수행한다. 진단이 시작되면 4 s간 마이크로 소리 data를 수집하고, 수집된 data를 전처리하여 이미지 형태로 저장하여 인공지능 모델에 적용해 회전체 구동 상태를 진단하게 하였다.
2.2 제어 시스템
제어 시스템은 감지 모듈에서 들어오는 판별 data를 취합하여 관리하는 부분으로 Figure 4와 같이 주제어기인 PLC와 사용자 환경인 HMI로 구성된다. 본 연구에서 사용된 PLC는 Omron 사의 NJ501-1300 기반으로 내장된 EtherNet/IP 포트를 이용하여 외부와 통신이 가능하도록 하였다. 회전체 주변에 분산 배치된 각 이음감지 센서 모듈은 TCP/IP 통신으로 자신의 고유 ID와 현재 동작 제어 값, 인공지능을 거친 회전체 구동 상태 값 혹은 동작 모드에 따라 소리의 평균 크기, CPU 온도 등의 data를 PLC로 보내고, 서버인 PLC는 고유 ID를 이용하여 이음 감지 모듈을 구분하여 해당하는 로직을 실행시켜 Figure 5와 같이 회전체 구동 상태를 실시간으로 업데이트하며 HMI를 통해 사용자에게 알린다.
고장진단 판별은 이음 감지 센서 모듈에서 전달되는 판별 data를 기반으로 카운터를 동작시키고, 지속적인 고장 신호가 감지되면 고장으로 판단하여 관리자에게 알린다. 이음 감지 센서 모듈로부터 전달받은 data는 고유 ID에 따라 각각의 섹션 에서 초깃값 혹은 작업현장 상황에 따라 설정된 제어 값을 기준으로 동작한다. 이때 설정 가능한 요소는 전체 카운트 수치, 고장 상한치, 고장 하한치 등이 있다. 전체 카운트 수치는 고장 신호의 카운터의 수치이고, 10의 단위로 10∼100 사이의 값을 설정할 수 있다. 고장 상한치는 전체 카운트 수치의 고장 상한치(%)에 해당하는 카운트에 도달하면 고장으로 판단할 것인지를 판별하고, 고장 하한치는 고장으로 판단된 경우 카운트가 전체 카운트 수치의 고장 하한치 퍼센트에 해당하는 수치보다 낮아지면 고장을 해제하고 정상으로 판별할 것인지를 결정한다.
2.3 Data 수집 및 네트워크 시스템
Figure 6은 휴대용 data 수집 장치의 기능 구성을 보여주고 있다. 신뢰도 높은 인공지능 모델의 학습을 위해서는 다양한 종류의 소리 data와 고장 정보가 정확히 분류된 소리 data가 필요하다. 하지만 설치되고 운영되는 시설 환경에서 규정 및 절차의 문제로 현장에서의 직접적인 채취가 자유롭지 못하고, 고장이 언제 어디서 발생할지 모르는 상황에서 수집한 고장 data는 종류가 제한적이다. 또한, 컨베이어 시스템이 가동 시에는 현장에 접근할 수 없어 미리 사전에 승인된 인력에서 채취한 소리를 수집하여 분류해야 한다. 비전문가에 의해 수집되는 소리 data는 컨베이어 벨트 롤러 정상, 고장 클래스의 분류가 정확하지 않아서 비슷한 소리가 정상과 고장 클래스의 초기영역에 분류가 된다면 인공지능 모델의 학습이 잘되지 않고 특정 소리 영역에서 정확한 진단이 불가능하게 되므로, 취득된 data의 질과 양을 높이기 위해서는 현장 전문가가 data 취득 시에 직접 소지하고, 녹음이 가능하도록 이음 감지 센서 모듈을 포터블 형태로 제작하였다. 일반적으로 작업현장은 무선통신 설비가 구축되어 있지 않기 때문에 포터블 장비와 스마트폰을 연결하기 위해서 RPI4를 무선 장비로 공유기로 함께 사용할 수 있게 구현하였다. 이를 위해 Dnsmasq, Hostapd와 같은 서버를 설치하여 무선 로컬 네트워크를 구성하였고, 관리자가 스마트폰으로 Wifi로 접속하고 웹 브라우저를 이용하여 포터블 장비의 조작이 가능하게 하였다. 또한, 원격 서비스를 위하여 Node-Red를 기반으로 설계하였으며, 하드웨어 자원은 RPI4에서 Python 프로그램으로 통제하였고 원격 인터페이스는 MQTT 통신으로 처리하였다. 최종 소리 data는 RPI4와 결합된 USB 외장 메모리에 저장하였다. 관리자의 설정 요소는 소리의 분류(정상, 초기, 중기, 말기)와 회전체와 녹음기의 거리, 녹음 횟수로 폴더는 분류/거리/날짜/형식의 구분으로 생성되며 프로그램의 동작 상태는 텍스트로 표시되게 하였다. 관리자의 접근 방법은 포터블 장비에 스마트폰으로 무선 연결, 웹 브라우저를 이용하여 Node-Red로 접속하고 구성된 인터페이스를 이용하여 관리자 환경을 구성하였다.
3. 동작 실험
동작 실험 이전에 train and validation dataset 기반으로 학습한 Xception 모델에 대한 평가 및 예측을 수행하였다. 평가 및 예측은 test dataset을 통해 수행하였으며, Figure 7에서 나타낸 모델 학습결과는 훈련이 진행될수록 훈련, 검증 오차는 점점 0에 가까워지며, 정확도는 99.56 (%)의 결과를 확인하였다. 또한, Table 1에서 나타낸 평가결과는 99% 이상의 높은 정확도를 나타내었다. 대표적인 분류모델 성능 평가항목인 정밀도(precision), 재현율(recall), 조화평균(F1-score)을 통한 모델 예측 결과 수치도 높게 측정되었으며, 이에 대한 수식을 식(7)에서 식(9)에 표현하였다. 또한, 이에 대한 분류 성능 평가 지표의 정보를 Table 2에 나타내었다.
Table 1
Xception Model Evaluate Result
| Test Dataset | Precision | Recall | Accuracy | F1-score |
|---|---|---|---|---|
| Normal | 0.9955 | 0.9875 | 99.15 (%) | 0.9915 |
| Fault | 0.9876 | 0.9955 | 0.9915 |
Table 2
Classification Evaluation Metrics
| Real Answer | |||
|---|---|---|---|
| True | False | ||
| Classification Result | True | True Positive (TP) | False Positive (FP) |
| False | False Negative (FN) | True Negative (TN) | |
Figure 8은 Xception 모델의 성능 테스트를 하였을 때의 모델 분류 결과를 나타낸다. 고장 dataset은 총 2,000개의 dataset에서 9개를 제외하고 모두 정답으로 판별하였고, 정상 dataset은 25개를 제외하고 모두 정답으로 판별하였다. 이렇게 검증된 Xception 모델을 포터블 장비에 적용하여 실내 모의실험을 진행하였다.
Figure 9는 실내 모의실험 환경을 구축한 모습을 보여주고 있다. 실제 제작된 회전체 고장진단 시스템을 현장에 설치하기 이전에 Figure 8과 같이 가상환경을 만들어 미리 녹취된 현장 소리를 이용하여 실내실험 환경에서 모의실험을 진행하였다. 이때 컨베이어 소리의 재생은 실제 화력 발전소에서 취득한 회전체 구동음을 녹음하여 편집한 소리 data를 이용하였으며, 감지 유효 주파수 범위가 38 Hz∼20,000 Hz인 beolit 17 스피커를 이용하여 재생하였다. 실험에 사용된 소리 data의 종류는 주변 소음이 없는 정상 소리, 주변 소음을 포함한 정상 소리, 회전체 고장 소리 등이며, 각 이음 감지 센서 모듈마다 1 m씩 이격 하고, 약 30 min 동안 측정을 진행한 후 각 소리 data에 대한 진단 결과를 확인하였다. Figure 10은 주변 소음이 없는 정상 녹음의 소리 data의 스펙트로그램 결과이고, Figure 11은 노래 소리, 작업자의 대화 소리 같은 주변 잡음이 존재하는 상황에서 정상 소리 data에 대한 스펙트로그램 결과이다. Figure 12는 고장 녹음의 소리 data의 스펙트로그램 결과이다. 여기서 스펙트로그램의 x축은 시간, y축은 주파수, 색은 신호의 강도를 나타낸다.
실험결과를 분석해 보면 주변 소음이 없는 정상 소리 data와 주변 소음을 포함한 정상 소리 data에 대해 이미지화된 스펙트로그램과 수치값 모두 정상 상태로 판단하였다. 즉, 생활 잡음이 존재해도 고장으로 판별되지 않음을 확인할 수 있었다. 반면 고장 소리에 대해서는 이미지화된 스펙트로그램에서 선명한 세로 선이 규칙적으로 반복됨을 확인할 수 있고, Table 3에 보여주고 있는 각 소리 data에 대한 정상 및 고장 진단률 역시 높은 수준을 나타내는 것을 확인할 수 있다.
Table 3
Classification Result of Sound
Table 3은 소리 data의 진단 결과를 분석한 결과이다. 회전체 이음 감지 센서 모듈 3대에 대해서 Figure 9와 같이 구성하고, 주변 소음이 없는 정상 소리, 주변 소음을 포함한 정상 소리, 고장 소리 data에 대해 30 min간 실내 모의실험을 수행하였다. 실험결과 3대의 이음 감지 센서 모듈에서 86∼97.6%로 높은 수치의 정확도로 회전체의 고장진단 결과를 확인할 수 있었다. Figures 13∼15는 주변 소음 없는 정상 소리, 노래나 대화 등 주변 소음을 포함한 정상 소리, 고장 소리 data에 대해 30 min 동안 4 s마다 소리 data를 진단한 결과 그래프를 보여주고 있다. 대부분 90% 이상의 높은 정확도를 보였다.
Figure 14
Diagnosis result of normal sound data including ambient noise (Singing & human conversation).
실내 모의실험을 수행 후, 컨베이어 벨트가 설치된 실제 작업현장의 천장에 이음 감지 센서 모듈을 5 m 간격으로 10대를 설치하여 현장 실증실험을 수행하였다. 네트워크는 컨베이어 벨트 현장, 광 분배함, 전기실을 거쳐 통제실의 PLC 함체 순서로 연결되게 하였다. 광 분배함과 전기실 사이의 거리는 50 m 정도이고, 전기실과 통제실은 5 km 떨어져 위치 하고 있다. 통제실에는 모니터가 설치되어 있어 작업현장의 컨베이어 벨트가 구동 중인 모습을 실시간으로 확인할 수 있으며, 초기 상태에서는 컨베이어 시스템은 전부 정상 동작이 표시되었으며 고장 진단도 낮은 수치를 보여주어 시스템이 정상 동작하고 있음을 확인할 수 있다.
고장 회전체에 대한 고장진단 실험은 작업현장에는 고장상태의 회전체가 있지 않았기 때문에 실내 모의실험에서 사용한 스피커를 사용해 현장에 설치된 이음 감지 모듈 5번 하단부에서 고장 소리를 재생하여 실험하였다. 실험결과, Figure 16과 같이 5번에서 지속적인 고장을 감지하여 표시하였고. 비교적 음원과 떨어져 있는 4번과 6번 모듈에서도 낮은 수치이지만 고장 표시를 나타내었다. 따라서 본 연구에서 개발한 회전체 고장진단 시스템은 실제 작업현장에서도 높은 수준의 고장진단 결과를 보였고, 원격을 통해 관리자 및 통제실에 회전체에 대한 고장진단 결과를 원활하게 전달하는 것을 확인하였다.
4. 결 론
본 연구는 컨베이어 벨트 시스템의 회전체 고장진단 판별을 위해 소리 정보를 추출하고 인공지능을 기반으로 고장을 판별하는 시스템 개발에 관한 것이다. 작업현장의 소리를 실시간으로 취득하고 처리할 수 있는 이음 감지 센서 모듈을 설계 및 제작하였고, 각각의 모듈에 CNN 모델을 적용하여 독립적으로 고장 판별을 할 수 있게 설계하였다. 인공지능이 적용된 이음 감지 센서 모듈을 작업현장에 일정한 간격으로 분산 배치하여 현장의 정보를 실시간 처리하였으며 판별된 정보는 원격 모니터링 시스템에서 수집하여 data를 누적하였고 이를 활용하여 최종 고장을 판별하였다. 개발된 회전체 고장감지 시스템은 실내 모의실험과 실제 작업현장에서의 실증실험으로 구분하여 수행하였다. 실험결과, 실내 및 실제 작업현장 모두에서 회전체의 정상 및 고장을 실시간으로 정확하게 진단하는 것을 확인할 수 있었다. 따라서 본 연구에서 개발한 인공지능 기반 회전체 고장진단 시스템은 컨베이어 벨트 고장 유무에 대해 작업현장을 직접 방문하여 체크 하지 않고 원격으로 현장의 회전체 구동 상태를 확인할 수 있어 실시간 상황 대처가 가능하고, 끼임 사고 등 산업재해의 발생 가능성을 줄일 수 있을 것으로 판단된다. 향후 연구에서는 이음 감지 센서 모듈의 소형화에 대한 연구를 수행하고, 회전체에 대한 다양한 고장 및 정상 소리 data를 수집하여, data의 다양성을 반영하고, 회전체의 고장 패턴과 특징을 더욱 정밀하게 찾아내는 인공지능 모델 개발에 대한 연구를 수행하고자 한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
