음향 인식 엣지 컴퓨팅을 활용한 독거 노인 물 사용 활동 감지 시스템의 혁신

 

http://dx.doi.org/10.9718/JBER.2023.44.2.147

최근 인구 구조의 급격한 변화로 인해 독거 노인의 비율이 지속적으로 증가하고 있으며, 이에 따라 실시간으로 노인의 건강과 안전을 모니터링할 수 있는 스마트 홈 센서 및 딥러닝 기술의 중요성이 그 어느 때보다 강조되고 있습니다. 특히 화장실은 낙상 사고의 위험이 크고 일상생활수행능력(ADL)을 평가하는 데 핵심적인 공간임에도 불구하고, 프라이버시 문제로 인해 카메라 설치가 어려워 대표적인 모니터링 사각지대로 남아 있었습니다.

본 칼럼에서는 이러한 문제를 해결하기 위해 제안된 음향 기반 물 사용 활동 감지용 엣지 컴퓨팅 시스템의 원리와 성과를 세계적인 전문가의 시각에서 심도 있게 분석합니다. 이 시스템은 음향 분류(Sound Classification)와 엣지 컴퓨팅(Edge Computing) 기술을 결합하여, 화장실 내 프라이버시를 보호하면서도 높은 정확도로 생활 패턴을 기록합니다.

1. 시스템 아키텍처 및 동작 원리: 프라이버시 보호와 실시간 감지의 결합

제안된 시스템은 화장실에서 발생하는 다양한 물 소리를 실시간으로 감지하고 분류하는 구조를 가집니다. 시스템의 전체 구성은 아래 그림과 같습니다.

그림 1. 음향 기반 일상 활동 감지 시스템의 구성

화장실(Home)에 설치된 엣지 컴퓨터가 음향을 수집하고 AI 알고리즘으로 분류하여 활동 로그를 클라우드 서버로 전송하는 전체 구조를 보여줍니다.

이 시스템은 라즈베리 파이 4(Raspberry Pi 4) 엣지 디바이스를 기반으로 구축되었습니다. 시스템의 핵심은 소리 데이터를 로컬 디바이스 내에서 직접 처리(Edge Processing)하고, 결과값인 '활동 로그'만을 클라우드 서버(Firebase)로 전송하는 것입니다. 이는 사용자의 음성이나 민감한 소리가 외부로 유출되는 것을 원천적으로 차단하여 프라이버시 문제를 해결합니다.

2. 데이터 흐름 및 딥러닝 모델링 (CRNN 및 MEL-스펙트로그램)

시스템의 데이터 처리 프로세스는 크게 전처리, 증강, 분류의 세 단계로 나뉩니다.

그림 2. 음향 기반 일상 활동 감지 시스템의 데이터 흐름

1초 단위의 소리(1s sound)를 MEL-스펙트로그램으로 변환 후 CRNN 모델을 통해 활동을 판별하고 클라우드에 기록하는 상세 과정을 나타냅니다.

1) 전처리 및 MEL-스펙트로그램 변환

수집된 1초 단위의 음향 신호는 MEL-스펙트로그램(MEL-spectrogram)으로 변환됩니다. 이는 시계열 음향 데이터를 2차원 이미지 형태로 시각화하는 과정으로, 인간의 청각 특성을 반영하여 주파수 대역을 스케일링함으로써 딥러닝 모델이 특징을 더 효과적으로 추출할 수 있게 합니다

그림 3. 화장실 물 사용 소리의 MEL-스펙트로그램 사례

(a) 변기 물 내림, (b) 샤워, (c) 세면대 사용 소리의 고유한 주파수 패턴을 시각적으로 확인할 수 있습니다. 

2) CRNN(Convolutional Recurrent Neural Network) 구조

분류를 위해 CNN의 공간적 특징 추출 능력과 RNN의 시간적 정보 처리 능력을 결합한 CRNN 구조가 사용되었습니다

그림 4. 음향 분류를 위한 CRNN 모델의 구조와 입출력 데이터

입력된 MEL-스펙트로그램이 CNN 레이어와 BiGRU(RNN) 레이어를 거쳐 각 활동(F, S, W)의 확률값으로 출력되는 과정을 보여줍니다.

3. 성능 평가 및 결과 분석: 높은 정확도의 생활 패턴 인식

본 시스템의 성능은 두 곳의 실제 화장실 환경에서 평가되었습니다. 제한된 학습 데이터를 보완하기 위해 데이터 증강(Augmentation) 기법을 사용하여 데이터셋을 30배로 늘려 학습 효과를 극대화했습니다.

표 1. 음향 기반 일상 활동 감지 모델의 분류 성능 (요약)

평가 단위	화장실 1 (F1-Score)	화장실 2 (F1-Score)	주요 특이사항
프레임 단위	97.2%	82.1%	세면대 사용(W)에서 일부 오분류 발생
장면(1초) 단위	96.1%	87.8%	후처리를 통해 정확도 개선

실험 결과, 화장실 1에서는 96.1%, 화장실 2에서는 87.8%의 높은 F1-Score를 기록했습니다. 특히 화장실 환경(수압, 바닥 재질 등)에 따라 소리의 특성이 달라지므로, 범용 모델보다는 각 가정에 맞춘 개별 모델 훈련 방식이 더 유효함을 입증했습니다.

그림 5. 일상 활동 실시간 감지용 엣지 컴퓨팅 시스템의 구현

(a) 화장실에 설치된 실제 엣지 디바이스와 (b) Firebase 서버에 실시간으로 기록되는 활동 로그(FLUSHING, SHOWERING 등) 화면입니다.

4. 결론 및 향후 전망

본 연구에서 개발된 음향 기반 물 사용 활동 감지 시스템은 독거 노인의 안전을 위한 훌륭한 대안입니다. 카메라 없이도 높은 정확도로 샤워, 변기 사용, 세면대 사용 등의 물 사용 활동을 모니터링할 수 있으며, 이는 고령자의 건강 이상이나 생활 패턴의 급격한 변화를 감지하는 중요한 근거가 됩니다.

향후에는 물 소리뿐만 아니라 낙상 사고 시 발생하는 충격음이나 사용자 비명 소리 등을 감지하는 기능을 추가하여 더욱 완벽한 실버 케어 시스템으로 발전할 수 있을 것입니다.

---

참고문헌

[1] Statistics Korea, "Statistics of the Elderly in 2022," 2022.

[2] M. P. Lawton and E. M. Brody, "Assessment of older people: Self-maintaining and instrumental activities of daily living," The Gerontologist, vol. 9, no. 3, pp. 179-186, 1969.

[3] S. Serizel et al., "Sound Event Detection in Synthetic Domestic Environments," in Proc. ICASSP, 2020, pp. 86-90. 353535[4] Q. Kong et al., "Sound Event Detection of Weakly Labelled Data With CNN-Transformer," in DCASE Challenge, 2021.

[5] W. Wei et al., "A-CRNN: A Domain Adaptation Model for Sound Event Detection," in Proc. ICASSP, 2020, pp. 276-280.

[6] O. O. Abayomi et al., "Data Augmentation and Deep Learning Methods in Sound Classification: A Systematic Review," Electronics, vol. 11, no. 22, p. 3795, 2022.

[7] S. H. Hyun and Y. Chee, "The Edge Computing System for the Detection of Water Usage Activities with Sound Classification," Journal of Biomedical Engineering Research, vol. 44, no. 2, pp. 147-156, 2023.