PEMBELAJARAN MENDALAM DETEKSI KELELAHAN WAJAH MENGEMUDI BERDASARKAN ALGORITMA YOLOV5 UNTUK MENGHINDARI KECELAKAAN DALAM SISTEM TRANSPORTASI CERDAS

Abstrak

Abstract: Traffic accidents due to driver fatigue are a serious problem in transportation systems, especially in Indonesia. This research aims to develop a computer vision-based early warning system capable of detecting driver fatigue in real-time through facial expressions. This system integrates the YOLOv5 algorithm for face detection, EAR (Eye Aspect Ratio) and MAR (Mouth Aspect Ratio) for eye blink and mouth movement analysis, CNN (Convolutional Neural Network) for fatigue expression classification, and LSTM (Long Short-Term Memory) for analyzing the time-varying patterns of facial expressions. Data were obtained from public Kaggle datasets and facial data taken directly from cameras, which were then trained with augmentation techniques to improve model generalization. Test results show that the system is able to achieve validation accuracy of up to 90.5% and a confidence score of 97.9% for sleepy face detection. This system successfully recognizes sleepiness through EAR and MAR patterns and expression classification with real-time performance, and can be implemented efficiently on minicomputer devices. This research contributes to improving driving safety through early detection of driver fatigue in intelligent transportation systems.

Keyword: drowsiness detection; YOLOv5; CNN; LSTM; EAR & MAR; facial expression; intelligent transportation

Abstrak: Kecelakaan lalu lintas akibat kelelahan pengemudi menjadi permasalahan serius dalam sistem transportasi, khususnya di Indonesia. Penelitian ini bertujuan untuk mengembangkan sistem peringatan dini berbasis visi komputer yang mampu mendeteksi kondisi kelelahan pengemudi secara real-time melalui ekspresi wajah. Sistem ini mengintegrasikan algoritma YOLOv5 untuk deteksi wajah, EAR (Eye Aspect Ratio) dan MAR (Mouth Aspect Ratio) untuk analisis kedipan mata dan gerakan mulut, CNN (Convolutional Neural Network) untuk klasifikasi ekspresi lelah, serta LSTM (Long Short-Term Memory) untuk menganalisis pola perubahan waktu dari ekspresi wajah. Data diperoleh dari dataset public kaggle dan data wajah yang di ambil langsung dari kamera, yang kemudian dilatih dengan teknik augmentasi untuk meningkatkan generalisasi model. Hasil pengujian menunjukkan bahwa sistem mampu mencapai akurasi validasi hingga 90,5% dan confidence score deteksi wajah mengantuk sebesar 97,9%. Sistem ini berhasil mengenali kondisi kantuk melalui pola EAR dan MAR serta klasifikasi ekspresi dengan performa real-time, dan dapat diimplementasikan secara efisien di perangkat mini-komputer. Penelitian ini berkontribusi dalam meningkatkan keselamatan berkendara melalui deteksi dini kelelahan pengemudi dalam sistem transportasi cerdas.

Kata kunci: deteksi kantuk; YOLOv5; CNN; LSTM; EAR & MAR; ekspresi wajah; transportasi cerdas