Sistem Pakar Deteksi APD Menggunakan Convolutional Neural Network Dan Pelatihan K3 Berbasis Natural Language Processing
DOI:
https://doi.org/10.26418/jp.v12i1.104360Keywords:
Alat Pelindung Diri, K3, Sistem Pakar, Convolutional Neural Network, Natural Language Processing,Abstract
Pengawasan penggunaan Alat Pelindung Diri (APD) merupakan aspek penting dalam penerapan Keselamatan dan Kesehatan Kerja (K3), khususnya pada lingkungan kerja berisiko tinggi. Namun, proses pengawasan masih banyak dilakukan secara manual sehingga berpotensi menimbulkan kelalaian dan meningkatkan risiko kecelakaan kerja. Penelitian ini bertujuan mengembangkan sistem pakar berbasis web yang mampu mendeteksi kelengkapan APD secara otomatis serta menyediakan edukasi K3 secara interaktif. Sistem yang diusulkan memanfaatkan pendekatan Computer Vision menggunakan Convolutional Neural Network (CNN) dengan arsitektur MobileNetV2 untuk mendeteksi enam jenis APD, yaitu helm, kacamata pelindung, wearpack, full body harness, sarung tangan, dan sepatu keselamatan. Pendekatan klasifikasi multilabel digunakan karena dalam satu citra pekerja dapat mengenakan lebih dari satu jenis APD secara bersamaan. Dataset yang digunakan terdiri dari 200 citra pekerja yang dibagi menjadi data pelatihan, validasi, dan pengujian dengan rasio 70%, 15%, dan 15%. Hasil pelatihan menunjukkan performa model yang stabil dengan nilai akurasi pelatihan sebesar 0,8861 dan akurasi validasi sebesar 0,8656. Evaluasi menggunakan metrik precision, recall, dan F1-score menghasilkan nilai micro-average sebesar 0,92 dan macro-average sebesar 0,91. Hasil deteksi visual kemudian diproses menggunakan metode Forward Chaining untuk menentukan status kelengkapan APD secara otomatis berdasarkan aturan keselamatan kerja. Selain itu, sistem dilengkapi dengan chatbot berbasis Natural Language Processing (NLP) sebagai media edukasi interaktif. Hasil penelitian menunjukkan bahwa sistem mampu meningkatkan efektivitas pengawasan serta memberikan edukasi keselamatan kerja secara lebih akurat, konsisten, dan interaktif.References
N. O. Hodas and K. Lerman, “The Simple Rules of Social Contagion,” Sci. Rep., vol. 4, no. 1, p. 4343, Mar. 2014, doi: 10.1038/srep04343.
W. Nugroho, Rifdah Zahabiyah, Afianto, and Mada Jimmy Fonda Arifianto, “Application of Deep Learning YOLO in IoT System for Personal Protective Equipment Detection,” Jurnal E-Komtek (Elektro-Komputer-Teknik), vol. 8, no. 2, pp. 428–437, Dec. 2024, doi: 10.37339/e-komtek.v8i2.2187.
K. O. P. P. Nugraha and A. P. Rifai, “Convolutional Neural Network for Identification of Personal Protective Equipment Usage Compliance in Manufacturing Laboratory,” Jurnal Ilmiah Teknik Industri, vol. 22, no. 1, pp. 11–24, Jun. 2023, doi: 10.23917/jiti.v22i1.21826.
A. B. Nasution, A. Y. N. Hrp, M. Fauzi, W. Fahrozi, and Y. Yudi, “Utilization of Convolutional Neural Network (CNN) to Build a Camera-Based Personal Protective Equipment (PPE) Detection System,” Indonesian Journal of Interdisciplinary Research in Science and Technology, vol. 3, no. 6, pp. 695–702, Jul. 2025, doi: 10.55927/marcopolo.v3i6.71.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” in Proceedings of the 2019 Conference of the North, Stroudsburg, PA, USA: Association for Computational Linguistics, 2019, pp. 4171–4186. doi: 10.18653/v1/N19-1423.
T. Wolf et al., “Transformers: State-of-the-Art Natural Language Processing,” in Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, Stroudsburg, PA, USA: Association for Computational Linguistics, 2020, pp. 38–45. doi: 10.18653/v1/2020.emnlp-demos.6.
Y. Lin, T. Ruan, J. Liu, and H. Wang, “A Survey on Neural Data-to-Text Generation,” vol. 36, no. 4, Apr. 2024.
S. Khan, M. Naseer, M. Hayat, S. W. Zamir, F. S. Khan, and M. Shah, “Transformers in Vision: A Survey,” ACM Comput. Surv., vol. 54, no. 10s, pp. 1–41, Jan. 2022, doi: 10.1145/3505244.
L. Jiao et al., “A survey of deep learning-based object detection,” IEEE Access, vol. 7, pp. 128837–128868, 2019, doi: 10.1109/ACCESS.2019.2939201.
Z. Liu et al., “Swin Transformer: Hierarchical Vision Transformer using Shifted Windows,” in 2021 IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, Oct. 2021, pp. 9992–10002. doi: 10.1109/ICCV48922.2021.00986.
Z. Huang et al., “Learning to select cuts for efficient mixed-integer programming,” Pattern Recognit., vol. 123, p. 108353, Mar. 2022, doi: 10.1016/j.patcog.2021.108353.
Z.-Q. Zhao, P. Zheng, S.-T. Xu, and X. Wu, “Object Detection With Deep Learning: A Review,” IEEE Trans. Neural Netw. Learn. Syst., vol. 30, no. 11, pp. 3212–3232, Nov. 2019, doi: 10.1109/TNNLS.2018.2876865.
D. Wahiddin, H. H. Handayani, A. Maulana, Z. Jayidan, T. S. Dewi, and I. Maulana, “PENERAPAN ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN) UNTUK DETEKSI KACAMATA SAFETY DI PERUSAHAAN MANUFAKTUR,” 2025.
B. Syabilla Rosyada, Y. Fitriyani, T. Agung Setyawan, E. Wasito, C. Budi Waluyo, and D. Ratna Kusumatuti, “IMPLEMENTASI ARTIFICIAL INTELLIGENCE DAN INTERNET OF THINGS UNTUK MENDETEKSI PENGGUNAAN HELM PROYEK,” vol. 12, no. 4, pp. 2355–7699, 2025.
P. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” 2021.
