Deteksi Generatif Teks pada Penilaian Otomatis Tes Esai Berbahasa Indonesia Menggunakan IndoBERT
DOI:
https://doi.org/10.26418/jp.v11i2.93221Keywords:
deteksi teks, GenAI, IndoBERT, penilaian otomatisAbstract
Hadirnya model generative artificial intelligence (GenAI) membawa tantangan baru dalam dunia pendidikan, khususnya terkait integritas. Salah satu isu yang mencuat adalah potensi penggunaan teks yang dihasil GenAI dalam jawaban pada proses penilaian pembelajaran peserta didik. Oleh karena itu, penelitian ini bertujuan untuk mendeteksi generatif teks hasil perangkat AI pada penilaian otomatis evaluasi pembelajaran dalam bentuk esai dengan bahasa Indonesia. Metode penelitian yang digunakan mengadaptasi model pre-trained Indonesia Bidirectional Encoder Representations from Transformers (IndoBERT). IndoBERT digunakan untuk deteksi generatif teks dengan AI melalui fine-tuning dan penilaian esai otomatis dengan representasi embedding dan cosine similarity dengan mempertimbangkan hasil deteksi GenAI. Hasil eksperimen menunjukkan fine-tuning pada model pre-trained IndoBERT berhasil mencapai akurasi sebesar 93.91% dengan nilai validation loss sebesar sebesar 0.1895. Sementara itu, pada tahap integrasi model deteksi teks GenAI ke dalam penilaian otomatis menunjukkan bahwa deteksi teks GenAI dapat mempengaruhi nilai akhir, khususnya pada jawaban yang memiliki similaritas tinggi dengan kunci jawaban namun terindikasi AI.References
Grisma Yuli Arta, “Asesmen dalam Pendidikan: Konsep, Pendekatan, Prinsip, Jenis, dan Fungsi,†Jurnal Pendidikan, Bahasa dan Budaya, vol. 3, no. 3, pp. 170–190, Jul. 2024, doi: 10.55606/jpbb.v3i3.3925.
Z. Arifin, Evaluasi pembelajaran, vol. 2. Bandung: PT Remaja Rosdakarya, 2009.
D. Valiaiev, “Detection of machine-generated text: Literature survey,†arXiv preprint arXiv:2402.01642, 2024.
A. Wijaya, “Riset AI di Dunia Pendidikan, Mayoritas Jawaban ChatGPT Tak Terdeteksi oleh Penguji,†Tempo.co. Accessed: Dec. 15, 2024. [Online]. Available: https://www.tempo.co/politik/riset-ai-di-dunia-pendidikan-mayoritas-jawaban-chatgpt-tak-terdeteksi-oleh-penguji-39587
A. Y. Hartanto and F. N. Rohmah, “Makin Marak Siswa Pakai AI untuk Mengerjakan Tugas,†tirto.id. Accessed: Dec. 30, 2024. [Online]. Available: https://tirto.id/penggunaan-ai-di-dunia-pendidikan-makin-marak-dan-merata-gZax#google_vignette
H. Firdaus and R. U. Rahmi, “Dosen Murka Mahasiswanya Terciduk Gunakan AI ChatGPT untuk Jawab Soal Ujian,†yoursay.id. Accessed: Dec. 29, 2024. [Online]. Available: https://yoursay.suara.com/news/2024/01/26/150106/dosen-murka-mahasiswanya-terciduk-gunakan-ai-chatgpt-untuk-jawab-soal-ujian
N. Shofiah, A. Ridho, and Z. F. Putera, “Menyelidiki implikasi etis dari pengintegrasian generator teks kecerdasan buatan dalam penulisan akademik,†2023.
M. Firat, “What ChatGPT means for universities: Perceptions of scholars and students,†Journal of Applied Learning & Teaching, vol. 6, no. 1, Apr. 2023, doi: 10.37074/jalt.2023.6.1.22.
L. R. Hazim and O. Ata, “Textual Authenticity in the AI Era: Evaluating BERT and RoBERTa with Logistic Regression and Neural Networks for Text Classification,†in 2024 International Symposium on Electronics and Telecommunications (ISETC), IEEE, Nov. 2024, pp. 1–6. doi: 10.1109/ISETC63109.2024.10797291.
H. Wang, J. Li, and Z. Li, “AI-Generated Text Detection and Classification Based on BERT Deep Learning Algorithm,†arXiv preprint arXiv:2405.16422, 2024.
E. C. Garrido-Merchan, R. Gozalo-Brizuela, and S. Gonzalez-Carvajal, “Comparing BERT Against Traditional Machine Learning Models in Text Classification,†Journal of Computational and Cognitive Engineering, vol. 2, no. 4, pp. 352–356, Apr. 2023, doi: 10.47852/bonviewJCCE3202838.
N. Prova, “Detecting AI Generated Text Based on NLP and Machine Learning Approaches,†arXiv preprint arXiv:2404.10032, 2024.
P. Ashari, N. Mutiah, D. Prawira, and J. H. Hadari Nawawi, “JEPIN (Jurnal Edukasi dan Penelitian Informatika) Perbandingan Kinerja Model Deep Learning BERT dan GPT dalam Analisis Sentimen Komentar Video Youtube (Studi Kasus: Film Dirty Vote),†2025, [Online]. Available: https://console.developers.google.com.
Y. Fang, “Automatic detection of machine-generated text using pre-trained language models,†in Proceedings of the 21st Annual Workshop of the Australasian Language Technology Association, 2023, pp. 159–163.
F. Martinelli, F. Mercaldo, L. Petrillo, and A. Santone, “A Method for AI-generated sentence detection through Large Language Models,†Procedia Comput Sci, vol. 246, pp. 4853–4862, 2024, doi: 10.1016/j.procs.2024.09.351.
K. A. Pradani and L. H. Suadaa, “Automated Essay Scoring Menggunakan Semantic Textual Similarity Berbasis Transformer Untuk Penilaian Ujian Esai,†Jurnal Teknologi Informasi dan Ilmu Komputer, vol. 10, no. 6, pp. 1177–1184, Dec. 2023, doi: 10.25126/jtiik.1067338.
Y. Hu, J. Ding, Z. Dou, and H. Chang, “Short-Text Classification Detector: A Bert-Based Mental Approach,†Comput Intell Neurosci, vol. 2022, pp. 1–11, Mar. 2022, doi: 10.1155/2022/8660828.
N. Chamidah, M. M. Santoni, H. N. Irmanda, R. Astriratma, and Y. Yulnelly, “Penilaian Esai Pendek Otomatis Berdasarkan Similaritas Semantik dengan SBERT,†Techno.Com, vol. 21, no. 4, pp. 732–740, Nov. 2022, doi: 10.33633/tc.v21i4.6758.
D. O. Sihombing, “Implementasi natural language processing (nlp) dan algoritma cosine similarity dalam penilaian ujian esai otomatis,†Jurnal Sistem Komputer dan Informatika (JSON) Hal, vol. 396, p. 406, 2022.
A. R. Lahitani, “Automated Essay Scoring menggunakan Cosine Similarity pada Penilaian Esai Multi Soal,†Jurnal Kajian Ilmiah, vol. 22, no. 2, pp. 107–118, 2022.
S. Li and V. Ng, “Automated Essay Scoring: A Reflection on the State of the Art,†in Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, Stroudsburg, PA, USA: Association for Computational Linguistics, 2024, pp. 17876–17888. doi: 10.18653/v1/2024.emnlp-main.991.
W. Xu, R. Mahmud, and W. Lam Hoo, “A Systematic Literature Review: Are Automated Essay Scoring Systems Competent in Real-Life Education Scenarios?,†IEEE Access, vol. 12, pp. 77639–77657, 2024, doi: 10.1109/ACCESS.2024.3399163.
H. K. Putra, M. A. Bijaksana, and A. Romadhony, “Deteksi penggunaan kalimat abusive pada teks bahasa indonesia menggunakan metode indobert,†Jurnal Tugas Akhir Fakultas Informatika, vol. 8, no. 2, pp. 3028–3038, 2021.
M. B. M. Amin et al., “Deteksi Spam Berbahasa Indonesia Berbasis Teks Menggunakan Model Bert,†Jurnal Teknologi Informasi dan Ilmu Komputer, vol. 11, no. 6, pp. 1291–1302, Dec. 2024, doi: 10.25126/jtiik.1168121.
U. Khairani, V. Mutiawani, and H. Ahmadian, “Pengaruh Tahapan Preprocessing Terhadap Model Indobert Dan Indobertweet Untuk Mendeteksi Emosi Pada Komentar Akun Berita Instagram,†Jurnal Teknologi Informasi dan Ilmu Komputer, vol. 11, no. 4, pp. 887–894, Aug. 2024, doi: 10.25126/jtiik.1148315.
D. Bergmann, “Apa itu fine tuning?,†IBM. Accessed: Jan. 01, 2025. [Online]. Available: https://www.ibm.com/id-id/topics/fine-tuning
J. Han, M. Kamber, and J. Pei, “Data Mining. Concepts and Techniques, 3rd Edition (The Morgan Kaufmann Series in Data Management Systems),†2011.
N. Ramadhanif, I. Much Ibnu Subroto, and A. Widiharini, “Cosine Similarity Retrieval untuk Prediksi Masa Studi Mahasiswa Berbasis Case Based Reasoning,†Jurnal Transistor Elektro dan Informatika (TRANSISTOR EI, vol. 4, no. 2, p. 2022.
