Model Penilaian Jawaban Esai Berbasis Semantic Understanding Menggunakan LLaMa dan Text Similarity
DOI:
https://doi.org/10.26418/jp.v11i2.92529Keywords:
text similarity, cosine similarity, sentencetransformer, TF-IDF, LLaMaAbstract
Teknologi kecerdasan buatan saat ini telah membuka peluang baru dalam dunia Pendidikan, khususnya untuk mengatasi permasalahan dalam penilaian soal esai yang membutuhkan waktu cukup lama dan sumber daya yang terbatas untuk melakukan penilaian. Pada penelitian ini bertujuan mengembangkan sistem penilaian soal esai menggunakan tiga kombinasi teknologi kecerdasan buatan yaitu semantic similarity dengan SentenceTransformer, cosine similarity dengan TF-IDF dan model LLaMa 3.1. Dimana sistem akan dikembangkan menggunakan dua platform utama yang akan terhubung melalui API, Framework Laravel sebagai backend utama dan Framework Flask sebagai backend analisis jawaban. Pada penelitian ini pengujian keakuratan sistem diuji menggunakan aplikasi postman dengan empat skenario yaitu pengujian jawaban sinonim, pengujian jawaban benar beda kalimat, pengujian jawaban salah dan pengujian jawaban benar, dari empat skenario tersebut diuji dengan variasi pembobotan untuk semantic similarity dan cosine similarity yaitu (50%+50%, 70%+30% dan 90%+10%). Dari hasil pengujian terdapat keempat skenario bobot yang paling efektif digunakan adalah 90% untuk semantic similarity dan 10% untuk cosine similarity yang mana sistem lebih mengutamakan kebenaran makna jawaban meskipun menggunakan kata-kata yang berbeda. Sistem juga dilengkapi dengan analisis kualitatif untuk feedback analisis perbaikan menggunakan model LLaMa melalui API Grog. Penelitian ini berhasil mengimplementasikan sistem penilaian otomatis soal esai pada platform pembelajaran online yang mana sistem dapat mengenali jawaban dengan makna yang sama meskipun menggunakan kata atau kalimat berbeda.References
D. Surani, J. W. Kusuma, dan N. Kusumawati, “Platform Online Dalam Perkuliahan Pada Masa Pandemi Covid-19,†Jurnal Pendidikan: Teori, Penelitian, dan Pengembangan, vol. 5, no. 9, hlm. 1338, Sep 2020, doi: 10.17977/jptpp.v5i9.14057.
A. R. Lahitani, “Automated Essay Scoring menggunakan Cosine Similarity pada Penilaian Esai Multi Soal,†2022. [Daring]. Tersedia pada: http://ejurnal.ubharajaya.ac.id/index.php/JKI.
D. O. Sihombing, “Implementasi Natural Language Processing (NLP) dan Algoritma Cosine Similarity dalam Penilaian Ujian Esai Otomatis,†Jurnal Sistem Komputer dan Informatika (JSON), vol. 4, no. 2, hlm. 396, Des 2022, doi: 10.30865/json.v4i2.5374.
V. R. Prasetyo, M. Widiasri, dan M. M. Angkiriwang, “Sistem Berbasis Web Untuk Koreksi Soal Esai Dengan Association Rules,†Teknika, vol. 11, no. 1, hlm. 62–68, Mar 2022, doi: 10.34148/teknika.v11i1.449.
M. R. Arifuddin, I. A. Rafiq, R. Mubarok, and P. H. Susilo, "Sistem Cerdas Penilaian Ujian Essay Menggunakan Metode Cosine Similarity," Generation Journal, vol. 7, no. 1, pp. 31-38, 2023.
A. Zein, "Kecerdasan buatan dalam hal otomatisasi layanan," Jurnal Ilmu Komputer, vol. 4, no. 2, pp. 16-25, 2021.
Y. Yoo, T. S. Heo, Y. Park, dan K. Kim, “A novel hybrid methodology of measuring sentence similarity,†Symmetry (Basel), vol. 13, no. 8, 2021, doi: 10.3390/sym13081442.
H. Touvron dkk., “LLaMA: Open and Efficient Foundation Language Models,†Feb 2023, [Daring]. Tersedia pada: http://arxiv.org/abs/2302.13971.
V. Dogra dkk., “A Complete Process of Text Classification System Using State-of-the-Art NLP Models,†2022, Hindawi Limited. doi: 10.1155/2022/1883698.
R. Zhang dkk., “LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention,†arXiv preprint, Mar 2023, [Daring]. Tersedia pada: http://arxiv.org/abs/2303.16199.
N. Reimers dan I. Gurevych, “Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation,†Apr 2020, [Daring]. Tersedia pada: http://arxiv.org/abs/2004.09813.
W. Wang, G. Chen, H. Wang, Y. Han, dan Y. Chen, “Multilingual Sentence Transformer as A Multilingual Word Aligner,†Jan 2023, [Daring]. Tersedia pada: http://arxiv.org/abs/2301.12140.
H. Hartinah, A. W. Paundu, and A. A. Ilham, "Deteksi Malware Ransomware Berdasarkan Panggilan API dengan Metode Ekstraksi Fitur N-gram dan TF-IDF," JEPIN (Jurnal Edukasi dan Penelitian Informatika), vol. 9, no. 1, pp. 50-58, 2023.
R. Rismayani, H. SY, T. Darwansyah, dan I. Mansyur, “Implementasi Algoritma Text Mining dan Cosine Similarity untuk Desain Sistem Aspirasi Publik Berbasis Mobile,†Komputika : Jurnal Sistem Komputer, vol. 11, no. 2, hlm. 169–176, Agu 2022, doi: 10.34010/komputika.v11i2.6501.
R. R. Putra, N. A. Putri, and A. D. Putra, "Teknik Cosine Similarity dan TF-IDF dalam analisis data," Serasi Media Teknologi, 2024.
I. Mufiid, S. Lestanti, and N. Kholila, "Aplikasi Penilaian Jawaban Esai Otomatis Menggunakan Metode Synonym Recognition Dan Cosine Similarity Berbasis Web," Jurnal Mnemonic, vol. 4, no. 2, pp. 31-37, 2021.
A. H. Mujianto, I. B. Aswin, and E. S. Susanto, "Implementasi Algoritma Cosine Similarity Untuk Koreksi Jawaban Ujian Essay Berbasis Website," Jurnal Informatika Teknologi dan Sains (Jinteks), vol. 6, no. 3, pp. 532-541, 2024.
