Perbandingan Kinerja Model Deep Learning BERT dan GPT dalam Analisis Sentimen Komentar
DOI:
https://doi.org/10.26418/jp.v11i1.90122Keywords:
BERT, GPT, Transformers, NLP, Deep Learning, Dirty VoteAbstract
Perbandingan kinerja model deep learning berbasis transformers, yaitu BERT dan GPT dalam analisis sentimen komentar video YouTube, merupakan tujuan dari penelitian ini. Kedua model memiliki pendekatan arsitektur yang berbeda: BERT bersifat bidirectional dengan hanya menggunakan bagian encoder dari transformers, sementara GPT bersifat unidirectional dengan hanya menggunakan bagian decoder. Studi ini memanfaatkan komentar warganet terkait film dokumenter Dirty Vote pada platform YouTube, yang ramai diperbincangkan sejak perilisannya pada awal tahun 2024, sebagai sumber data utama dengan total 25.980 data komentar warganet. Komposisi pembagian dataset adalah sebesar 70% untuk data latih, dan masing-masing 15% untuk data validasi dan data uji. Pada penelitian ini, kedua model dikembangkan dalam dua skenario dengan konfigurasi hiperparameter yang berbeda untuk masing-masing skenario kedua model. Hasil analisis confusion matrix menunjukkan bahwa, pada data latih kinerja BERT lebih unggul dengan akurasi tertinggi sebesar 99,94% dibandingkan akurasi tertinggi GPT sebesar 98,01%. Sementara itu, pada data validasi dan data uji, BERT juga menunjukkan kinerja yang lebih baik dengan nilai tertinggi pada akurasi validasi sebesar 79,21% dan akurasi uji sebesar 79,36%, sementara GPT memperoleh nilai tertinggi pada akurasi validasi sebesar 75,26% dan akurasi uji sebesar 75,59%. Berdasarkan confusion matrix juga menunjukkan bahwa BERT lebih unggul dalam menganalisis komentar bersentimen netral. Sementara GPT, terutama pada skenario 2, lebih efektif dalam memprediksi komentar dengan sentimen positif. Pada evaluasi model dengan data uji, model GPT memiliki tingkat kesalahan (loss) yang lebih kecil, dengan nilai loss terendah sebesar 0,79 dibandingkan nilai loss terendah BERT sebesar 0,99.References
D. Yaldi and Y. Mareta, "Pemanfaatan Konten Digital dalam Upaya Peningkatan Promosi Pariwisata di Era 5.0 Society," Journal of Community Engagement Research for Sustainability, vol. 2, no. 6, pp. 335–339, 2022.
F. D. Marleny, I. Maulida, and B. Nugraha, "Klasifikasi dan Analisis Dataset Komentar Video Youtube Menggunakan Supervised Learning," SEMINASTIKA, vol. 3, no. 1, pp. 86–90, 2021.
A. Sabrani, I. G. P. Wedashwara, and F. Bimantoro, "Penerapan Text Augmentation untuk Mengatasi Data yang Tidak Seimbang pada Klasifikasi Teks Berbahasa Indonesia," JTIKA, vol. 2, no. 1, pp. 89–100, 2020.
F. A. R. Putra, F. F. Fadilah, and U. Enri, "Analisis Sentimen Ulasan Film Oppenheimer pada Situs IMDB Menggunakan Metode Naive Bayes," Majalah Ilmiah Unikom, vol. 21, no. 2, pp. 87–94, 2023.
A. F. Pratama, T. B. Kurniawan, Misinem, and D. A. Dewi, "Implementasi Analisis Sentimen dan Model Deep Learning Untuk Prediksi Harga Bitcoin," Jurnal Jupiter, vol. 15, no. 1, pp. 403–412, 2023.
S. M. Permataning Tyas, R. Sarno, and B. S. Rintyarna, "Analisis Perbandingan Metode Klasifikasi Sentimen Berita Saham: Pendekatan Machine Learning, Deep Learning, Transfer Learning, dan Graf," Jurnal Penelitian Ipteks, vol. 9, no. 1, pp. 58–64, 2024.
W. Widayat, "Analisis Sentimen Movie Review menggunakan Word2Vec dan metode LSTM Deep Learning," Jurnal Media Informatika Budidarma, vol. 5, no. 3, pp. 1018–1026, 2021.
T. Fatyanosa, "Language Modeling dengan Transformer," Medium, 2020. [Online]. Available: https://fatyanosa.medium.com/language-modeling-dengan-transformer-ae2d1bab647d. [Accessed: May 8, 2024].
J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv, 2019.
A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, "Improving Language Understanding by Generative Pre-Training," OpenAI Technical Report, 2018.
J. H. Tandijaya, L. Liliana, and I. Sugiarto, "Klasifikasi dalam Pembuatan Portal Berita Online dengan Menggunakan Metode BERT," Jurnal Infra, vol. 9, no. 2, 2021.
T. B. Kusuma and I. K. A. Mogi, "Implementasi BERT pada Analisis Sentimen Ulasan Destinasi Wisata Bali," Jurnal Elektronik Ilmu Komputer Udayana, vol. 12, no. 2, pp. 409–420, 2023.
L. Hu, "Generative AI and Future. GAN, GPT-3, DALL·E 2, and what’s next," Medium, 2022. [Online]. Available: https://pub.towardsai.net/generative-ai-and-future-c3b1695876f2. [Accessed: May 1, 2024].
A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever, "Language Models are Unsupervised Multitask Learners," OpenAI, 2019. [Online]. Available: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf. [Accessed: Sep. 15, 2024].
K. Wabang, O. D. Nurhayati, and Farikhin, "Application of The Naïve Bayes Classifier Algorithm to Classify Community Complaints," Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 6, no. 5, pp. 872–876, 2022.
B. P. Pratiwi, A. S. Handayani, and Sarjana, "Pengukuran Kinerja Sistem Kualitas Udara Dengan Teknologi WSN Menggunakan Confusion Matrix," JURNAL INFORMATIKA UPGRIS, vol. 6, no. 2, pp. 66–75, 2020.
