TF-IDF vs IndoBERT: Pendekatan Statistik dan Kontekstual dalam Pengelompokan Surat Pemerintahan dengan Algoritma K-Means
DOI:
https://doi.org/10.26418/jp.v11i3.101856Keywords:
TF-IDF, IndoBERT, K-Means, Clustering, Natural Language ProcessingAbstract
Digitalisasi administrasi pemerintahan menyebabkan peningkatan volume surat elektronik yang perlu dikelola secara efisien. Meskipun data surat bersifat semi-terstruktur, pengelompokan berbasis perihal masih menghadapi tantangan akibat variasi redaksi dan konteks bahasa. Penelitian ini bertujuan membandingkan kualitas pengelompokan surat pemerintahan menggunakan algoritma K-Means dengan dua pendekatan representasi teks, yaitu TF-IDF berbasis statistik dan IndoBERT berbasis kontekstual. Data yang digunakan terdiri dari 854 perihal surat masuk pada Aplikasi Srikandi. Hasil eksperimen menunjukkan bahwa IndoBERT menghasilkan kualitas clustering yang lebih baik dengan nilai Silhouette Score sebesar 0,2242 dan Calinski–Harabasz Index sebesar 171,4236, dibandingkan TF-IDF yang hanya mencapai Silhouette Score 0,0393 dan Calinski–Harabasz Index 35,2446. Sementara itu, nilai Davies–Bouldin Index pada TF-IDF (1,6508) sedikit lebih rendah dibandingkan IndoBERT (1,7388) yang menunjukkan bahwa TF-IDF cenderung membentuk cluster dengan jarak antar cluster yang relatif lebih dekat. Namun, jika ditinjau secara komprehensif, nilai Silhouette Score dan Calinski–Harabasz Index yang jauh lebih tinggi pada IndoBERT mengindikasikan bahwa cluster yang terbentuk lebih kohesif secara internal dan memiliki separasi semantik yang lebih jelas. Keunggulan IndoBERT terutama disebabkan oleh kemampuannya menangkap makna semantik dan konteks kata dalam perihal surat yang singkat namun bervariasi, sehingga menghasilkan struktur cluster yang lebih bermakna dibandingkan pendekatan statistik konvensional. Temuan ini menunjukkan bahwa representasi kontekstual lebih efektif dalam mendukung pengelompokan otomatis surat pemerintahan.References
Referensi
P. Umum and K. Samosir, “http://jurnal.uts.ac.id/index.php/KAGANGA,” vol. 7, pp. 79–92, 2025.
A. A. Amer and H. I. Abdalla, “A set theory based similarity measure for text clustering and classification,” J. Big Data, vol. 7, no. 1, 2020, doi: 10.1186/s40537-020-00344-3.
A. Petukhova, J. P. Matos-Carvalho, and N. Fachada, “Text Clustering with LLM Embeddings,” pp. 1–25, 2024, [Online]. Available: http://arxiv.org/abs/2403.15112
A. Syafiqah, S. Zaman, and M. Imamudin, “Text Mining Approach to Emotion Analysis in Translation of Surah Yusuf With NRC Emotion Lexicon,” IT J. Res. Dev., vol. 9, no. 2, pp. 108–122, 2025, doi: 10.25299/itjrd.2025.17765.
M. S. Yang and I. Hussain, “Unsupervised Multi-View K-Means Clustering Algorithm,” IEEE Access, vol. 11, no. January, pp. 13574–13593, 2023, doi: 10.1109/ACCESS.2023.3243133.
W. Wu, W. Wang, X. Jia, and X. Feng, “Transformer Autoencoder for K-means Efficient clustering,” Eng. Appl. Artif. Intell., vol. 133, p. 108612, 2024, doi: https://doi.org/10.1016/j.engappai.2024.108612.
A. K. Abasi, A. T. Khader, M. A. Al-Betar, S. Naim, Z. A. A. Alyasseri, and S. N. Makhadmeh, “A novel hybrid multi-verse optimizer with K-means for text documents clustering,” Neural Comput. Appl., vol. 32, no. 23, pp. 17703–17729, 2020, doi: 10.1007/s00521-020-04945-0.
R. Dodda and A. S. Babu, “Text document clustering using mayfly optimization algorithm with k-means technique,” Indones. J. Electr. Eng. Comput. Sci., vol. 35, no. 2, pp. 1099–1109, 2024, doi: 10.11591/ijeecs.v35.i2.pp1099-1109.
M. Khairani and I. Zufria, “Klasifikasi Tingkatan Perokok dengan Analisis Data Survei Masyarakat menggunakan Algoritma K-Means dan XGBoost,” J. Edukasi dan Penelit. Inform., vol. 11, no. 2, pp. 230–241, 2025.
Y. Chen, P. Tan, M. Li, H. Yin, and R. Tang, “K-means clustering method based on nearest-neighbor density matrix for customer electricity behavior analysis,” Int. J. Electr. Power Energy Syst., vol. 161, no. August, 2024, doi: 10.1016/j.ijepes.2024.110165.
I. A. Wisky, S. Defit, and G. W. Nurcahyo, “INTERNATIONAL JOURNAL ON INFORMATICS VISUALIZATION journal homepage : www.joiv.org/index.php/joiv INTERNATIONAL JOURNAL ON INFORMATICS VISUALIZATION Development of Extraction Features for Detecting Adolescent Personality with Machine Learning Algorithms,” vol. 8, no. November, 2024, [Online]. Available: www.joiv.org/index.php/joiv
F. Rifaldy, Y. Sibaroni, and S. S. Prasetiyowati, “Effectiveness of Word2Vec and TF-IDF in Sentiment Classification on Online Investment Platforms Using Support Vector Machine,” JIPI (Jurnal Ilm. Penelit. dan Pembelajaran Inform., vol. 10, no. 2, pp. 863–874, 2025, doi: 10.29100/jipi.v10i2.6055.
M. Umair, A. Khan, F. Ullah, A. Masmoudi, and M. Faheem, “Global and Local Context Fusion in Heterogeneous Graph Neural Network for Summarizing Lengthy Scientific Documents,” IEEE Access, vol. 13, no. April, pp. 53433–53447, 2025, doi: 10.1109/ACCESS.2025.3553755.
N. Nur, A. Aryanti, and O. Suria, “ANALISIS SENTIMEN TERHADAP PEMUTUSAN HUBUNGAN KERJA DI INDONESIA : KOMPARASI INDOBERT DENGAN SVM , RANDOM FOREST , DAN DECISION TREE DENGAN OPTIMASI TF - IDF PENDAHULUAN Pemutusan Hubungan Kerja ( PHK ) merupakan salah satu fenomena sosial dan ekonomi yan,” vol. 10, no. 2, pp. 1158–1176, 2025.
C. Apriyadi and S. Styawati, “Sentiment Analysis of Cyber Attacks in Bank Syariah Indonesia Using SVM and Indobert Method,” J. Tek. Inform., vol. 6, no. 2, pp. 819–838, 2025, doi: 10.52436/1.jutif.2025.6.2.2636.
N. Anggraini, E. Surya Negara Harahap, T. Basuki Kurniawan, U. Bina Darma, J. A. Jenderal Yani No, and P. Sumatera Selatan, “Text Mining-Text Analysis Related to COVID-19 Vaccination Issues,” J. Ilmu Pengetah. dan Teknol. Komun., vol. 23, no. 2, pp. 141–153, 2021, [Online]. Available: http://dx.doi.org/10.33169/iptekkom.23.2.2021.141-153
I. Widaningrum, D. Mustikasari, R. Arifin, S. L. Tsaqila, and D. Fatmawati, “Algoritma Term Frequency-Inverse Document Frequency (TF-IDF) dan K-Means Clustering Untuk Menentukan Kategori Dokumen,” Pros. Semin. Nas. Sist. Inf. dan Teknol., pp. 145–149, 2022.
A. A. Jalal and B. H. Ali, “Text documents clustering using data mining techniques,” Int. J. Electr. Comput. Eng., vol. 11, no. 1, pp. 664–670, 2021, doi: 10.11591/ijece.v11i1.pp664-670.
W. Azizah, I. Ilhamsyah, and S. Rahmayuda, “pada Teks Komentar Program MBKM ( Studi Kasus : Aplikasi X ),” J. Edukasi dan Penelit. Inform., vol. 11, no. 2, pp. 193–203, 2025.
F. M. Apriansyah, T. I. Ramadhan, C. R. Hidayat, and A. K. Wijaya, “Perbandingan IndoBERT dan IndoRoBERTa Untuk Analisis Sentimen Pada Film Dokumenter Dirty Vote,” J. Inform. J. Pengemb. IT, vol. 10, no. 3, pp. 593–605, 2025, doi: 10.30591/jpit.v10i3.8607.
P. Sayarizki and H. Nurrahmi, “Implementation of IndoBERT for Sentiment Analysis of Indonesian Presidential Candidates,” J. Comput., vol. 9, no. 2, pp. 61–72, 2024, doi: 10.34818/indojc.2024.9.2.934.
M. Wahyu, A. Pramana, D. Purnami, S. Putri, and I. K. A. Purnawan, “Jurnal Informatika : Jurnal pengembangan IT Comparison of IndoBERT and Bi-LSTM Models for Indonesian Law Violation Text Classification,” vol. 10, no. 4, pp. 1033–1043, 2025, doi: 10.30591/jpit.v10i4.8795.
W. N. Ibrahem Al-Obaydy, H. A. Hashim, Y. AbdulKhaleq Najm, and A. A. Jalal, “Document classification using term frequency-inverse document frequency and K-means clustering,” Indones. J. Electr. Eng. Comput. Sci., vol. 27, no. 3, pp. 1517–1524, 2022, doi: 10.11591/ijeecs.v27.i3.pp1517-1524.
S. Ramadhani, D. Azzahra, and T. Z, “Comparison of K-Means and K-Medoids Algorithms in Text Mining based on Davies Bouldin Index Testing for Classification of Student’s Thesis,” Digit. Zo. J. Teknol. Inf. dan Komun., vol. 13, no. 1, pp. 24–33, 2022, doi: 10.31849/digitalzone.v13i1.9292.
A. E. Widjaja, A. Fransisko, C. A. Haryani, and Hery, “Text Mining Application with K-Means Clustering to Identify Sentiments and Popular Topics: a Case Study of the three Largest Online Marketplaces in Indonesia,” J. Appl. Data Sci., vol. 4, no. 4, pp. 441–453, 2023, doi: 10.47738/jads.v4i4.134.
P. Algoritma et al., “Comparison of K - Means and K - Medoids Algorithms in Clustering Islamic Commercial Banks in Indonesia Using Davies - Bouldin Index , Calinski - Harabasz Index , and Silhouette Coefficient sektor perbankan syariah . Bank ( ROA ), yang biasanya disebut Ind,” vol. 13, no. 1, pp. 1–12, 2022.
L. Ayash, A. Algarni, and O. Alqahtani, “Advancements in feature selection and extraction methods for text mining: a review,” Discov. Appl. Sci., vol. 7, no. 8, 2025, doi: 10.1007/s42452-025-07587-w.
F. Rafiandi Andhika, W. Witanti, and P. N. Sabrina, “Analisis Sentimen Menggunakan Metode IndoBERT pada Ulasan Aplikasi Zoom Menggunakan Fitur Ekstrasi GloVe,” vol. 9, p. 2025, 2025, doi: 10.47002/metik.v9i2.1098.
U. Khairani, V. Mutiawani, and H. Ahmadian, “Pengaruh Tahapan Preprocessing Terhadap Model Indobert Dan Indobertweet Untuk Mendeteksi Emosi Pada Komentar Akun Berita Instagram,” J. Teknol. Inf. dan Ilmu Komput., vol. 11, no. 4, pp. 887–894, 2024, doi: 10.25126/jtiik.1148315.
S. Andayani and A. Ryansyah, “Implementasi Algoritma TF-IDF Pada Pengukuran Kesamaan Dokumen,” JuSiTik J. Sist. dan Teknol. Inf. Komun., vol. 1, no. 1, p. 53, 2017, doi: 10.32524/jusitik.v1i1.218.
R. Padilah, R. Wijaya, and Shaufiah, “Mapping Facial Expressions Based on Text for Virtual Counseling Chatbot Using IndoBERT Model,” J. Tek. Inform., vol. 6, no. 5, pp. 3750–3768, 2025.
Asyifa Tasya Fadilah, “Implementasi Algoritma K-Means Clustering Untuk Targeting Ads,” vol. 11, no. 2, pp. 1–57, 2023, [Online]. Available: https://repository.uinjkt.ac.id/dspace/bitstream/123456789/72806/1/ASYIFA TASYA FADILAH-FST.pdf
T. Rahmawati, Y. Wilandari, and P. Kartikasari, “Analisis Perbandingan Silhouette Coefficient Dan Metode Elbow Pada Pengelompokkan Provinsi Di Indonesia Berdasarkan Indikator Ipm Dengan K-Medoids,” J. Gaussian, vol. 13, no. 1, pp. 13–24, 2024, doi: 10.14710/j.gauss.13.1.13-24.
A. Arifin, “Pengelompokan Titik Kejadian Gempabumi di Wilayah Asia Tenggara Menggunakan Agglomerative Hierarchical Clustering Clustering Earthquake Event Points in the Southeast Asia Region using Agglomerative Hierarchical Clustering,” Sist. J. Sist. Inf., vol. 12, no. September, pp. 900–914, 2023.
