Indonesian News Topic Classification Using Naïve Bayes and SVM With TF-IDF
Abstract
Abstrak
Pertumbuhan volume berita daring berbahasa Indonesia semakin meningkatkan tantangan dalam menyajikan konten yang relevan kepada pembaca secara tepat waktu. Sistem klasifikasi otomatis untuk berita berbahasa Indonesia yang ada saat ini masih terbatas dalam hal evaluasi komparatif yang sistematis pada beberapa kategori topik secara bersamaan. Penelitian ini menjawab kesenjangan tersebut dengan mengimplementasikan dan membandingkan dua algoritma machine learning—Naive Bayes (NB) dan Support Vector Machine (SVM)—yang dipadukan dengan ekstraksi fitur Term Frequency-Inverse Document Frequency (TF-IDF) untuk klasifikasi topik berita berbahasa Indonesia secara multi-kelas. Dataset seimbang berisi 1.000 artikel dibangun secara mandiri melalui web scraping dari Kompas.com, salah satu portal berita nasional terkemuka di Indonesia, yang mencakup lima kategori: Politik, Olahraga, Teknologi, Ekonomi, dan Hiburan (masing-masing 200 artikel). Praproses teks meliputi case folding, penghapusan noise, tokenisasi, penghapusan stopword menggunakan daftar stopword Bahasa Indonesia dari NLTK, dan stemming morfologis melalui PySastrawi. Vektorisasi TF-IDF menghasilkan matriks fitur berukuran 1.000 × 5.000 menggunakan unigram dan bigram. Ketangguhan model dievaluasi menggunakan stratified 5-fold cross-validation, dengan 20% data uji yang disisihkan untuk evaluasi akhir. SVM dengan kernel linear mencapai akurasi 94,5% (F1-score: 94,6%), mengungguli Multinomial Naive Bayes (akurasi: 89,0%, F1-score: 89,1%) pada seluruh lima kategori. Uji signifikansi McNemar mengonfirmasi bahwa selisih kinerja tersebut signifikan secara statistik (p < 0,05). Keunggulan SVM dalam memaksimalkan margin pada ruang TF-IDF berdimensi tinggi, dibandingkan asumsi independensi kondisional pada Naive Bayes, menjadi penyebab keunggulan yang teramati. Temuan ini memberikan baseline yang dapat direplikasi untuk klasifikasi berita berbahasa Indonesia dan mendukung pengembangan sistem agregasi berita cerdas yang sadar bahasa di Indonesia.
Kata Kunci: Berita Indonesia; Naive Bayes; Support Vector Machine; klasifikasi teks; TF-IDF
Abstract
The growing volume of Indonesian online news has intensified the challenge of delivering relevant content to readers in a timely manner. Existing automatic classification systems for Indonesian-language news remain limited in systematic comparative evaluations across multiple topic categories simultaneously. This study addresses that gap by implementing and comparing two machine learning algorithms—Naive Bayes (NB) and Support Vector Machine (SVM)—combined with Term Frequency-Inverse Document Frequency (TF-IDF) feature extraction for multi-class Indonesian news topic classification. A balanced dataset of 1,000 articles was constructed independently via web scraping from Kompas.com, a leading national news portal in Indonesia, spanning five categories: Politics, Sports, Technology, Economy, and Entertainment (200 articles each). Text preprocessing included case folding, noise removal, tokenization, stopword removal using NLTK’s Indonesian stopword list, and morphological stemming via PySastrawi. TF-IDF vectorization produced a 1,000 × 5,000 feature matrix using unigrams and bigrams. Model robustness was assessed using stratified 5-fold cross-validation, with a held-out 20% test set used for final evaluation. SVM with a linear kernel achieved 94.5% accuracy (F1-score: 94.6%), outperforming Multinomial Naive Bayes (accuracy: 89.0%, F1-score: 89.1%) across all five categories. A McNemar’s significance test confirmed the performance gap is statistically significant (p < 0.05). SVM’s superior margin-maximization in high-dimensional TF-IDF space, compared to Naive Bayes’ conditional independence assumption, accounts for the observed advantage. These findings provide a reproducible baseline for Indonesian news classification and support the development of intelligent, language-aware news aggregation systems in Indonesia.
Keywords: Indonesian news; Naive Bayes; Support Vector Machine; text classification; TF-IDF
References
Alfando, A., & Hayami, R. (2023). Klasifikasi Teks Berita Berbahasa Indonesia Menggunakan Machine Learning dan Deep Learning: Studi Literatur. JATI (Jurnal Mahasiswa Teknik Informatika), 7(1), 681–686.
APJII. (2023). Laporan Survei Internet Indonesia 2023. Jakarta, Indonesia: Asosiasi Penyelenggara Jasa Internet Indonesia.
Apriani, I., Sibaroni, Y., & Palupi, I. (2023). Perbandingan Pembobotan Fitur TF-IDF dan TF-ABS dalam Klasifikasi Berita Online Menggunakan Support Vector Machine (SVM). e-Proceeding of Engineering, 10(3), 3652–3663.
Asuroglu, T. (2025). A Comprehensive Evaluation of Oversampling Techniques for Enhancing Text Classification Performance. Scientific Reports, 15(1), art. 21631. https://doi.org/10.1038/s41598-025-05791-7
Bhakti, C., Ardiansyah, A., & Setiawan, I. (2024). Implementasi Naive Bayes untuk Klasifikasi Kategori Berita. Jurnal Sistem Informasi, 10(2), 45–52.
Desriyansyah, M., Sari, I., & Zulfahmi, Z. (2025). Analisis Efektivitas Algoritma Machine Learning dalam Deteksi Hoaks pada Berita Digital Berbahasa Indonesia. Jurnal Sistem Informasi dan Informatika, 3(2), 63–69.
Faisal, M. R. (2022). Belajar Data Science: Text Mining untuk Pemula. Yogyakarta, Indonesia: Informatika.
Hidayat, S., Napitupulu, H., & Gusriani, N. (2024). Penerapan Model Support Vector Machine pada Kasus Klasifikasi Teks Berdasarkan Tujuan SDGs Ke Tiga, Empat, dan Enam. SISINFO: Jurnal Sistem Informasi dan Informatika, 6(2), 115–124. https://doi.org/10.37278/sisinfo.v6i2.893
Imelda, & Kurnianto, A. R. (2023). Naïve Bayes and TF-IDF for Sentiment Analysis of the Covid-19 Booster Vaccine. Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), 7(1), 1–6. https://doi.org/10.29207/resti.v7i1.4467
Li, Q., Peng, H., Li, J., Xia, C., Yang, R., Sun, L., Yu, P. S., & He, L. (2022). A Survey on Text Classification: From Traditional to Deep Learning. ACM Transactions on Intelligent Systems and Technology, 13(2), 1–41. https://doi.org/10.1145/3495162
Lindrawati, E., Utami, E., & Yaqin, A. (2023). Comparison of Modified Nazief & Adriani and Modified Enhanced Confix Stripping Algorithms for Madurese Language Stemming. INTENSIF: Jurnal Ilmiah Penelitian dan Penerapan Teknologi Sistem Informasi, 7(2). https://doi.org/10.29407/intensif.v7i2.20103
Mayasari, L., & Indarti, D. (2022). Klasifikasi Topik Tweet Mengenai Covid Menggunakan Metode Multinomial Naive Bayes dengan Pembobotan TF-IDF. Jurnal Ilmiah Informatika Komputer, 27(1), 43–53.
Musdholifah, A., Mohd Hashim, S. Z., Mulyana, S., Putri, R. A., & Faizah. (2025). Text Augmentation Approaches to Enhance Traditional Machine Learning Performance for SDGs Classification of Indonesian News Articles. Ingénierie des Systèmes d’Information, 30(10), 2535–2546. https://doi.org/10.18280/isi.301001
Ramadhan, M. F. (2025). Klasifikasi Topik dan Sentimen Judul Berita dengan Augmentasi dan TF-IDF. RIGGS: Journal of Artificial Intelligence and Digital Business, 4(2), 6732–6741.
Rianto, R., Humanika, E. S., & Untoro, I. H. T. (2026). Enhancing SVM-Based Classification Performance on Indonesian Sentences through TF-IDF and Directional Augmentation. INTENSIF: Jurnal Ilmiah Penelitian dan Penerapan Teknologi Sistem Informasi, 10(1), 22–35. https://doi.org/10.29407/intensif.v10i1.25179
Rifaldy, F., Sibaroni, Y., & Prasetiyowati, S. S. (2025). Effectiveness of Word2Vec and TF-IDF in Sentiment Classification on Online Investment Platforms Using Support Vector Machine. JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika), 10(2), 863–874. https://doi.org/10.29100/jipi.v10i2.6055
Sani, R. R., Pratiwi, Y. A., Winarno, S., Udayanti, E. D., & Alzami, F. (2022). Analisis Perbandingan Algoritma Naive Bayes Classifier dan Support Vector Machine untuk Klasifikasi Berita Hoax pada Berita Online Indonesia. Jurnal Masyarakat Informatika, 13(2), 85–98. https://doi.org/10.14710/jmasif.13.2.47983
Sukriadi, S., Ismail, I., & Andzar, A. M. (2023). Penerapan Text Mining dalam Klasifikasi Judul Skripsi Menggunakan Naive Bayes. Jurnal Ilmiah Sistem Informasi dan Teknik Informatika (JISTI), 6(2), 184–196.
Tarigan, H., Sari, S., & Zulfahmi, F. (2023). Klasifikasi Berita dengan TF-IDF dan Naive Bayes Berbahasa Indonesia. Jurnal TEKINKOM, 6(2).
Wardana, S., Didi, S., & Yurika, P. (2023). Pemetaan Hyperplane pada Support Vector Machine. Bandung Conference Series: Mathematics, 3(2), 109–119. https://doi.org/10.29313/bcsm.v3i2.8187
