Analisis Sentimen Berbasis Aspek Ulasan Aplikasi Roblox Berbahasa Indonesia Menggunakan IndoBERT dengan Augmentasi Data Berbasis LLM

Yolanda Gloria; Dedi  Saputra; Siti  Nurdiani; Eva Meilinda

doi:10.59395/jitp.v6i1.197

Authors

Yolanda Gloria Program Studi Informatika, Universitas Bina Sarana Informatika, Pontianak, Kalimantan Barat, Indonesia
Dedi Saputra Program Studi Informatika, Universitas Bina Sarana Informatika, Pontianak, Kalimantan Barat, Indonesia
Siti Nurdiani Program Studi Informatika, Universitas Bina Sarana Informatika, Pontianak, Kalimantan Barat, Indonesia
Eva Meilinda Program Studi Informatika, Universitas Bina Sarana Informatika, Pontianak, Kalimantan Barat, Indonesia

DOI:

https://doi.org/10.59395/jitp.v6i1.197

Keywords:

Analisis Sentimen Berbasis Aspek, IndoBERT, Transformer, Ulasan Aplikasi Game, Augmentasi Data, Roblox

Abstract

Roblox merupakan salah satu platform permainan daring yang paling banyak digunakan di Indonesia, menghasilkan volume ulasan berbahasa Indonesia yang besar dan terus bertambah di Google Play Store. Kajian terdahulu umumnya hanya menetapkan satu label sentimen tunggal per ulasan tanpa diferensiasi aspek. Penelitian ini mengimplementasikan Aspect-Based Sentiment Analysis (ABSA) menggunakan model IndoBERT yang di-fine-tune secara independen untuk empat aspek: teknis, sistem, konten, dan sosial. Dataset terdiri dari 3.619 ulasan berlabel menggunakan strategi anotasi hibrida antara model Llama-4-Scout-17B dan verifikasi manual. Kelangkaan kelas netral diatasi dengan membangkitkan 550 sampel sintetis melalui Llama 3.3 70B. Hasil eksperimen menunjukkan rata-rata F1-Macro meningkat dari 0,5739 menjadi 0,8550 pascaaugmentasi, seluruh aspek melampaui ambang 0,80 dan mengungguli baseline XLM-RoBERTa (0,8035). Ablation study mengkonfirmasi augmentasi data sebagai komponen terpenting, terkonfirmasi secara statistik melalui McNemar’s Test (p < 0,05). Analisis LIME mengungkap pola kebahasaan kontekstual, sedangkan analisis error mengidentifikasi kelemahan pada kelas minoritas. Aspek Sistem paling banyak mendapat ulasan negatif (93,8%), sementara aspek Konten paling banyak mendapat apresiasi positif (86,3%). Penelitian ini memvalidasi efektivitas kombinasi IndoBERT dengan augmentasi berbasis LLM untuk analisis sentimen multidimensi pada ulasan game berbahasa Indonesia.

Downloads

Download data is not yet available.

References

Adi, S., Mola, S., Luttu, Y. C., & Rumlaklak, D. N. (2024). Perbandingan Metode Machine Learning dalam Analisis Sentimen Komentar Pengguna Aplikasi InDriver pada Dataset Tidak Seimbang. 03. https://doi.org/10.21456/vol14iss3pp247-255

Alfiana, H. N., Doewes, A., & Widoyono, B. (2026). Aspect-Based Sentiment Analysis of Access by KAI Application Reviews Using IndoBERT for Multi-Label Classification Tasks. 7(1), 286–306.

Bachtiar, A., Hawali, M. J., Simbolon, N. C., Maulana, D. A., Anggraini, R. A., & Kunci, K. (2026). ANALISIS SENTIMEN ULASAN FREE FIRE MENGGUNAKAN NAIVE BAYES LOGISTIC REGRESSION Abstraksi Keywords : Pendahuluan Tinjauan Pustaka. 7(2).

Bahri, C. A., Suadaa, L. H., Studi, P., Statistik, K., Regression, L., Review, G. M., & Learning, T. (2023). Aspect-Based Sentiment Analysis in Bromo Tengger Semeru National Park Indonesia Based on Google Maps User Reviews. 17(1), 79–90.

Dhendra, & Gayuh Utomo, V. (2025). Benchmarking IndoBERT and Transformer Models for Sentiment Classification on Indonesian E-Government Service Reviews. Jurnal Transformatika, 23(1), 86–95. https://doi.org/10.26623/transformatika.v23i1.12095

Fadilah, N., & Priyanta, S. (2022). Automatic Essay Scoring Using Data Augmentation in Bahasa Indonesia. 16(4), 401–410.

Jayadianti, H., Kaswidjanti, W., Utomo, A. T., Saifullah, S., Dwiyanto, F. A., & Drezewski, R. (2022). Sentiment analysis of Indonesian reviews using fine-tuning IndoBERT and R-CNN. ILKOM Jurnal Ilmiah, 14(3), 348–354. https://doi.org/10.33096/ilkom.v14i3.1505.348-354

Jazuli, A., Widowati, & Kusumaningrum, R. (2025). Optimizing Aspect-Based Sentiment Analysis Using BERT for Comprehensive Analysis of Indonesian Student Feedback. Applied Sciences, 15(1), 172. https://doi.org/10.3390/app15010172

Kono, M. F., Fajri, I. N., & Pristyanto, Y. (2025). Public Sentiment Analysis on Corruption Issues in Indonesia Using IndoBERT Fine-Tuning, Logistic Regression, and Linear SVM. Journal of Applied Informatics and Computing, 9(5), 2616–2628. https://doi.org/10.30871/jaic.v9i5.10537

Lin, T., Wang, Y., Liu, X., & Qiu, X. (2022). A survey of transformers. AI Open, 3(1), 111–132. https://doi.org/10.1016/j.aiopen.2022.10.001

Linawati, S., Nurdiani, S., Handayani, K., & Latifah, L. (2020). Prediksi Prestasi Akademik Mahasiswa Menggunakan Algoritma Random Forest Dan C4.5. Jurnal Khatulistiwa Informatika, 8(1), 47–52. https://doi.org/10.31294/jki.v8i1.7827

Maulana, R., Rahayuningsih, P. A., Irmayani, W., Saputra, D., & Jayanti, W. E. (2020). Improved Accuracy of Sentiment Analysis Movie Review Using Support Vector Machine Based Information Gain. Journal of Physics: Conference Series, 1641(1). https://doi.org/10.1088/1742-6596/1641/1/012060

Merdiansah, R., & Ridha, A. A. (2024). Analisis Sentimen Pengguna X Indonesia Terkait Kendaraan Listrik Menggunakan IndoBERT. 7, 221–228.

Nugroho, K. S., Sukmadewa, A. Y., Bachtiar, F. A., & Yudistira, N. (2020). BERT Fine-Tuning for Sentiment Analysis on Indonesian Mobile Apps Reviews. 1–10.

Nugroho, R., Azka, N., Sayudha, W., & Graha, R. (2025). Jurnal JTIK ( Jurnal Teknologi Informasi dan Komunikasi ) Analisis Sentimen Ulasan Aplikasi Mobile JKN di Google. 9(June), 495–505.

Pangestu, A. S., Christian, E., & Lestari, A. (2025). Aspect-Based Sentiment Analysis pada Ulasan Pengguna Aplikasi Mobile JKN Menggunakan Model Berbasis Transformer. 5, 10–12.

Perikos, I., & Diamantopoulos, A. (2024). Explainable Aspect-Based Sentiment Analysis Using Transformer Models. Big Data and Cognitive Computing, 8(11). https://doi.org/10.3390/bdcc8110141

Pranatawijaya, V. H., Sari, N. N. K., Rahman, R. A., Christian, E., & Geges, S. (2024). Unveiling User Sentiment: Aspect-Based Analysis and Topic Modeling of Ride-Hailing and Google Play App Reviews. Journal of Information Systems Engineering and Business Intelligence, 10(3), 328–339. https://doi.org/10.20473/jisebi.10.3.328-339

Putri, N. A. R., & Ardiansyah. (2023). Analisis Sentimen Terhadap Kemajuan Kecerdasan Buatan di Indonesia Menggunakan BERT dan RoBERTa. Jurnal Sains Dan Informatika, 9(2), 136–145. https://doi.org/10.34128/jsi.v9i2.649

Rafianto, G., Hannie, & Ma’sum, A. (2026). Analisis Sentimen Berbasis Topik Ulasan Pengguna Aplikasi Roblox Menggunakan Integrasi LDA dan SVM. Jurnal Informatika Dan Teknik Elektro Terapan, 14(2). https://doi.org/10.23960/jitet.v14i2.9336

Rahman, R. A., Pranatawijaya, V. H., & Sari, N. N. K. (2024). Analisis Sentimen Berbasis Aspek pada Ulasan Aplikasi Gojek. KONSTELASI: Konvergensi Teknologi Dan Sistem Informasi, 4(1), 70–82.

Reddy, Y. A., Agarwal, S., Parashar, V., & Arora, A. (2025). Visualizing Public Opinion on X: A Real-Time Sentiment Dashboard Using VADER and DistilBERT. http://arxiv.org/abs/2504.15448

Setiawan, P., Zhakaria, A., Mandey, F. F., & Kurniawati, I. (2025). Analisis Sentimen Pengguna Aplikasi Roblox Berdasarkan Ulasan Menggunakan Metode Machine Learning. 7(3), 452–460.

Simanjuntak, A., Lumbantoruan, R., Sianipar, K., Gultom, R., Simaremare, M., & Situmeang, S. (2024). Studi dan Analisis Hyperparameter Tuning IndoBERT Dalam Pendeteksian Berita Palsu. 13, 60–67.

Sitorus, A. R., John, W., Ziraluho, P., & S, I. M. S. (2024). ANALISIS SENTIMEN GAME MOBILE LEGENDS BERDASARKAN REVIEW PENGGUNA DI PLAYSTORE MENGGUNAKAN ALGORITMA NAIVE BAYES. 4(2), 108–113.

Wilie, B., Vincentio, K., Winata, G. I., Cahyawijaya, S., Li, X., Lim, Z. Y., Soleman, S., Mahendra, R., Fung, P., Bahar, S., & Purwarianti, A. (2020). IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding. Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, 843–857. https://doi.org/10.18653/v1/2020.aacl-main.85

Yasin, A., Fatima, R., Ghazi, A. N., & Wei, Z. (2024). Python data odyssey: Mining user feedback from google play store. Data in Brief, 54, 110499. https://doi.org/10.1016/j.dib.2024.110499

Yulianti, E., & Nissa, N. K. (2024). ABSA of Indonesian customer reviews using IndoBERT: single-sentence and sentence-pair classification approaches. Bulletin of Electrical Engineering and Informatics, 13(5), 3579–3589. https://doi.org/10.11591/eei.v13i5.8032

Zhu, L., Xu, M., Bao, Y., Xu, Y., & Kong, X. (2022). Deep learning for aspect-based sentiment analysis: a review. PeerJ Computer Science, 8. https://doi.org/10.7717/PEERJ-CS.1044

Zidan, M., Pinandito, A., & Rusydi, A. N. (2026). Analisis Perbandingan Efisiensi Metode Augmentasi Data EDA , Back- Translation Dan LLM Untuk Klasifikasi Topik Berita Berbahasa Indonesia Pada Kondisi Class Imbalance. 10(1), 1–6.