KONSTRUKSI DATASET ANALISIS SENTIMEN BERBASIS ASPEK MENGGUNAKAN BERTopic DAN HUMAN-IN-THE-LOOP

STUDI KASUS UMPAN BALIK TERBUKA SISWA SMKN 1 BOJONGGENTENG

Abstract

Aspect-Based Sentiment Analysis (ABSA) telah banyak diterapkan untuk mengidentifikasi sentimen terhadap aspek spesifik dalam data tekstual. Namun, ketersediaan dataset ABSA berbahasa Indonesia pada domain pendidikan, khususnya Sekolah Menengah Kejuruan (SMK) masih relatif terbatas. Penelitian ini menyajikan konstruksi dataset ABSA berbahasa Indonesia dari umpan balik terbuka siswa pada sebuah SMK menggunakan pendekatan human-in-the-loop yang mengintegrasikan BERTopic untuk identifikasi kandidat topik secara otomatis dan anotasi manual untuk menghasilkan skema aspek yang kontekstual. Dataset awal terdiri dari 756 respons siswa, kemudian melalui prapemrosesan yang meliputi normalisasi emoji, slang dan typo, serta segmentasi kalimat, diperoleh 717 dokumen dan 1.317 kalimat. BERTopic dioptimalkan melalui grid search kombinasi parameter UMAP-HDBSCAN dan menghasilkan 20 topik laten dengan nilai coherence 0,609, topic diversity 0,974, dan noise ratio 15,4%. Topik tersebut kemudian divalidasi melalui anotasi human-in-the-loop menjadi sembilan kategori aspek bermakna secara kontekstual. Dua orang anotator independen memberikan label sentimen positif, negatif, dan netral. Kesepakatan awal antar-anotator mencapai nilai Cohen's Kappa 0,776 (Baik), meningkat menjadi 0,859 dan 0,912 (Hampir Sempurna) setelah proses adjudikasi. Analisis menunjukkan bahwa aspek Pengalaman Akademik dan Kompetensi Kejuruan didominasi sentimen positif, sedangkan aspek Fasilitas dan Pembelajaran serta Evaluasi dan Harapan memperoleh proporsi sentimen negatif tertinggi. Dataset ini menyediakan sumber daya untuk pengembangan model ABSA berbahasa Indonesia, serta mendukung evaluasi mutu pendidikan yang berbasis data.