Perancangan Aplikasi Realtime Berbasis Desktop dengan Sensor IMU pada Klasifikasi Gerakan Semaphore Menggunakan Metode CNN

Abstract

Semaphore merupakan komunikasi nonverbal yang menggunakan bendera sebagai sarana penyampaiannya. Informasi disampaikan melalui formasi bendera yang terdiri dari huruf, angka, dan simbol. Tujuan dari penelitian ini adalah untuk membuat aplikasi berbasis desktop yang mampu melakukan klasifikasi terhadap 27 gerakan semaphore yang dipilih yaitu seluruh huruf dan 1 karakter spasi atau istirahat. Aplikasi yang dirancang bersifat realtime sehingga data yang berasal dari sensor IMU (Inertial Measurement Unit) akan langsung diklasifikasi menggunakan model deep learning dengan algoritma CNN. Dataset yang digunakan untuk membuat model klasifikasi diambil dari 6 subjek yang dibagi menjadi 2 kelompok, kelompok pertama akan memperagakan secara berurutan mulai dari space/rest hingga Z sedangkan kelompok kedua akan memperagakan dengan urutan terbalik. Adapun pengambilan data setiap subjek dilakukan sebanyak 3 repetisi sehingga mendapatkan total data sebesar 92,200 data. Pembentukan model dilakukan dengan menggunakan 2 dan 3 sensor yang terletak di pergelangan tangan kanan, pergelangan tangan kiri, dan bagian punggung. Masing-masing sensor dibentuk dengan 3 tipe model yang berbeda yaitu simple, medium, dan complex. Setiap tipe model memiliki 3 proporsi pembagian data train dan data test yaitu 90% train 10% test, 80% train 20% test, dan 70% train 30% test. Berdasarkan model yang telah dibentuk pada penelitian ini akan menggunakan model dengan 2 sensor pada tipe model complex dengan proporsi 70% data train dan 30% data test yang mendapatkan nilai akurasi sebesar 76,65%. Pengujian dilakukan pada 2 subjek yang berbeda subjek pertama melakukan pengujian dengan urutan ascending sedangkan subjek kedua dengan urutan descending. Pengujian realtime menghasilkan nilai rata-rata akurasi sebesar 83,33%.