Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat BISINDO Menggunakan Kamera

Abstract

Bahasa isyarat digunakan untuk berkomunikasi antara penyandang tunarungu dan tunawicara dengan pendengar. Permasalahan yang ada ialah bahasa isyarat jarang dipahami oleh masyarakat pada umumnya, sedangkan biaya penerjemah bahasa isyarat pada umumnya cukup mahal. Oleh karena itu, penggunaan teknologi Machine Learning dalam mengartikan bahasa isyarat menjadi penting untuk membantu meningkatkan komunikasi antara masyarakat umum dengan penyandang tunarungu dan tunawicara. Selain itu penggunaan teknologi Machine Learning dalam mengartikan bahasa isyarat dapat membuka peluang untuk pengembangan aplikasi cerdas yang lebih canggih, seperti sistem kontrol cerdas, robotika, dan rumah cerdas. Penelitian ini bertujuan untuk membuat prototipe aplikasi penggunaan teknologi Machine Learning dalam mengartikan bahasa isyarat BISINDO menggunakan kamera. Prototipe telah berhasil dibuat menggunakan empat jenis model classifier dari Machine Learning yaitu Random Forest, KNN, SVM, dan Decision Tree. Model-model yang digunakan berhasil mengidentifikasi bahasa isyarat SIBI, walaupun memiliki kekurangan dan masih lama dibandingkan dengan metode ketik. Kinerja model terbaik ialah Random Forest dengan nilai akurasi, presisi, f1, serta recall sebesar 97,7% yang diperoleh dari pengujian model dan 84% presisi secara real time. Serta mampu mencapai standar durasi paling singkat dalam mengklasifikasi gestur yaitu sebesar 34,6 kata per menit. Model yang lain memiliki kinerja yang cukup baik dengan kemampuan kinerja terendah diperoleh dari Decision Tree yaitu sebesar 89,3% untuk nilai akurasi, presisi, f1, dan recall yang diperoleh dari pengujian model. Kemudian memperoleh 75% nilai presisi secara real time dan  memperoleh rata rata kecepatan klasifikasi 17.6 kata per menit.