PENERAPAN KECERDASAN BUATAN DALAM SISTEM PENGENALAN GERAK TANGAN UNTUK MENDUKUNG KOMUNIKASI PADA PENYANDANG TUNAWICARA

APPLICATION OF ARTIFICIAL INTELLIGENCE IN A HAND GESTURE RECOGNITION SYSTEM TO SUPPORT COMMUNICATION FOR PEOPLE WITH SPEECH IMPAIRMENTS

Authors

  • Rija Ardiansyah Universitas Bina Sarana Informatika
  • Rio Zamroni Universitas Bina Sarana Informatika
  • Muhammad Azhar Universitas Bina Sarana Informatika
  • Kevin Indra Mahesa Universitas Bina Sarana Informatika
  • Syaiful Fan Reza Universitas Bina Sarana Informatika
  • Yudhistira Arkananta Universitas Bina Sarana Informatika
  • Esron Richardo Nainggolan Universitas Bina Sarana Informatika
  • Herlambang Brawijaya Universitas Bina Sarana Informatika

DOI:

https://doi.org/10.52972/hoaq.vol17no1.p53-61

Keywords:

kecerdasan buatan, pengenalan gerakan tangan, tunawicara, MediaPipe, CNN

Abstract

Perkembangan teknologi kecerdasan buatan (AI) telah mendorong peningkatan signifikan dalam interaksi antara manusia dan mesin, khususnya dalam menyediakan akses komunikasi yang lebih baik bagi individu dengan gangguan bicara. Penelitian ini mengusulkan sebuah sistem penerjemah Bahasa Isyarat Indonesia (BISINDO) berbasis computer vision yang mengintegrasikan deteksi landmark tangan secara real-time menggunakan MediaPipe dengan proses klasifikasi gestur berbasis Convolutional Neural Network (CNN). Sistem ini dirancang untuk mengenali pola gerakan tangan secara dinamis dan mengubahnya menjadi teks atau suara sintetis melalui modul Google Text-to-Speech (gTTS). Pendekatan yang digunakan menggabungkan analisis spasial dan temporal untuk menghasilkan interpretasi gestur yang akurat dan responsif terhadap konteks. Penelitian ini juga mengidentifikasi tantangan implementasi terkait kemampuan generalisasi model terhadap perbedaan pengguna, kondisi pencahayaan, dan lingkungan, serta menawarkan solusi melalui teknik augmentasi data dan optimalisasi arsitektur jaringan saraf. Dengan desain yang fleksibel dan adaptif, sistem ini memiliki potensi besar untuk menjadi dasar pengembangan teknologi bantuan komunikasi inklusif berbasis AI di Indonesia serta mendorong kolaborasi antara bidang visi komputer, bahasa isyarat, dan teknologi Internet of Things (IoT).

 

Advances in artificial intelligence (AI) technology have driven significant improvements in human–machine interaction, particularly in enhancing communication accessibility for individuals with speech impairments. This study proposes an Indonesian Sign Language (BISINDO) interpreter system based on computer vision, integrating real-time hand landmark detection using the MediaPipe framework with gesture classification powered by a Convolutional Neural Network (CNN). The system is designed to dynamically recognize hand gesture patterns and convert them into text or synthetic speech through the Google Text-to-Speech (gTTS) module. This approach combines spatial and temporal analysis to produce accurate and contextually responsive gesture interpretations. The study also identifies implementation challenges related to the model’s generalizability across different users, lighting conditions, and environments, while offering solutions through data augmentation techniques and neural network architecture optimization. With its flexible and adaptive design, the proposed system has strong potential to serve as a foundation for the development of AI-based inclusive communication technologies in Indonesia and to foster collaboration across the fields of computer vision, sign language, and Internet of Things (IoT) applications.

References

I. V. Lemmuela, M. Ayub, and O. Karnalim, “Dynamic Sign Language Recognition in Bahasa using MediaPipe, Long Short-Term Memory, and Convolutional Neural Network,” Journal of Information Systems Engineering and Business Intelligence, vol. 11, no. 1, pp. 17–29, Feb. 2025, doi: https://doi.org/10.20473/jisebi.11.1.17-29.

O. Dwi Nurhayati, D. Eridani, and M. Hafiz Tsalavin, “Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential Secara Real Time,” Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK), vol. 9, No 4, pp. 819–828, Aug. 2022, doi: https://doi.org/10.25126/jtiik.2022944787.

F. Damatraseta, R. Novariany, and M. A. Ridhani, “Real-time BISINDO Hand Gesture Detection and Recognition with Deep Learning CNN,” Jurnal Informatika Kesatuan, vol. 1, no. 1, pp. 71–80, Jul. 2021, doi: https://doi.org/10.37641/jikes.v1i1.774.

S. Suki, C. Lubis, and J. Pragantha, “Implementasi Virtual Mouse Berbasis Hand Gesture Recognition dengan Mediapipe dan Convolutional Neural Network under a Creative Commons Attribution-NonCommercial ShareAlike 4.0 International (CC BY-NC-SA 4.0),” Jurnal INSTEK (Informatika Sains dan Teknologi Informasi), vol. 10, no 1, no. 1, pp. 40–51, Apr. 2025, doi: https://doi.org/10.24252/instek.v10i1.53138.

Heri Pratikno, Muhammad Rifki Pratama, Yosefine Triwidyastuti, and Musayyanah, “Pengenalan Gestur Jari Tangan Sebagai Media Pembelajaran Berhitung Bagi PAUD Berbasis Visi Komputer Dan Deep Learning,” Journal of Computer Electronic and Telecommunication, vol. 4, no. 1, Aug. 2023, doi: https://doi.org/10.52435/complete.v4i1.355.

Muhammad Rizaldi, Rudi Heriansyah, and Nazori Suhandi, “Pengenalan Gerakan Tangan untuk Kontrol Slide Presentasi Menggunakan Framework Mediapipe, OpenCV, dan Model LSTM,” Jurnal Publikasi Teknik Informatika (Jupti), vol. 4, no. 3, pp. 98–111, Sep. 2025, doi: https://doi.org/10.55606/jupti.v4i3.5332.

S. Nur Budiman, S. Lestanti, S. Marselius Evvandri, and R. Kartika Putri, “Pengenalan Gesture Gerakan Jari untuk Mengontrol Volume di Komputer Menggunakan Library OpenCV dan Mediapipe,” Antivirus?: Jurnal Ilmiah Teknik Informatika, vol. 16, no. 2, pp. 223–232, Nov. 2022, doi: https://doi.org/10.35457/antivirus.v16i2.2508.

A. A. H. A. A. S. C. Sofyan, “Pengenalan Bahasa Isyarat Bahasa Indonesia Real-time Menggunakan Metode SP-Tree ,” Jurnal Indonesia Manajemen Informatika dan Komunikasi, vol. 6, no. 2, pp. 1007–1014, May 2025, doi: https://doi.org/10.63447/jimik.v6i2.1371.

E. U. E. A. D. Tikasni, “Analisis Akurasi Object Detection Menggunakan Tensorflow Untuk Pengenalan Bahasa Isyarat Tangan Menggunakan Metode SSD,” Jurnal Fasilkom (Teknologi Informasi ran Ilmu Komputer, vol. 14, no. 2, pp. 385–393, Aug. 2024, doi: https://doi.org/10.37859/jf.v14i2.7512.

W. N. W. G. K. Z. A. Saputra R, “Sistem Klasifikasi Alfabet Bahasa Isyarat Indonesia Menggunakan CNN dengan MobileNetV2 berbasis Android,” JUPITER (Jurnal Penelitian Ilmu dan Teknologi Komputer), 2025, doi: https://doi.org/10.5281/zenodo.14686025.

D. Yahya, B. C. Putra, K. Anam, and M. Farkhan, “Alat Penerjemah Bahasa Isyarat Huruf Hijaiyah Menggunakan Sensor Fleksibel dan Mpu 6050 Berbasis Arduino,” BIOS?: Jurnal Teknologi Informasi dan Rekayasa Komputer, vol. 5, no. 1, pp. 46–52, 2023, doi: https://doi.org/10.37148/bios.v5i1.92.

R. M. P. A. Z. M. Libra Kelana E, “Integrating the CNN Model with the Web for Indonesian Sign Language (BISINDO) Recognition,” JAIC (Journal of Applied Informatics and Computing), 2025, doi: https://doi.org/10.30871/jaic.v9i3.9345.

I. I. F. F. N. P. G. Q. O. Arifah, “Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN,” Journal of Applied Informatics and Computing, vol. 6, no. 2, pp. 171–176, Dec. 2022, doi: https://doi.org/10.30871/jaic.v6i2.4694.

D. R. P. Endang Ratnawati Djuwitaningrum*, “Implementasi MouseVirtualBerbasis Pengenalan Gerakan Tangan MenggunakanMediaPipe dan OpenCV,” Jurnal Ilmu Pengetahuan dan Teknologi (IPTEK), vol. 9, no. 2, Aug. 2025, doi: https://doi.org/10.31543/jii.v9i2.402.

I. Suyudi, S. Sudadio, and S. Suherman, “Pengenalan Bahasa Isyarat Indonesia menggunakan Mediapipe dengan Model Random Forest dan Multinomial Logistic Regression,” Jurnal Ilmu Siber dan Teknologi Digital, vol. 1, no. 1, pp. 65–80, Feb. 2023, doi: https://doi.org/10.35912/jisted.v1i1.1899.

Downloads

Published

02-04-2026

How to Cite

Ardiansyah, R., Zamroni, R., Azhar, M., Mahesa, K. I., Reza, S. F., Arkananta, Y., Nainggolan, E. R., & Brawijaya, H. (2026). PENERAPAN KECERDASAN BUATAN DALAM SISTEM PENGENALAN GERAK TANGAN UNTUK MENDUKUNG KOMUNIKASI PADA PENYANDANG TUNAWICARA: APPLICATION OF ARTIFICIAL INTELLIGENCE IN A HAND GESTURE RECOGNITION SYSTEM TO SUPPORT COMMUNICATION FOR PEOPLE WITH SPEECH IMPAIRMENTS. HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi, 17(1), 53–61. https://doi.org/10.52972/hoaq.vol17no1.p53-61

Issue

Vol. 17 No. 1 (2026): Jurnal HOAQ - Teknologi Informasi

Section

Articles

License

Copyright (c) 2026 HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Jurnal HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi diterbitkan berdasarkan lisensi Creative Commons Attribution 4.0 International License (CC BY 4.0). Lisensi ini memungkinkan setiap orang untuk Berbagi: menyalin dan mendistribusikan kembali materi ini dalam format atau bentuk apapun; Adaptasi: merombak, mengubah, dan membuat turunan dari materi ini untuk keperluan apa pun, termasuk keperluan komersial, asalkan mereka memberikan pengakuan kepada Penulis Asli atas hasil karya aslinya.