PENGEMBANGAN GAME EDUKASI PUZZLE BERBASIS COMPUTER VISION HAND TRACKING UNTUK ANAK USIA DINI
DEVELOPMENT OF AN EDUCATIONAL PUZZLE GAME USING COMPUTER VISION-BASED HAND TRACKING FOR EARLY CHILDHOOD
DOI:
https://doi.org/10.52972/hoaq.vol16no1.p16-22Keywords:
computer vision, Hand Tracking, puzzleAbstract
Penelitian ini bertujuan untuk mengembangkan game edukasi puzzle berbasis Computer Vision dengan Hand Tracking untuk anak usia dini. Game ini dirancang agar pemain dapat menyusun potongan puzzle menggunakan gerakan tangan, tanpa perlu menggunakan perangkat input fisik seperti mouse atau keyboard. Teknologi Hand Tracking yang digunakan berbasis MediaPipe dan OpenCV, memungkinkan deteksi tangan serta pengenalan pinch gesture (gerakan mencubit) untuk memilih dan memindahkan potongan puzzle ke posisi yang benar. Hasil pengujian sistem menunjukkan bahwa seluruh fitur utama game telah berfungsi dengan baik. Deteksi tangan berhasil mengenali tangan pemain dan menampilkan titik-titik landmark. Pinch gesture dengan jarak ? 70 px antara jari telunjuk dan jari tengah dapat digunakan untuk memilih potongan puzzle. Pemindahan dan penyelarasan otomatis potongan puzzle ke dalam grid juga berfungsi sesuai harapan. Potongan yang telah ditempatkan dengan benar akan terkunci dan ditandai dengan warna hijau, sedangkan yang belum benar berwarna merah. Sistem juga berhasil berpindah ke level berikutnya setelah puzzle terselesaikan dan menampilkan notifikasi "Puzzle Selesai!" ketika semua level telah diselesaikan. Selain itu, game telah berjalan dalam mode fullscreen dan dapat ditutup dengan menekan tombol ‘q’. Dengan hasil pengujian yang menunjukkan keberhasilan implementasi fitur-fitur utama, game edukasi puzzle berbasis Computer Vision ini dapat memberikan pengalaman belajar yang interaktif dan menyenangkan bagi anak usia dini, sekaligus meningkatkan keterampilan kognitif dan koordinasi tangan-mata mereka.
This study aims to develop an educational puzzle game based on Computer Vision with Hand Tracking for early childhood. The game is designed to allow players to assemble puzzle pieces using hand gestures, eliminating the need for physical input devices such as a mouse or keyboard. The Hand Tracking technology used is based on MediaPipe and OpenCV, enabling hand detection and recognition of pinch gestures for selecting and moving puzzle pieces to the correct position. System testing results show that all the game's main features function properly. Hand detection successfully recognizes the player's hand and displays landmark points. A pinch gesture with a distance of ? 70 px between the index and middle fingers can be used to select puzzle pieces. The movement and automatic alignment of puzzle pieces into the grid also work as expected. Correctly placed pieces are locked and marked in green, while incorrect ones are marked in red. The system also successfully transitions to the next level once the puzzle is completed and displays a "Puzzle Selesai!" notification when all levels are finished. Additionally, the game runs in fullscreen mode and can be closed by pressing the 'q' key. With testing results confirming the successful implementation of key features, this Computer Vision-based educational puzzle game is expected to provide an interactive and enjoyable learning experience for young children while enhancing their cognitive skills and hand-eye coordination.
References
N. Rahmayuni and N. Hazizah, “Penggunaan Permainan Hulahop dalam Mengembangkan Kemampuan Motorik Kasar Anak Usia Dini,” Jurnal Pendidikan Tambusai, vol. 4, no. 1, pp. 535–541, Apr. 2020, doi: 10.31004/jptam.v4i1.495.
A. M. Chalik, B. A. Qowy, F. Hanafi, and A. Nuraminah, “Mouse Tracking Tangan dengan Klasifikasi Gestur menggunakan OpenCV dan Mediapipe,” Jurnal Ilmiah Teknik Informatika dan Komunikasi (JUITIK), vol. 1, no. 2, pp. 10–18, July. 2021, doi: 10.55606/juitik.v1i2.323.
D. Khairianto and R. Firdaus, “Penerapan Hand Gesture Recognition sebagai Media Kontrol Presentasi Aplikasi PowerPoint,” Jurnal Mahasiswa Teknik Informatika (JATI), vol. 8, no. 2, pp. 1852-1860, Apr. 2024, doi: 10.36040/jati.v8i2.9167.
A. Setiawan, H. Praherdhiono, and S. Sulthoni, “Penggunaan Game Edukasi Digital sebagai Sarana Pembelajaran Anak Usia Dini,” Jurnal Inovasi dan Teknologi Pembelajaran (JINOTEP), vol. 6, no. 1, pp. 39-44, July. 2019, doi: 10.17977/um031v6i12019p039.
V. Križnar, M. Leskovšek, and B. Batagelj, “Use of Computer Vision Based Hand Tracking in Educational Environments,” in 2021 IEEE 44th International Convention on Information, Communication and Eletronic Technology (MIPRO), Opatija: IEEE, Nov. 2021, pp. 4–17. doi: 10.23919/MIPRO52101.2021.9596976.
S. N. Budiman, S. Lestanti, S. M. Evvandri, and R. K. Putri, “Pengenalan Gestur Gerakan Jari untuk Mengontrol Volume di Komputer menggunakan Library Opencv dan MediaPipe,” Antivirus: Jurnal Ilmiah Teknik Informatika, vol. 16, no. 2, pp. 223–232, Nov. 2022, doi: 10.35457/antivirus.v16i2.2508.
S. Irviantina, D. A. Wijaya, D. R. Situmorang, and N. M. J. Nasution, “Deteksi Bahasa Isyarat Berdasarkan Abjad menggunakan Metode LSTM (Long Short-Term Memory),” Majalah Ilmiah METHODA, vol. 14, no. 3, pp. 371-376, Dec. 2024, doi: 10.46880/methoda.Vol14No3.pp371-376.
H. Nurul, D. M. K. Nugraheni, B. Noranita, and N. Bahtiar, “Pengembangan Game Edukasi Digital Tema Seni dan Bahasa dengan Metode Multimedia Development Life Cycle,” Jurnal Sistem Informasi Bisnis, vol. 14, no. 3, pp. 302-310, Aug. 2024, doi: 10.21456/vol14iss3pp302-310.
D. I. Mulyana, Rasiban, Sutisna, and S. F. Banase, “Optimasi Deteksi Gerak Bahasa Isyarat dan Ekpresi Wajah Real Time dengan Metode Random Forest,” Jurnal Teknologi Informasi dan Komunikasi (JTIK), vol. 9, no. 1, pp. 277–284, Jan. 2025, doi: 10.35870/jtik.v9i1.3188.
M. Sari and E. R. Jamzuri, “Hand Sign Recognition of Indonesian Sign Language System SIBI Using Inception V3 Image Embedding and Random Forest,” Jurnal Rekayasa Sistem dan Teknologi Informasi (RESTI), vol. 9, no. 2, pp. 258-265, Mar. 2025, doi: 10.29207/resti.v9i2.6156.
P. T. D. Faradisha and D. P. Ambara, “Permainan Puzzle berbasis Multimedia Interaktif untuk Menstimulus Kognitif Anak Usia Dini,” Jurnal Pendidikan Anak Usia Dini Undiksha (PAUD), vol. 10, no. 1, pp. 153–162, Jul. 2022, doi: 10.23887/paud.v10i1.47136.
T. Mado, “Aplikasi Multimedia Pembalajaran Huruf dan Angka untuk Anak - Anak”, HOAQ: Jurnal Teknologi Informasi, vol. 12, no. 1, pp. 38–44, May. 2021, doi: 10.52972/hoaq.vol12no1.p38-44.
Supiyandi, A. Sitorus, N. Fitriah, H. Virul, and S. P. Rangkuti, “Pendeteksi Gerakan pada Vidio menggunakan Pyton dan OpenCV,” Merkurius: Jurnal Riset Sistem Informasi dan Teknik Informatika, vol. 2, no. 6, pp. 334–343, Nov. 2024, doi: 10.61132/merkurius.v2i6.522.
U. E. E. Rasmani, N. E. Nurjanah, J. Jumiatmoko, Y. K. W. Widiastuti, P. Agustina, and M. D. P. Nazidah, “Multimedia Interaktif PAUD dalam Perspektif Merdeka Belajar,” Obsesi: Jurnal Pendidikan Anak Usia Dini, vol. 6, no. 5, pp. 5397–5405, Aug. 2022, doi: 10.31004/obsesi.v6i5.2962.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi
This work is licensed under a Creative Commons Attribution 4.0 International License.
Jurnal HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi diterbitkan berdasarkan lisensi Creative Commons Attribution 4.0 International License (CC BY 4.0). Lisensi ini memungkinkan setiap orang untuk Berbagi: menyalin dan mendistribusikan kembali materi ini dalam format atau bentuk apapun; Adaptasi: merombak, mengubah, dan membuat turunan dari materi ini untuk keperluan apa pun, termasuk keperluan komersial, asalkan mereka memberikan pengakuan kepada Penulis Asli atas hasil karya aslinya.
