Sumber Foto: Nazwa Aulya
BANYUMAS, SUDUTNALAR – Prototipe Gesture Accessibility Tool dirancang untuk mengubah gerakan tangan menjadi teks dan suara, guna memudahkan penyandang tunarungu-wicara berkomunikasi dengan masyarakat umum. Alat ini dibuat oleh Nazwa Aulya, mahasiswa Universitas Pendidikan Indonesia sekaligus alumni Google Student Ambassador 2026 Batch 1.
Perempuan asal Purwokerto ini menjelaskan bahwa proses kerjanya diawali dari kamera yang menyala secara terus-menerus untuk memindai tangan pengguna. Program kemudian menandai titik-titik koordinat pada jari sehingga terbentuk kerangka tangan yang tampak di layar. Dari kerangka tersebut, sistem dapat mengenali posisi jari yang sedang terentang maupun tertekuk.
Pola tersebut lalu dicocokkan dengan basis data gerakan yang telah ditentukan hingga memunculkan kata seperti “halo”, “tolong”, atau “selamat pagi”. Tulisan tersebut seketika diubah menjadi luaran suara.
“Sistem ini mengeluarkan output ganda berupa teks dan audio. Dengan begitu, masyarakat yang awam bahasa isyarat bisa langsung paham, baik dengan membaca tulisan di layar maupun mendengarkan suaranya,” jelas Nazwa.
Gagasan ini berawal dari keprihatinannya terhadap sulitnya penyandang tunarungu-wicara menyampaikan hal mendasar.
“Kata sederhana seperti ‘tolong’ atau ‘maaf’ sering kali terhenti di tengah jalan. Bukan karena mereka tidak mampu, melainkan karena lawan bicaranya tidak paham bahasa isyarat,” tutur Nazwa. Menurutnya, membangun jembatan komunikasi adalah tanggung jawab bersama.
Dalam pengembangannya, Nazwa memanfaatkan bahasa pemrograman Python dan computer vision. Teknologi pengenal objek visual tersebut bertugas membaca titik koordinat tangan secara otomatis. Hal ini memudahkan Nazwa untuk berfokus merancang aturan logika, yaitu menetapkan arti dari setiap pola gestur jari.
Namun, memastikan komputer tidak salah membaca gerakan menjadi tantangan terbesar.
“Tantangannya ada pada tingkat kemiripan gestur, seperti empat dan lima jari. Minimnya pencahayaan atau sudut tangan yang miring bisa memicu eror pada pembacaan sistem,” ungkap Nazwa.
Karena itu, sebagian besar waktu pengerjaan dihabiskan untuk menyempurnakan aturan pembeda gestur. Kendala menulis kode itu terasa lebih ringan setelah Nazwa memakai Gemini Canvas.
“Ruang kodenya menyatu sehingga bisa langsung diedit dan diuji di tempat. Saya tidak perlu menjelaskan instruksi dari awal lagi. Rasanya seperti berkolaborasi dalam satu proyek, bukan sekadar tanya jawab,” terang Nazwa.
Sekalipun terbantu oleh AI, Nazwa menegaskan bahwa keputusan akhir tetap berada di tangan manusia. Menurutnya, AI hanyalah asisten yang memberikan saran. Karena itu, ia selalu menguji setiap variasi gerakan langsung di depan kamera.
Saat ini, alat tersebut masih berwujud prototipe yang mampu mengenali sejumlah kata dan mengubahnya menjadi teks serta suara secara langsung. Komunikasinya pun masih satu arah, dari gerakan tangan ke teks dan suara, serta belum menjadi penerjemah Bahasa Isyarat Indonesia (Bisindo) yang utuh.
Nazwa telah menyiapkan tiga tahapan pengembangan berikutnya. Ia akan menambah perbendaharaan kata dan meningkatkan akurasi sistem agar alat tetap bekerja dengan tepat meskipun bentuk tangan, kondisi pencahayaan, maupun latar belakang berbeda. Setelah itu, alat akan dikembangkan untuk mengenali gestur yang bergerak dinamis, tidak hanya pose diam. Jika seluruh fungsi tersebut sudah stabil, ia berencana menghadirkan sistem komunikasi dua arah yang lebih komprehensif.
Bagi Nazwa, aksesibilitas tidak sekadar menciptakan teknologi yang canggih.
“Aksesibilitas berarti memastikan tidak ada orang yang harus berhenti bicara hanya karena orang lain tidak tahu cara mendengarkan,” ujarnya.
Reporter: Happy Zahra Khairunnisa
Editor: Fadel Daren Nafisa