RANCANG BANGUN CHATBOT PEMBELAJARAN BAHASA INGGRIS MENGGUNAKAN PENDEKATAN HYBRID ARTIFICIAL INTELLIGENCE UNTUK MENGATASI FOSSILIZED ERROR PADA PELAJAR INDONESIA

DESIGN AND IMPLEMENTATION OF AN ENGLISH LEARNING CHATBOT USING A HYBRID ARTIFICIAL INTELLIGENCE APPROACH TO ADDRESS FOSSILIZED ERRORS AMONG INDONESIAN LEARNERS

Abstract

Penguasaan bahasa Inggris masyarakat Indonesia masih tergolong rendah, sebagaimana ditunjukkan oleh laporan EF English Proficiency Index (EF EPI) 2023 yang menempatkan Indonesia pada peringkat ke-79 dari 113 negara dengan kategori low proficiency. Salah satu akar permasalahannya adalah fenomena fossilized error, yaitu kesalahan gramatikal yang menetap dalam jangka panjang akibat pengaruh bahasa pertama (L1). Sebagai upaya mengatasi permasalahan tersebut, dikembangkan sistem chatbot berbasis Hybrid AI yang mengintegrasikan sistem berbasis aturan (rule-based), Natural Language Processing (NLP), dan basis pengetahuan (knowledge base) untuk mendeteksi serta mengoreksi kesalahan gramatikal bahasa Inggris pada penutur Indonesia. Sistem dikembangkan menggunakan Python dengan library SentenceTransformers, FAISS, dan algoritma Naive Bayes untuk klasifikasi kesalahan gramatikal ke dalam 36 kategori. Evaluasi dilakukan menggunakan Black Box Testing dengan metrik akurasi, presisi, recall, dan F1-score. Hasil evaluasi menunjukkan Naive Bayes mencapai akurasi klasifikasi sebesar 32,18% pada 36 kelas error yang sangat granular, dengan nilai tersebut 11,6 kali lebih baik dari baseline acak (2,78%). Kelas terbaik mencapai F1-score 0,82 pada kategori Negation Errors, Quantifier Errors, dan Mixed Metaphors/Idioms. Rata-rata skor kemiripan semantik sistem (Avg Similarity Score) mencapai 42,17%, menunjukkan kemampuan sistem dalam memberikan respons yang relevan secara kontekstual. Fitur Text to Speech dan Upload File terbukti meningkatkan pengalaman belajar pengguna. Kontribusi yang dihasilkan meliputi prototipe chatbot edukatif berbasis web yang dapat diakses secara daring beserta dataset fossilized error khas penutur Indonesia.

English proficiency among Indonesians remains considerably low, as indicated by the EF English Proficiency Index (EF EPI) 2023 report, which ranked Indonesia 79th out of 113 countries in the low proficiency category . One of the root causes is the phenomenon of fossilized errors, that is, grammatical mistakes that persist long-term due to the influence of the learner's first language (L1). To address this issue, a Hybrid AI-based chatbot system was developed, integrating a rule-based system, Natural Language Processing (NLP), and a knowledge base to detect and correct fossilized English grammar errors among Indonesian speakers. The system was developed using Python with SentenceTransformers, FAISS, and a Naive Bayes algorithm for classifying grammatical errors into 36 categories. Evaluation was conducted using Black Box Testing with accuracy, precision, recall, and F1-score metrics. Results show that Naive Bayes achieved a classification accuracy of 32.18% across 36 highly granular error classes, a value 11.6 times better than the random baseline (2.78%). The best-performing classes reached an F1-score of 0.82 for Negation Errors, Quantifier Errors, and Mixed Metaphors/Idioms. The average semantic similarity score (Avg Similarity Score) of the system reached 42.17%, demonstrating the system's ability to generate contextually relevant responses. The Text to Speech and File Upload features were proven to enhance the user learning experience. The contributions of this work include a web-based educational chatbot prototype and a dataset of fossilized errors typical of Indonesian English learners.