Choose Model

This will effect the model that you use for transcribing

Whisper Conformer Wav2Vec

Record Your Voice

Transcription

Try with Example Audio

Latar Belakang Project:

Pada project kita kali ini, kami ingin membuat suatu model AI Speech Recognition yang mampu untuk menerima, mengenali dan memproses input berupa ucapan lisan multilingual termasuk dengan adanya bahasa lokal (seperti bahasa daerah). Projek kami didasarkan dengan kurangnya pengaplikasian bidang Speech Recognition pada low-resource language atau bahasa-bahasa yang memiliki data atau sumber daya yang relatif lebih sedikit. Kami ingin membuat model yang dapat mendeteksi pengguna baik berbahasa inggris, berbahasa indonesia maupun berbahasa daerah seperti bahasa jawa.

Dengan adanya multi-lingual speech recognition, pengolahan lisan dalam bahasa daerah seperti di Indonesia akan lebih terbantu dan semakin banyak pula. Terlebih lagi, pengolahan lisan dalam bahasa daerah masih sedikit dan kurang diperhatikan walaupun di Indonesia sendiri memiliki lebih dari 500 ragam banyaknya. Dari hal ini, kami ingin mengembangkan dua model AI dalam ranah Speech Recognition, yaitu Conformer dan Whisper untuk dapat belajar dan memproses bahasa multilingual. Model yang telah kami fine tune merupakan hasil fine-tuning dari Whisper dan Conformer untuk mendukung bahasa lokal di Indonesia, khususnya bahasa Jawa dan Sunda. Model dilatih menggunakan kombinasi dataset OpenSLR berikut:
SLR35 - Large Javanese ASR training data set
SLR36 - Large Sundanese ASR training data set
SLR41 - High quality TTS data for Javanese
SLR44 - High quality TTS data for Sundanese.
Model ini diharapkan bisa meningkatkan akurasi untuk bahasa yang sebelumnya kurang terwakili dalam model global.

Tujuan Project:

Dapat memahami ucapan lisan multilingual termasuk dengan bahasa low-resource language.
Ikut serta dalam pengembangan teknologi dalam pelatihan model pada low-resource language.
Berpartisipasi dalam pelestarian dan pembudidayaan bahasa-bahasa daerah di Indonesia yang kurang mendapatkan perhatian.

🧠 Whisper Architecture

Whisper adalah model Automatic Speech Recognition (ASR) open-source yang dikembangkan oleh OpenAI. Model ini dilatih menggunakan 680,000 jam data audio multilingual dan multitask, termasuk data yang memiliki noise dan hasil transkripsi otomatis untuk meningkatkan robustness.

Whisper mampu mentranskrip audio dengan background noise, serta memahami berbagai aksen dan bahasa secara efektif.

🔊 Conformer Architecture

Conformer (Convolutional Transformer) adalah arsitektur deep learning yang dirancang khusus untuk pengolahan sinyal suara, seperti speech recognition.

Model ini menggabungkan dua komponen utama:

Transformer: Menangkap hubungan global dalam data, seperti relasi antar kata dalam kalimat.
CNN (Convolutional Neural Network): Menangkap pola lokal seperti fonem atau suku kata dalam suara.

Dengan kombinasi ini, Conformer dapat memahami baik konteks global maupun detail lokal dari sinyal suara secara lebih efektif.

📊 Best Error Rate (WER / CER)

👨‍💻 Fine-Tuning Information

Model ini di-fine-tune oleh Brian, Nathan, Owen, Raenault menggunakan framework Hugging Face Transformers dan PyTorch

Semua pelatihan dilakukan di Google Colab.