Tak Puas Hanya dengan Massively Multilingual Speech, Meta Merilis SeamlessM4T

Awal tahun ini, Meta telah meluncurkan Massively Multilingual Speech. MMS ini menyediakan teknologi pengenalan ucapan, identifikasi bahasa, dan sintesis ucapan di lebih dari 1.100 bahasa.

Dan terbaru, Meta merilis model speech-to-text (lisan ke tulisan) baru yang dapat menerjemahkan hampir 100 bahasa, disebut SeamlessM4T.

SeamlessM4T, singkatan dari Massively Multilingual and Multimodal Machine Translation. Menurut perusahaan, ini dapat menerjemahkan speech-to-text dan text-to-text untuk hampir 100 bahasa. Untuk tindakan speech-to-speech dan text-to-speech (tulisan ke lisan), ia mengenali 100 bahasa masukan dan mengubahnya menjadi 35 bahasa keluaran.

"Ini dirilis di bawah lisensi Creative Commons CC BY-NC 4.0," tulis Meta di keterangan resmi mereka, dilansir Kamis (24/8/2023).

Riset ini menantang bagi para ilmuwan di Meta, karena sistem speech-to-speech dan speech-to-text yang ada hanya mencakup sebagian kecil dari bahasa dunia.

Tidak seperti model terjemahan sebelumnya lainnya, SeamlessM4T menggunakan satu sistem tunggal. Ini yang kemudian membuat Meta percaya, pendekatan yang diterapkan SeamlessM4T bakal mengurangi kesalahan dan penundaan, meningkatkan efisiensi dan kualitas proses penerjemahan.

Meta mendeskripsikan sistem terjemahan barunya sebagai 'model terjemahan AI multimodal dan multibahasa lengkap pertama', yang mampu mengenali ucapan dan terjemahan ucapan ke teks untuk hampir 100 bahasa berbeda.

Model ini juga dapat menginterpretasikan ucapan dan teks, dan mengeluarkan kata-kata lisan yang diterjemahkan masing-masing untuk 36 dan 35 bahasa.

M4T bahkan dilaporkan dapat memahami ketika pengguna mengubah bahasa di tengah kalimat. Dia dapat membantu, ketika menggunakan model untuk menerjemahkan orang-orang yang mencampurkan beberapa bagian bahasa saat mereka berbicara, yang oleh para peneliti bahasa disebut sebagai alih kode.

Sepertinya ini sangat membantu bagi wisatawan asing, bila bertemu anak muda Jakarta Selatan yang sering bilingual ya?

Meta menambahkan, SeamlessM4T dibangun berdasarkan kemajuan yang telah dibuat selama bertahun-tahun dalam upaya menciptakan penerjemah universal.

Manajer Ilmuwan Riset Meta, Paco Guzmán, dalam video demo di laman Meta, ia mengucapkan kalimat "tujuan kami adalah menciptakan dunia yang lebih terhubung."

Sementara pihak Meta menilai, kehadiran SeamlessM4T hanyalah langkah terbaru dalam upaya berkelanjutan mereka, untuk membangun teknologi bertenaga AI yang membantu menghubungkan orang-orang lintas bahasa.

"Di masa depan, kami ingin mengeksplorasi bagaimana model dasar ini dapat memungkinkan kemampuan komunikasi baru, yang pada akhirnya membawa kita lebih dekat ke dunia di mana semua orang dapat dipahami," ungkap perusahaan.

Bersamaan dengan SeamlessM4T, Meta juga merilis metadata untuk kumpulan data terjemahan terbukanya, SeamlessAlign.

Sebelum SeamlessM4T, Massively Multilingual Speech (MMS) yang juga bertenaga kecerdasan buatan atau Artificial Intelligence (AI) dapat mengenali lebih dari 4.000 bahasa lisan dan menghasilkan ucapan (text-to-speech) lebih dari 1.100.

Pengenalan ucapan dan model text-to-speech, biasanya memerlukan pelatihan selama ribuan jam audio, dengan label transkripsi yang menyertainya. Label sangat penting untuk pembelajaran mesin, memungkinkan algoritme mengkategorikan dan memahami data dengan benar.

Namun untuk bahasa yang tidak banyak digunakan di negara industri, banyak di antaranya terancam punah dalam beberapa dekade mendatang.

Meta menggunakan pendekatan yang tidak konvensional, untuk mengumpulkan data audio, yakni dengan memanfaatkan rekaman audio dari teks-teks agama yang diterjemahkan.

CEO Meta, Mark Zuckerberg, menjelaskan, setelah melatih model penyelarasan untuk membuat data lebih bermanfaat, Meta menggunakan wav2vec 2.0, model pembelajaran representasi ucapan mandiri buatan perusahaan, yang dapat melatih data tanpa label. Menggabungkan sumber data yang tidak konvensional dan model ucapan yang diawasi sendiri.

"Hasil kami menunjukkan bahwa model Massively Multilingual Speech bekerja dengan baik, dibandingkan dengan model yang ada dan mencakup 10 kali lebih banyak bahasa," kata dia.