Riset Apple: Model AI Berbasis LLM Tidak Mampu Berpikir Logis

Riset yang dilakukan oleh tim kecerdasan buatan (AI) Apple menemukan bahwa, mesin yang didasarkan pada model bahasa besar (LLM), seperti yang dikembangkan oleh Meta dan OpenAI, masih kurang dalam kemampuan penalaran dasar.

Riset tersebut menyimpulkan, model LLM saat ini tidak memiliki kemampuan penalaran kritis, dan cenderung menggunakan pola pencocokan yang rentan terhadap perubahan kata-kata sederhana.

LLM adalah model kecerdasan buatan yang dilatih menggunakan sejumlah besar data teks. Model ini dirancang untuk memahami, menghasilkan, dan merespons teks secara alami, meniru bagaimana manusia berbicara atau menulis. Biasanya digunakan pada chatbot AI, penerjemah dan penulisan otomatis.

"Riset yang diterbitkan oleh arXiv untuk Apple itu mengungkap, chatbot AI tersebut hanya mencocokan pola untuk menjawab pertanyaan atau memproses permintaan pengguna," demikian dilansir dari Katadata, Selasa (15/10/2024).

Diketahui, arXiv adalah platform berbagi hasil penelitian yang dikurasi dan terbuka untuk siapa saja.

Menurut penelitian, tolok ukur yang paling umum untuk keterampilan penalaran adalah tes GSM8K, yakni kumpulan soal matematika yang terdiri dari sekitar 8.000 soal tingkat sekolah dasar.

Tes itu digunakan untuk mengukur kemampuan penalaran dan pemecahan masalah model AI. Soal-soal ini biasanya melibatkan pertanyaan logika sederhana dan perhitungan matematika dasar.

Namun ada risiko model AI pernah dilatih dengan jawaban-jawaban dari tes tersebut. Jika benar, maka hasilnya mungkin tidak mencerminkan kecerdasan sebenarnya dari model, tetapi lebih karena AI telah mempelajari jawaban saat pelatihan, bukan karena kemampuan berpikir yang asli.

Tim Apple selanjutnya mengusulkan tolok ukur baru bernama GSM-Symbolic untuk membantu mengukur kemampuan penalaran model-model ini.

Penelitian ini menguji lebih dari 20 model, termasuk GPT-4 dari OpenAI.

Untuk menguji pola penalaran dari AI yang sesungguhnya, tes tersebut mengubah hal-hal seperti nama, angka, dan menambahkan informasi tidak penting. Poin-poin itu diubah untuk melihat apakah AI masih bisa menjawab pertanyaan dengan benar.

Secara khusus, kinerja semua model menurun saat nilai numerik atau variabel dalam pertanyaan diubah pada tolok ukur GSM-Symbolic. Penelitian tersebut juga menunjukkan, semakin kompleks pertanyaan dengan lebih banyak klausa, kinerja model semakin memburuk.

Tim Apple juga menguji masalah matematika sederhana yang seharusnya tidak dipengaruhi oleh informasi tambahan.

Contoh soal yang digunakan misalnya: "Oliver memetik 44 kiwi hari Jumat. Kemudian dia memetik 58 kiwi pada Sabtu. Pada Minggu, dia memetik dua kali lipat jumlah kiwi yang dia lakukan pada Jumat, tetapi lima di antaranya sedikit lebih kecil dari rata-rata. Berapa banyak buah kiwi yang dimiliki Oliver?"

Namun, model dari OpenAI dan Meta secara keliru menghitung jumlah total kiwi Oliver dengan mengurangkan 'lima kiwi yang lebih kecil' dalam soal tadi, tanpa memahami bahwa ukuran kiwi tidak relevan dengan masalah yang sedang ditanyakan.

Ini membuktikan bahwa model tersebut tidak benar-benar memahami masalah dan hanya mengandalkan pola bahasa.

"Model AI cenderung mengubah pernyataan menjadi operasi tanpa benar-benar memahami maknanya. Ini memvalidasi hipotesis peneliti, bahwa LLM mencari pola dalam masalah penalaran, daripada secara bawaan memahami konsep," demikian isi penelitian.

Model pengujian pada tolok ukur yang mencakup informasi yang tidak relevan itu, mengekspos cacat kritis dalam kemampuan LLM untuk benar-benar memahami konsep matematika dan membedakan informasi yang relevan untuk pemecahan masalah.

Berkaca pada hasil pengujian, dikabarkan Apple berencana memperkenalkan AI versinya sendiri yang lebih canggih, dimulai dengan iOS 18.1, guna mengatasi keterbatasan yang ada pada LLM saat ini.