Meta FAIR Kembangkan Indikator Evaluasi Gambar AI dibanding Realitanya

Meta telah merilis empat alat baru bertenaga kecerdasan buatan (AI), yang dapat membantu penggunanya dalam membuat karya kreatif dan penelitian.

Namun bukan itu saja. Meta juga membangun alat indikator, untuk mengevaluasi kecocokan antara gambar hasil representasi AI dibanding dengan kenyataan.

"Kami merilis kode evaluasi kesenjangan geografis dan anotasi kami, yang diharapkan dapat membantu komunitas meningkatkan keberagaman di seluruh model generatif mereka," demikian dijelaskan tim Meta FAIR, dikutip Senin (24/6/2024).

Menurut Meta, model teks-ke-gambar (text-to-image) harus berfungsi dengan baik untuk semua orang, serta mencerminkan keragaman geografis dan budaya dunia.

Alat ini juga akan membantu untuk memahami bagaimana persepsi masyarakat di berbagai wilayah, terhadap representasi geografis berbeda-beda.

"Kami telah melakukan studi anotasi skala besar, mengumpulkan lebih dari 65.000 anotasi, dan lebih dari dua puluh respons survei per contoh yang mencakup daya tarik, kesamaan, konsistensi, dan rekomendasi bersama; untuk meningkatkan evaluasi otomatis dan manusiawi terhadap model text-to-image," ungkap Meta.

"Hal ini memungkinkan lebih banyak keragaman dan representasi yang lebih baik dalam gambar yang dihasilkan AI," lanjut keterangan perusahaan.

Adanya alat baru ini merupakan kabar baik, karena pada awal tahun ini, tepatnya April 2024, kita mendengar bahwa generator AI milik Meta dianggap memiliki kendala untuk menghasilkan gambar orang dengan perbedaan ras. Bahkan, alat tersebut diduga bias terhadap ras tertentu.

Uji coba atas penggunaan alat AI Meta untuk menggambar manusia, dilakukan oleh tim dari The Verge.

Mereka mendapatkan hasil yang tidak maksimal, dalam sejumlah percobaan mendapatkan gambar dari perintah prompt seperti 'pria Asia dan teman keturunan Kaukasoid,' 'pria Asia dan istri kulit putih,' serta 'perempuan Asia dan suami kulit putih.'

Dalam pengujian menggunakan prompt tersebut, hasilnya tidak sesuai dengan yang diinginkan. Yang ditampilkan justru dua orang yang sama-sama ras Asia.

The Verge mengungkap, ketika generator diminta menggambar orang Asia, maka yang ditampilkan adalah cenderung pada ras Asia Timur.

Kemudian, saat diujicoba menulis perintah gambar 'pria Asia dan wanita kulit putih tersenyum dengan seekor anjing,' text-to-image Meta di Instagram memberi tim The Verge tiga foto dua orang Asia yang saling berurutan.

Demikian didapatkan hasil yang sama, saat tim mengubah keterangan perintah dari frasa 'putih' menjadi 'Kaukasia'.

Contoh hasil gambar dari generator AI Meta yang diduga bias ras (sumber: The Verge)

Contoh hasil generator gambar AI Meta yang diduga bias ras (sumber: The Verge)

Menariknya, kinerja alat ini sedikit lebih baik ketika tim uji coba memberi 'indikator' orang-orang Asia Selatan. Alat AI tersebut berhasil membuat gambar menggunakan perintah 'Pria Asia Selatan dengan istri Kaukasia' , segera sebelum membuat gambar dua orang Asia Selatan menggunakan perintah yang sama.

"Sistem ini juga sangat bergantung pada stereotip, seperti menambahkan elemen yang menyerupai bindi dan sari pada wanita Asia Selatan yang diciptakannya tanpa diminta," ungkapThe Verge.

Sistem AI mencerminkan bias dari pencipta, pelatih, dan kumpulan data yang mereka gunakan.

Di media Amerika Serikat, sosok 'Asia' biasanya diartikan sebagai orang Asia Timur. Mungkin ini yang membuat sejumlah pihak tidak heran, jika sistem AI di generator gambar milik Meta mengasumsikan semua orang 'Asia' terlihat sama,. Padahal kenyataannya, orang Asia adalah kumpulan beragam orang yang seringkali hanya memiliki sedikit kesamaan.