Apple Sedang Kerjakan MGIE, Bisa Edit Gambar Berdasarkan Perintah Berbasis Teks

Techverse.asia - Apple memang bukanlah salah satu pemain terbaik dalam bidang kecerdasan buatan atau Artificial Intelligence (AI) saat ini, namun model AI open source baru untuk pengeditan gambar menunjukkan kemampuannya dalam berkontribusi terhadap bidang AI.

Model itu disebut dengan MLLM-Guided Image Editing (MGIE), yang menggunakan model bahasa besar multimodal (MLLM) untuk menafsirkan perintah berbasis teks saat memanipulasi gambar.

Dengan kata lain, model MGIE, yang sedang dikerjakan Apple bersama Universitas California, Santa Barbara, dapat memotong, mengubah ukuran, membalik, dan menambahkan filter ke gambar melalui perintah teks.

Meskipun ini bukan alat pertama yang dapat melakukan hal tersebut, 'instruksi manusia terkadang terlalu singkat untuk ditangkap dan diikuti oleh metode saat ini,' demikian tertulis dalam makalah proyek (PDF) itu.

MGIE dapat diterapkan pada tugas penyuntingan gambar yang sederhana dan lebih kompleks seperti memodifikasi objek tertentu dalam foto untuk menjadikannya bentuk yang berbeda atau menjadi lebih cerah. Model ini memadukan dua penggunaan model bahasa multimodal yang berbeda.

MLLM memiliki kekuatan untuk mengubah perintah teks sederhana atau ambigu menjadi instruksi yang lebih rinci dan jelas yang dapat diikuti oleh editor foto.

Pertama, ia mempelajari cara menafsirkan perintah pengguna. Kemudian ia 'membayangkan' seperti apa hasil editannya, misalnya, meminta langit yang lebih biru pada foto berarti menaikkan kecerahan pada bagian langit suatu gambar.

Misalnya juga, jika pengguna ingin mengedit foto pizza pepperoni untuk 'membuatnya lebih sehat', MLLM dapat menafsirkannya sebagai tambahkan topping sayuran dan edit foto tersebut.

Atau foto harimau di Gurun Sahara tampak gelap, tapi setelah memberi tahu model untuk menambahkan lebih banyak kontras untuk menyimulasikan lebih banyak cahaya, gambarnya tampak menjadi lebih cerah.

Selain melakukan perubahan besar pada gambar, MGIE juga dapat memotong, mengubah ukuran dan memutar foto, serta meningkatkan kecerahan, kontras, dan keseimbangan warna, semuanya melalui petunjuk teks.

Ia juga dapat mengedit area tertentu pada foto dan, misalnya, memodifikasi rambut, mata, dan pakaian orang yang ada di dalamnya, atau menghapus elemen di latar belakang.

“Alih-alih memberikan panduan yang singkat tapi ambigu, MGIE memperoleh maksud sadar visual yang eksplisit dan mengarah pada pengeditan gambar yang wajar. Kami melakukan studi ekstensif dari berbagai aspek pengeditan dan menunjukkan bahwa MGIE kami secara efektif meningkatkan kinerja sekaligus menjaga efisiensi kompetitif.”

“Kami juga percaya kerangka kerja yang dipandu MLLM dapat berkontribusi pada penelitian visi dan bahasa di masa depan,” kata para peneliti dalam makalah tersebut dilansir, Jumat (9/2/2024).

Seperti yang dicatat oleh VentureBeat, Apple merilis model tersebut melalui GitHub, tetapi mereka yang tertarik juga dapat mencoba demo yang saat ini di-hosting di Hugging Face Spaces.

Kendati demikian, Apple belum mengatakan apakah mereka berencana untuk menggunakan apa yang dipelajari dari proyek ini ke dalam alat atau fitur yang dapat dimasukkan ke dalam produknya.

Beberapa platform pembuatan gambar, seperti DALL-E 3 OpenAI, dapat melakukan tugas pengeditan foto sederhana pada gambar yang mereka buat melalui input teks. Pencipta Photoshop, Adobe, yang digunakan kebanyakan orang untuk mengedit gambar, juga memiliki model pengeditan AI sendiri.

Model Firefly AI-nya mendukung pengisian generatif, yang menambahkan latar belakang yang dihasilkan ke foto.

Apple belum menjadi pemain besar dalam bidang AI generatif, tidak seperti Microsoft, Meta, atau Google, namun CEO Apple Tim Cook menyatakan bahwa perusahaannya ingin menambahkan lebih banyak fitur AI ke perangkatnya tahun ini.

Pada Desember 2023, peneliti Apple merilis kerangka pembelajaran mesin sumber terbuka yang disebut MLX untuk mempermudah pelatihan model AI pada chip Apple Silicon.