Project Astra: Mendeteksi Lingkungan Sekitar Pengguna dengan AI

Google memamerkan Project Astra, versi awal dari asisten universal yang didukung oleh kecerdasan buatan (AI) dari Gemini.

CEO Google DeepMind, Demis Hassabis, menyebut Project Astra sebagai adalah agen AI versi Google yang dapat membantu dalam kehidupan sehari-hari.

Cara penggunaan aplikasi Project Astra adalah dengan mendeteksi lingkungan di sekeliling pengguna, kemudian pengguna dapat memberikan pertanyaan terkait benda di sekitar.

Tidak hanya itu, Project Astra dari Google ini juga bisa membantu pengguna mencari benda di sekitar. Contohnya, pengguna dapat memindai lingkungan sekitar menggunakan kamera ponsel.

Project Astra bekerja dengan memproses data visual secara langsung (real-time) sekaligus mengingat objek sekitar yang dipindai tadi.

"Kemampuan ini bisa dilakukan karena AI di Project Astra didesain untuk memroses informasi lebih cepat, dengan menyandingkan frame video yang diterima secara terus-menerus. Kemudian, AI menggabungkan video dan input perintah ke dalam timeline, dan menyimpan informasi dalam bentuk cache untuk memberikan jawaban yang lebih efisien," kata Demis, dikutip Kamis (16/5/2024).

Masih belum jelas informasi mengenai kapan teknologi ini akan diluncurkan. Namun, Hassabis memprediksi, di masa depan, ada kemungkinan teknologi asisten AI ini akan hadir di smartphone.

Google juga telah berupaya agar memberikan lebih banyak ekspresi vokal, sehingga AI tersebut dapat memberikan respons seperti manusia.

Perusahaan juga menyempurnakan suara AI dengan mengubah cara sistem berbicara. Jadi, suara AI tersebut bisa memberikan informasi dengan lebih banyak gaya bicara dan intonasi.

Selain Project Astra, Google I/O 2024 akan menjadi momen Google untuk mendebutkan Android versi terbaru. Diperkirakan, perusahaan bakal memperkenalkan Android 15.

Saat ini, Android 15 versi beta telah mulai digulirkan untuk sejumlah penguji. Beberapa fitur dari system operasi terbaru ini pun sudah mulai terungkap, seperti Privacy Sandbox yang diperbarui hingga konektivitas satelit yang ditingkatkan.

Kemudian, ada Gemini 1.5 Flash dan pembaruan untuk Gemini 1.5 Pro.

Flash berada di antara Gemini 1.5 Pro dan Gemini 1.5 Nano, yang merupakan model terkecil perusahaan yang berjalan secara lokal di perangkat.

Google menciptakan Flash karena pengembang menginginkan model yang lebih ringan dan lebih murah daripada Gemini Pro, untuk membangun aplikasi dan layanan yang didukung AI, sambil mempertahankan beberapa hal seperti jendela konteks panjang satu juta token yang membedakan Gemini Pro dari model pesaing.

Demis menyebut, baik 1.5 Pro dan Gemini 1.5 Flash tersedia dalam pratinjau publik dengan jendela konteks 1 juta token di Google AI Studio dan Vertex AI.

Ia menambahkan, meskipun model ini lebih ringan dibandingkan 1.5 Pro, model ini sangat mampu melakukan penalaran multimodal pada sejumlah besar informasi, dan memberikan kualitas yang mengesankan untuk ukurannya.

Gemini 1.5 Flash unggul dalam peringkasan, aplikasi obrolan, pembuatan teks gambar dan video, ekstraksi data dari dokumen dan tabel panjang, dan banyak lagi.

Kemudian, untuk Gemini 1.5 Pro kini dapat mengikuti instruksi yang semakin kompleks dan beragam, termasuk instruksi yang menentukan perilaku tingkat produk yang melibatkan peran, format, dan gaya.

Google telah memungkinkan pengguna 1.5 Pro untuk mengarahkan perilaku model dengan menetapkan instruksi sistem.

Mereka juga menambahkan pemahaman audio di Gemini API dan Google AI Studio, sehingga 1.5 Pro kini dapat mempertimbangkan seluruh gambar dan audio untuk video yang diunggah di Google AI Studio.

Berikutnya terkait dua model terbaru Gemma, yang juga bakal diumumkan di perhelatan Google I/O 2024 yaitu Gemma 2 dan PaliGemma.