Mengembangkan sistem Artificial Intelligence (AI) mutakhir seperti ChatGPT, jelas membutuhkan sumber daya teknis yang sangat besar. Sebagian karena mahal untuk dikembangkan dan dijalankan.
Sementara itu, beberapa upaya open source telah mencoba untuk merekayasa balik sistem proprietary, closed source yang dibuat oleh laboratorium komersial seperti Alphabet's DeepMind dan OpenAI. Mereka sering mengalami hambatan, terutama karena kurangnya modal dan keahlian domain.
Ingin meminimalisasi gangguan dan kendala, khususnya terkait sumber daya, sebuah kelompok riset komunitas, EleutherAI, membentuk yayasan nirlaba. Organisasi ini juga telah mengumumkan akan mendirikan lembaga penelitian nirlaba, EleutherAI Institute, yang didanai oleh donasi dan hibah dari para pendukung, termasuk startup AI Hugging Face dan Stability AI, mantan CEO GitHub Nat Friedman, Lambda Labs, dan Canva.
Peneliti AI di Booz Allen Hamilton, Stella Biderman, mengatakan, sebagai organisasi, EleutherAI Institute memungkinkan mereka untuk membangun staf penuh waktu dan terlibat dalam proyek yang lebih lama.
"Dan lebih terlibat daripada yang dapat dilakukan sebagai kelompok sukarelawan," kata Stella, yang organisasinya juga akan ikut menjalankan EleutherAI Institute itu. Pernyatan Stella kami dapati dari Techcrunch, Jumat (3/3/3023).
"Dalam hal organisasi nirlaba secara khusus, saya pikir itu tidak perlu dipikirkan. Mengingat fokus kami adalah pada penelitian dan ruang sumber terbuka," tuturnya.
Perjalanan EleutherAI
EleutherAI dimulai beberapa tahun yang lalu, sebagai kumpulan pengembang akar rumput yang bekerja untuk penelitian AI sumber terbuka. Anggota pendirinya antara lain Connor Leahy, Leo Gao, dan Sid Black.
Mereka menulis kode dan mengumpulkan data yang diperlukan, untuk membuat model pembelajaran mesin yang mirip dengan GPT-3 penghasil teks OpenAI.
stability.ai (Sumber: stability.ai)
Perusahaan mengkurasi dan membuka sumber The Pile. Itu adalah kumpulan-kumpulan data, yang dirancang untuk digunakan melatih model mirip GPT-3 dalam melengkapi teks, menulis kode, dan lainnya. Kemudian, itu selanjutnya digunakan dalam merilis beberapa model di bawah lisensi Apache 2.0, termasuk GPT-J dan GPT-NeoX, model bahasa yang untuk sementara memicu gelombang startup yang sama sekali baru.
Untuk melatih modelnya, EleutherAI sebagian besar mengandalkan TPU Research Cloud, program Google Cloud yang mendukung proyek dengan harapan hasilnya akan dibagikan secara publik.
CoreWeav, -penambang mata uang kripto berbasis di Amerika Serikat- yang menyediakan layanan cloud untuk beban kerja AI, juga memasok sumber daya komputasi ke EleutherAI, sebagai ganti model yang dapat digunakan dan dilayani oleh pelanggannya.
EleutherAI tumbuh dengan cepat. Saat ini, lebih dari 20 kontributor tetap komunitas bekerja penuh waktu, dengan fokus utama pada penelitian. Dan selama 18 bulan terakhir, anggota EleutherAI telah ikut menulis 28 makalah akademis, melatih lusinan model, dan merilis sepuluh basis kode.
Sifat berubah-ubah dari penyedia cloud mereka, terkadang memaksa EleutherAI membatalkan rencananya. Awalnya, grup tersebut bermaksud untuk merilis model kira-kira seukuran GPT-3 dalam hal jumlah parameter. Tetapi akhirnya mengesampingkan roadmap tersebut, karena alasan teknis dan pendanaan.
Dalam AI, parameter adalah bagian dari model yang dipelajari dari data pelatihan historis dan pada dasarnya menentukan keterampilan model pada suatu masalah, seperti membuat teks.
Pengembangan AI Oleh EleutherAI Bersama Banyak Startup
Pada akhir 2022, PR Newswire mengabarkan betapa EleutherAI menjadi sangat akrab dengan Stability AI; startup yang sekarang dibiayai dengan baik di balik sistem AI penghasil gambar, Stable Diffusion. Bersama dengan kolaborator lain, ini membantu membuat versi awal Stable Diffusion.
Sejak saat itu, Stability AI telah mendonasikan sebagian komputasi dari klaster AWS mereka untuk penelitian model bahasa EleutherAI yang sedang berlangsung.
Hugging Face kemudian mendekati EleutherAI dan berdiskusi soal nirlaba, kata Biderman.
"Karena banyak staf EleutherAI terlibat dalam upaya BigScience perusahaan, yang berupaya melatih dan membuka sumber model yang mirip dengan GPT-3 selama setahun," lanjut dia.
Biderman mengungkap, EleutherAI sebagian besar berfokus pada model bahasa besar yang secara arsitektur mirip dengan ChatGPT di masa lalu. Dan ia menyatakan, kemungkinan mereka akan terus melakukannya.
"Selain melatih model bahasa besar, kami bersemangat untuk mencurahkan lebih banyak sumber daya untuk pekerjaan etika, interpretabilitas, dan penyelarasan," sebutnya, tentang apa yang dikerjakan dalam EleutherAI.
Orang mungkin bertanya-tanya, apakah keterlibatan usaha bermotivasi komersial seperti Stability AI dan Hugging Face keduanya didukung oleh modal ventura yang besar dapat memengaruhi penelitian EleutherAI.
Hugging Face (Sumber: Hugging Face)
Itu adalah asumsi yang wajar dan bahkan didukung oleh banyak bukti. Setidaknya, satu studi menunjukkan korelasi langsung antara donasi dan kemungkinan organisasi nirlaba berbicara tentang aturan pemerintah yang diusulkan.
