Tak Mau Bergantung dengan Nvidia, Microsoft Mulai Merancang Chip Khusus AI

Techverse.asia - Microsoft telah membangun chip Artificial Intelligence (AI) khusus yang dapat digunakan untuk melatih model bahasa besar dan berpotensi menghindari ketergantungan yang mahal pada Nvidia. Microsoft juga telah membangun CPU berbasis Arm sendiri untuk beban kerja cloud.

Perusahaan ini meluncurkan hasil kerja kerasnya di event Microsoft Ignite yang belum lama ini digelar, memamerkan Azure Maia AI Accelerator dan CPU Azure Cobalt. Chip Microsoft Azure Maia 100 AI dan CPU Azure Cobalt 100 yang didukung Arm akan tiba pada 2024.

Maia 100

Maia 100 dapat digunakan untuk melatih dan menjalankan model AI, sedangkan Cobalt 100 dirancang untuk menjalankan beban kerja tujuan umum. Chip Azure Maia AI dan CPU Azure Cobalt keduanya dibuat sendiri di Microsoft, dikombinasikan dengan perombakan menyeluruh pada seluruh tumpukan server cloud untuk mengoptimalkan kinerja, daya, dan biaya.

“Microsoft sedang membangun infrastruktur untuk mendukung inovasi AI, dan kami menata ulang setiap aspek pusat data kami untuk memenuhi kebutuhan pelanggan kami,” Scott Guthrie selaku Executive Vice President (EVP) Microsoft Cloud and AI Group, seperti dikutip dalam siaran pers, Jumat (17/11/2023).

“Pada skala operasi kami, penting bagi kami untuk mengoptimalkan dan mengintegrasikan setiap lapisan infrastruktur untuk memaksimalkan kinerja, mendiversifikasi rantai pasokan kami, dan memberikan pilihan infrastruktur kepada pelanggan,” katanya.

Baik Maia 100 dan Cobalt 100 akan mulai diluncurkan awal tahun depan ke pusat data Azure, awalnya akan mendukung layanan AI Microsoft seperti Copilot, rangkaian produk AI generatif Microsoft, dan layanan Azure OpenAI, penawaran yang dikelola sepenuhnya oleh perusahaan untuk model OpenAI.

Dibangun dari bawah ke atas

pabrik Microsoft untuk membuat chip

Sebenarnya, chip AI khusus yang dibuat Microsoft bukanlah suatu kejutan. Rodanya telah digerakkan beberapa waktu lalu dan dipublikasikan. Pada April 2023, The Information melaporkan bahwa Microsoft telah mengerjakan chip AI secara rahasia sejak 2019 sebagai bagian dari proyek dengan nama kode Athena.

Dan lebih jauh lagi, pada 2020, Bloomberg mengungkapkan bahwa Microsoft telah merancang serangkaian chip berdasarkan arsitektur Arm untuk pusat data dan perangkat lain, termasuk perangkat keras konsumen (misalnya Surface Pro).

Yang pertama adalah Maia 100. Accelerator Maia 100 AI dari Microsoft, dinamai berdasarkan bintang biru terang, dirancang untuk menjalankan beban kerja cloud AI, seperti pelatihan model bahasa besar dan inferensi.

Microsoft mengatakan bahwa Maia 100 - sebuah chip 5 nanometer yang berisi 105 miliar transistor - sekitar 30 persen lebih sedikit dari 153 miliar yang ditemukan pada pesaingnya yaitu AMD Nvidia, GPU AI MI300X. Ini dirancang khusus untuk tumpukan perangkat keras Azure dan untuk mencapai pemanfaatan maksimum perangkat keras secara absolut.

Perusahaan berjanji bahwa Maia 100 akan mendukung beberapa beban kerja AI internal (dan AI generatif) terbesar yang berjalan di Microsoft Azure, termasuk beban kerja untuk Bing, Microsoft 365, dan Azure OpenAI Service.

Kedua adalah Azure Cobalt 100. CPU Azure Cobalt 100, dinamai berdasarkan pigmen biru, adalah chip 128 inti yang dibuat berdasarkan desain Arm Neoverse CSS dan disesuaikan untuk Microsoft. Ini dirancang untuk mendukung layanan cloud umum di Azure dan dioptimalkan untuk memberikan efisiensi dan kinerja yang lebih besar dalam penawaran cloud native.

“Kami telah banyak memikirkan untuk tidak hanya menjadikannya (Azure Cobalt) berkinerja tinggi, namun juga memastikan kami memperhatikan manajemen daya. Kami membuat beberapa pilihan desain yang disengaja, termasuk kemampuan untuk mengontrol kinerja dan konsumsi daya per inti dan pada setiap mesin virtual,” jelas Rani Borkar selaku Kepala Sistem Perangkat Keras dan Infrastruktur Azure di Microsoft.

Microsoft saat ini sedang menguji CPU Cobalt pada beban kerja seperti Microsoft Teams dan server SQL, lanjutnya, dengan rencana untuk membuat mesin virtual tersedia bagi pelanggan tahun depan untuk berbagai beban kerja.

Meskipun Borkar tidak akan terlibat dalam perbandingan langsung dengan server Graviton 3 Amazon yang tersedia di AWS, seharusnya ada beberapa peningkatan kinerja yang nyata dibandingkan server berbasis Arm yang saat ini digunakan Microsoft untuk Azure.

“Pengujian awal kami menunjukkan bahwa kinerja kami hingga 40 persen lebih baik dibandingkan yang saat ini ada di pusat data kami yang menggunakan server Arm komersial,” katanya. Tapi, Microsoft belum membagikan spesifikasi atau tolok ukur sistem lengkap.