Prosesor AMD Terbaru Akan Lebih Baik Digunakan untuk Menjalankan LLM pada Pemrograman AI? Begini Ulasan MosaicML

MosaicML, yang baru saja diakuisisi oleh DataBricks dengan harga $1,3 miliar, mempublikasikan beberapa benchmark menarik untuk melatih LLM pada GPU AMD MI250. Mereka mengatakan bahwa GPU ini ~80% lebih cepat dari NVIDIA A100.

kinerja GPU (Sumber: MosaicML)

Sejujurnya, semua orang ingin melihat pertarungan antara AMD dan NVIDIA dalam menjalankan Large Language Models yang telah menghebohkan dunia AI, dan dapat menciptakan pasar bernilai triliunan dolar.

MosaicML, sebuah perusahaan perangkat lunak yang dipimpin oleh Mantan Kepala AI Intel, Naveen Rao, mempublikasikan blog yang menjelaskan bagaimana mereka menggunakan MI250 di luar kotak, dengan perubahan kode NOL, untuk melakukan uji coba melawan NVIDIA A100, pertarungan telah dimulai.

Mari kita lihat apa yang disimpulkan oleh MosaicML dan handicap untuk babak selanjutnya: AMD MI300x vs NVIDIA H100.

MosaicML berada dalam bisnis untuk membuat AI lebih mudah dijalankan secara efisien, dan merupakan pendukung kuat PyTorch, yang diklaim oleh banyak orang akan membuatnya lebih mudah.

Forbes mengungkap bahwa mereka menggunakan pustaka ROCm untuk menggantikan CUDA, dan PyTorch 2.0, dan mampu menjalankan segmen pelatihan untuk LLM yang lebih kecil, tanpa perubahan kode. Hasilnya? AMD MI250 ~80% lebih cepat dari A100-40GB dan ~73% lebih cepat dari A100-80GB.

Babak berikutnya: MI300 vs H100, Dalam Skala Langsung

MI300 dan H100 memiliki kemampuan yang kurang lebih setara (MI300 belum diumumkan dan akan dikirimkan dalam volume pada 2024). MI300 memiliki memori HMB yang jauh lebih besar, menghasilkan kapasitas memori yang jauh lebih tinggi (192GB vs 80GB) dan bandwidth memori (5,2TB/dtk vs 3,2TB/dtk).

"Kami mencatat, benchmark yang mereka jalankan menggunakan floating point 16-bit. Saya mengerti itu. Ini adalah standar industri dan memberikan hasil yang dikenal baik," ungkap MosaicML, Sabtu (1/7/2023).

Apa yang tidak mereka ketahui adalah bagaimana Transformer Engine pada H100 akan meningkatkan performa secara signifikan (4X), yang mungkin akan mengimbangi kapasitas memori dan keunggulan bandwidth AMD.

Mesin transformator memungkinkan penggunaan matematika integer 8-bit yang lebih cepat vs matematika floating point 16-bit yang lebih tepat, sekaligus menjaga kualitas output.

"Kami tidak memiliki gambaran tentang apa yang akan menjadi NVIDIA ‘H100-next’ tahun depan, ketika AMD MI300 mulai dikirimkan ke pelanggan. Namun kami menduga Next akan mendukung lebih banyak HBM, yang berpotensi menghilangkan keunggulan AMD tersebut," asumsi mereka.

Akhirnya, benchmark ini tidak dijalankan dalam skala besar, jadi MosaicML tidak tahu bagaimana NVIDIA NVLink akan dibandingkan dengan MI300, mungkin menggunakan Infinity Fabric dalam node dan InfiniBand antar node. Dan SEMUA LLM dilatih pada skala yang signifikan, menggunakan hingga ribuan GPU.

Forbes AMD mengapresiasi analisis ulasan MosaicML atas karya ROCm, untuk meningkatkan performa MI250.

"Kami menantikan putaran berikutnya, baik yang dijalankan oleh MosaicML maupun MLCommons. Namun, terlepas dari apa yang belum kita ketahui, kita tahu masa-masa NVIDIA menguasai AI akan segera berakhir; AMD dan mungkin Intel memiliki chip yang dapat menjalankan model AI tanpa perubahan dan memiliki chip generasi berikutnya di dalam hopper," tulis Forbes.

Meskipun demikian, semuanya bermuara pada perangkat lunak, dan tumpukan perangkat lunak NVIDIA tetap merupakan parit besar di luar CUDA. Namun untuk LLM, Pytorch 2.0 dan OpenAI Triton yang tidak digunakan pada benchmark MosaicML akan mengisi parit CUDA.

MosaicML didirikan pada 2021 oleh tim pakar dan peneliti AI dari MIT, Stanford, dan Intel. Misi perusahaan adalah mendemokratisasi AI generatif, cabang AI yang dapat membuat konten baru seperti teks, gambar, audio, dan video.