Di Dalam Penciptaan DBRX, Model AI Open Source Paling Kuat di Dunia

Senin lalu, sekitar selusin insinyur dan eksekutif di perusahaan ilmu data dan AI Databricks berkumpul di ruang konferensi yang terhubung melalui Zoom untuk mengetahui apakah mereka telah berhasil membangun model bahasa kecerdasan buatan terbaik. Tim telah menghabiskan waktu berbulan-bulan, dan sekitar $10 juta, untuk melatih DBRX, model bahasa besar yang desainnya mirip dengan model di balik ChatGPT OpenAI. Tapi mereka tidak akan tahu seberapa kuat ciptaan mereka sampai hasil tes akhir kemampuannya keluar.

“Kami telah melampaui segalanya,” Jonathan Frankle, kepala arsitek jaringan saraf di Databricks dan pemimpin tim yang membangun DBRX, akhirnya mengatakan kepada tim tersebut, yang merespons dengan emoji teriakan, sorakan, dan tepuk tangan. Frankle biasanya menghindari kafein tetapi menyesap es latte setelah begadang semalaman untuk menuliskan hasilnya.

Databricks akan merilis DBRX di bawah lisensi sumber terbuka, memungkinkan orang lain untuk mengembangkan pekerjaannya. Frankle berbagi data yang menunjukkan bahwa di sekitar selusin tolok ukur yang mengukur kemampuan model AI dalam menjawab pertanyaan pengetahuan umum, melakukan pemahaman bacaan, memecahkan teka-teki logis yang menjengkelkan, dan menghasilkan kode berkualitas tinggi, DBRX lebih baik daripada model sumber terbuka lainnya yang tersedia.

Ini mengungguli Llama 2 dari Meta dan Mixtral dari Mistral, dua model AI open source paling populer yang tersedia saat ini. “Ya!” teriak Ali Ghodsi, CEO Databricks, saat skor muncul. “Tunggu, apakah kita berhasil mengalahkan Elon?” Frankle menjawab bahwa mereka memang telah melampaui model Grok AI yang baru-baru ini bersumber terbuka oleh xAI milik Musk, dan menambahkan, “Saya akan menganggapnya sukses jika kami mendapat tweet yang kejam darinya.”

Yang mengejutkan tim, dalam beberapa hal, DBRX juga hampir menyamai GPT-4, model tertutup OpenAI yang mendukung ChatGPT dan secara luas dianggap sebagai puncak kecerdasan mesin. “Kami telah menetapkan seni baru untuk LLM open source,” kata Frankle sambil tersenyum lebar.

Blok bangunan

Dengan open source, DBRX Databricks menambahkan momentum lebih lanjut pada sebuah gerakan yang menantang pendekatan rahasia dari perusahaan-perusahaan paling terkemuka dalam booming AI generatif saat ini. OpenAI dan Google tetap mempertahankan kode untuk model bahasa besar GPT-4 dan Gemini, namun beberapa pesaingnya, terutama Meta, telah merilis model mereka untuk digunakan orang lain, dengan alasan bahwa model tersebut akan memacu inovasi dengan menyerahkan teknologi ke tangan lebih banyak orang. peneliti, pengusaha, startup, dan bisnis mapan.

Databricks mengatakan mereka juga ingin terbuka tentang pekerjaan yang terlibat dalam pembuatan model open source, sesuatu yang belum dilakukan Meta untuk beberapa detail penting tentang pembuatan model Llama 2-nya. Perusahaan akan merilis postingan blog yang merinci pekerjaan yang terlibat untuk membuat model, dan juga mengundang WIRED untuk menghabiskan waktu bersama para insinyur Databricks saat mereka membuat keputusan penting selama tahap akhir proses pelatihan DBRX yang bernilai jutaan dolar. Hal ini memberikan gambaran sekilas betapa rumit dan menantangnya membangun model AI terkemuka—dan juga bagaimana inovasi terkini di bidang ini menjanjikan penurunan biaya. Hal ini, dikombinasikan dengan ketersediaan model open source seperti DBRX, menunjukkan bahwa pengembangan AI tidak akan melambat dalam waktu dekat.

Ali Farhadi, CEO Allen Institute for AI, mengatakan transparansi yang lebih besar seputar pembuatan dan pelatihan model AI sangat dibutuhkan. Bidang ini menjadi semakin rahasia dalam beberapa tahun terakhir karena perusahaan mencari keunggulan dibandingkan pesaing. Opacity sangat penting ketika ada kekhawatiran tentang risiko yang dapat ditimbulkan oleh model AI yang canggih, katanya. “Saya sangat senang melihat adanya upaya keterbukaan,” kata Farhadi. “Saya yakin sebagian besar pasar akan beralih ke model terbuka. Kami membutuhkan lebih banyak hal seperti ini.”