Kode Baru Meta Llama Bersaing dengan Codex OpenAI dan GitHub Copilot

Meta telah meluncurkan Kode Llama, model bahasa besar (LLM) tercanggih yang dirancang untuk menghasilkan kode, menandai langkah signifikan dalam bidang pengkodean yang dibantu AI. Dengan dirilisnya Code Llama, Meta bertujuan untuk meningkatkan alur kerja pengembang, menjadikannya lebih efisien dan mengurangi tugas yang berulang. Alat ini diharapkan dapat mengurangi hambatan bagi pendatang baru dalam melakukan coding dan berfungsi sebagai aset berharga bagi developer berpengalaman.

Code Llama akan bersaing dengan alat coding AI yang sudah ada, seperti Codex OpenAI dan GitHub Copilot. Meta membuat alat ini di atas Llama 2 dan menawarkannya dalam tiga variasi: model kode dasar, versi khusus Python, dan versi instruksi yang disesuaikan untuk memahami instruksi bahasa alami.

Dalam versi resminya pengumumannya, Meta menjelaskan serangkaian alat berbasis AI yang akan membantu pembuat kode mengotomatiskan dan menyelesaikan tugas dengan model Code Llama:

Spesialisasi Kode: Meta mengatakan bahwa mereka merancang Code Llama sebagai versi”khusus kode”dari Llama 2. Ini dapat menghasilkan kode, melengkapi kode, membuat catatan pengembang, dokumentasi, dan bahkan membantu dalam debugging. Model mendukung beberapa bahasa pemrograman, termasuk Python, C++, Java, PHP, TypeScript (Javascript), C#, dan Bash. Variasi Model: Meta telah merilis tiga ukuran Code Llama, dengan parameter 7B, 13B, dan 34B. Setiap model menjalani pelatihan dengan 500 miliar token kode dan data terkait kode. Model 7B dan 13B melayani tugas-tugas yang memerlukan latensi rendah, seperti penyelesaian kode real-time, sedangkan model 34B memberikan hasil terbaik untuk bantuan pengkodean. Konteks yang Diperluas: Semua model dapat menangani hingga 100.000 token konteks, memungkinkan pengguna memberikan lebih banyak konteks dari basis kode mereka untuk membuat kode yang dihasilkan lebih relevan. Fitur ini terbukti sangat bermanfaat untuk melakukan debug pada basis kode yang lebih besar. Variasi yang Diselaraskan: Meta memperkenalkan dua variasi tambahan Kode Llama: Kode Llama – Python dan Kode Llama – Instruksi. Mereka merancang versi Python khusus untuk kode Python, sedangkan versi Instruct bertujuan untuk lebih memahami instruksi bahasa alami.

Dalam pengujian benchmark, Code Llama mengungguli LLM lain yang tersedia untuk umum dalam tugas kode. Secara khusus, model 34B mendapatkan skor 53,7% pada HumanEval dan 56,2% pada Mostly Basic Python Programming (MBPP), yang menyamai performa ChatGPT. Meta juga menekankan pentingnya membangun model AI secara bertanggung jawab dan menyoroti upaya mereka untuk memastikan keamanan Code Llama. Sebagai bagian dari langkah-langkah keamanan, mereka mengevaluasi risiko Code Llama dalam menghasilkan kode berbahaya dan menemukan bahwa kode tersebut memberikan respons yang lebih aman dibandingkan model lainnya.

Pendekatan dan Lisensi Terbuka

Meta mengadopsi pendekatan terbuka kepada AI, merilis Code Llama di bawah lisensi komunitas yang sama dengan Llama 2. Mereka percaya bahwa pendekatan terbuka mendorong inovasi dan keamanan dalam pengembangan AI. Perusahaan mendorong komunitas untuk mengevaluasi kemampuan Code Llama, mengidentifikasi potensi masalah, dan mengatasi kerentanan.

Beberapa perusahaan mengklaim melakukan “open source” pada model AI mereka, termasuk Meta, tetapi sebuah penelitian terbaru menunjukkan bahwa hal ini tidak sepenuhnya benar. Penelitian yang dilakukan oleh peneliti AI dari Radboud University di Nijmegen, Belanda, mengungkapkan bahwa beberapa LLM AI generatif yang paling kuat sama sekali bukan sumber terbuka, karena kode yang digunakan untuk melatihnya tidak dibagikan kepada publik.

Studi ini mengkritik OpenAI dan Meta karena dianggap paling tertutup produsen LLM dan mengatakan bahwa hal ini berbahaya bagi komunitas AI. Hal ini memerlukan transparansi dan keterbukaan yang lebih besar dari perusahaan, sehingga pihak lain dapat belajar dari pekerjaan mereka dan memperbaikinya.

Studi ini mengkaji beberapa LLM dan menilainya tentang seberapa terbukanya, berdasarkan kriteria yang berbeda. LLM dengan peringkat terendah adalah ChatGPT OpenAI, yang hanya memenuhi dua kriteria: memiliki dokumen dan makalah yang menjelaskan fitur dan batasannya, namun sangat kabur dan tidak jelas. LLaMA 2, diproduksi oleh Meta, sedikit lebih baik dari ChatGPT, namun masih sangat tertutup. Hal ini gagal memenuhi sebagian besar kriteria keterbukaan.

Pilihan yang Berkembang di Pasar Pengkodean AI

Perusahaan teknologi besar melakukan banyak penelitian dan pengembangan pada alat pengkodean AI. Faktanya, dalam beberapa bulan terakhir kami telah melihat lonjakan model AI baru untuk coding, termasuk:

Salah satu alat yang paling menonjol adalah GitHub Copilot, sebuah proyek gabungan antara Microsoft dan OpenAI yang menggunakan GPT-4 untuk menghasilkan saran kode berdasarkan masukan pengguna. GitHub Copilot didukung oleh OpenAI Codex, model bahasa generatif terlatih yang dibuat oleh OpenAI. Awal tahun ini, GitHub menunjukkan visi masa depannya melalui GitHub Copilot X, yang terintegrasi dengan GPT-4 OpenAI. Alat lain yang mendapat investasi ekuitas dari Microsoft adalah Builder.ai, sebuah perusahaan perangkat lunak AI yang menawarkan manajer produk Natasha AI melalui Microsoft Teams. Builder.ai dan GitHub Copilot adalah dua jenis alat berbeda yang didukung AI untuk pengembangan perangkat lunak. Builder.ai adalah platform tanpa kode yang memungkinkan pengguna membuat aplikasi dengan memilih berbagai template dan fitur, tanpa menulis kode apa pun. Google juga berpartner dengan Replit untuk menawarkan Ghostwriter, alat AI yang membantu developer menulis kode. Kemitraan ini juga memberi pengembang Replit akses ke Google Cloud dan sebaliknya. Selain itu, Google menghadirkan pembuatan kode dan proses debug ke chatbot Bard AI miliknya. Pengguna dapat menulis pertanyaan atau permintaan pengkodean mereka dalam bahasa alami, dan Bard akan menghasilkan beberapa draf tanggapan yang dapat mereka pilih. Amazon meluncurkan CodeWhisperer, alat AI gratis yang bersaing dengan GitHub Copilot. Ia berfungsi dengan bahasa Python, JavaScript, dan Java serta terintegrasi dengan IDE populer seperti PyCharm dan Visual Studio Code. Ini membantu pengguna menulis kode lebih cepat dan mudah. CodeWhisperer terintegrasi dengan layanan dan alat AWS, seperti Lambda, CloudFormation, dan Amplify. Pada bulan Mei, Meta memperkenalkan CodeCompose, alat bertenaga AI yang menawarkan saran kode untuk berbagai bahasa termasuk Python, saat developer mengetik Lingkungan Pengembangan Terpadu (IDE) seperti VS Code. Alat ini dapat memanfaatkan pemahamannya tentang kode di sekitarnya untuk memberikan saran yang lebih baik. Perusahaan asal Tiongkok, Baidu, juga bersaing dalam bidang ini dengan AI pengkodeannya sendiri. Comate kompatibel dengan kerangka kerja Integrated Development Environment (IDE) mainstream dan mendukung lebih dari 30 bahasa pemrograman, dengan penekanan kuat pada C/C++, Python, dan Java. OverflowAI adalah solusi pengkodean AI dari Stack Overflow yang diluncurkan bulan lalu. OverflowAI adalah alat berbasis web yang memungkinkan pengguna memasukkan kueri bahasa alami dan mendapatkan cuplikan kode yang dihasilkan oleh model pembelajaran mendalam yang dilatih pada jutaan postingan Stack Overflow dan sumber lain. Platform ini mendukung berbagai bahasa pemrograman, seperti Python, C#, Java, dan SQL, serta dapat menangani tugas-tugas seperti analisis data, pengembangan web, pembelajaran mesin, dan banyak lagi.