Shepherd: Meta AI Menghadirkan Pendekatan Baru untuk Keluaran Model Bahasa AI yang Lebih Baik

Meta AI telah memperkenalkan Shepherd, model bahasa yang dirancang untuk mengkritik dan menyempurnakan keluaran model lain. Pendekatan baru ini bertujuan untuk mengatasi masalah umum dalam keluaran model bahasa, seperti faktualitas, kesalahan logika, koherensi, dan penyelarasan.

Dalam makalah penelitian mereka Shepherd: A Critic for Language Model Generation, Tim peneliti Meta AI menjelaskan model bahasa yang secara eksplisit disetel untuk mengkritik output yang dihasilkan model dan untuk menghasilkan masukan guna menyarankan perbaikan.

Memanfaatkan Umpan Balik Komunitas Untuk Hasil yang Lebih Baik

Tim peneliti di belakang Shepherd memanfaatkan masukan dari dua komunitas online: Stack Exchange dan Pushshift Reddit Dataset. Pushshift adalah platform pengumpulan, analisis, dan pengarsipan data media sosial yang sejak 2015 telah mengumpulkan data Reddit dan menyediakannya bagi para peneliti. Set data Reddit Pushshift diperbarui secara real-time, dan menyertakan data historis kembali ke awal Reddit.

Data dari kedua sumber disusun dalam format tanya-jawab-kritik. Tim percaya bahwa dengan memasukkan beragam umpan balik dari platform ini, Shepherd dapat menawarkan berbagai kritik yang mencerminkan perspektif pengguna di dunia nyata.

Untuk memastikan kualitas kritik, tim menggunakan berbagai teknik penyempurnaan data. Ini termasuk pemfilteran kata kunci, menganalisis riwayat edit pengguna, dan menggabungkan skor suara komunitas. Para peneliti menyatakan dalam makalah mereka, “Untuk menyusun kritik yang valid, beberapa teknik digunakan, termasuk pemfilteran kata kunci dan analisis riwayat edit pengguna.”Mereka lebih lanjut menjelaskan bahwa metode ini membantu mengidentifikasi kritik yang mengarah pada penyempurnaan jawaban asli.

Pelatihan dan Perbandingan Model

Untuk pelatihan Shepherd, model LLaMA-7B digunakan sebagai basis. LLaMA 7B adalah varian model bahasa besar LLaMA terkecil dari Meta yang dilatih dengan satu triliun token. Fungsi utama model ini adalah untuk mengkritik jawaban yang dihasilkan oleh model bahasa lain. Jika dibandingkan dengan model lain seperti Alpaca 7B, SelFee-7B, dan ChatGPT, kinerja Shepherd patut dicatat. Makalah penelitian menyebutkan, “Shepherd mencapai tingkat kemenangan 53-87% terhadap alternatif kompetitif.”Ini menunjukkan bahwa meskipun Shepherd memiliki ukuran parameter 7B yang lebih kecil, kritiknya setara atau bahkan lebih disukai daripada model yang sudah mapan seperti ChatGPT/GPT-4 dari OpenAI.

Pengenalan Shepherd menyoroti potensi penyempurnaan AI output menggunakan umpan balik masyarakat. Seperti yang disarankan oleh makalah penelitian,”Kekuatan Shepherd terletak pada kemampuannya untuk memanfaatkan kumpulan data umpan balik berkualitas tinggi yang dikuratori dari umpan balik komunitas dan anotasi manusia.”Pendekatan baru Meta dapat membuka jalan bagi model masa depan yang memprioritaskan umpan balik dunia nyata untuk meningkatkan keluaran mereka.