GPT-4, LLaMA, ChatGPT and Co.: Studi Ilmiah Mengungkap Bias Politik Model Bahasa AI

Para peneliti dari University of Washington, Carnegie Mellon University, dan Xi’an Jiaotong University telah menyelidiki secara mendalam ranah bias politik dalam model bahasa (LM) dan efek selanjutnya pada tugas Pemrosesan Bahasa Alami (NLP).

Model Bahasa dan Bias Politik

Model bahasa, tulang punggung banyak aplikasi NLP modern, dilatih pada sejumlah besar data yang bersumber dari berbagai platform seperti outlet berita , forum diskusi, buku, dan ensiklopedi online. Studi mereka “Dari Data Prapelatihan ke Model Bahasa hingga Tugas Hilir: Melacak Jejak Bias Politik yang Mengarah ke Ketidakadilan NLP Models”menggarisbawahi bahwa sumber-sumber ini, meskipun kaya akan informasi, sering kali disertai dengan bias sosial bawaannya sendiri.

Tim peneliti dengan cermat mengembangkan metode untuk mengukur bias politik dalam model bahasa terkemuka (LM) dan Large Model Bahasa (LLM) seperti BERT Google, GPT-4 OpenAI yang mendukung ChatGPT dan Bing Obrolan, model LLaMA Facebook dan model T5 (Text-to-Text Transfer Transformer) Google . Fokus utama mereka adalah pada tugas-tugas seperti ujaran kebencian dan deteksi informasi yang salah. Misalnya, saat menganalisis keluaran model ini, mereka mengamati bahwa kelompok etnis tertentu diasosiasikan secara tidak proporsional dengan sentimen negatif, sementara beberapa ideologi politik dikritik secara berlebihan atau disukai.

Hasilnya menunjukkan bahwa LM, terutama saat dilatih sebelumnya pada kumpulan data yang luas dan beragam, dapat secara tidak sengaja mencerminkan bias yang ada dalam data pelatihan mereka. Hal ini dapat menyebabkan prediksi miring di area kritis seperti deteksi ujaran kebencian, di mana model mungkin salah mengklasifikasikan pernyataan jinak sebagai ujaran kebencian berdasarkan bias yang telah dipelajari. Model bahasa terlatih menunjukkan sudut pandang berbeda tentang masalah sosial dan ekonomi.
 

Dalam deteksi misinformasi, model ini mungkin menandai informasi yang akurat sebagai salah atau mengabaikan informasi yang salah karena bias yang mendasarinya. Pengungkapan tentang LM ini secara alami menimbulkan pertanyaan tentang lanskap digital yang lebih luas, termasuk platform media sosial dan forum online, tempat asal bias ini.
 

Temuan makalah penelitian ini secara khusus mengungkap bias politik yang ditunjukkan oleh berbagai LM.

Varian BERT: BERT, singkatan dari Representasi Encoder Dua Arah dari Transformers, adalah model populer yang digunakan dalam banyak tugas NLP. Studi tersebut menemukan bahwa varian BERT cenderung lebih konservatif secara sosial. Kecenderungan ini dapat dikaitkan dengan sifat data tempat BERT dilatih sebelumnya. Kumpulan tersebut sering kali menyertakan halaman web dalam jumlah besar, yang mungkin berisi sudut pandang yang lebih tradisional atau konservatif.

Varian GPT: GPT, atau Transformer Pra-terlatih Generatif, adalah model lain yang banyak digunakan dalam komunitas NLP. Berbeda dengan BERT, varian GPT ditemukan kurang konservatif secara sosial. Perbedaan kecenderungan politik antara varian BERT dan GPT ini mungkin disebabkan oleh sifat beragam dari kumpulan data prapelatihan mereka. Data pelatihan GPT mungkin mencakup spektrum opini dan narasi sosial yang lebih luas, yang mengarah ke model yang lebih seimbang atau bahkan cenderung liberal.

LLaMA: LLaMA, singkatan dari Adaptasi Model Bahasa Berlabel, adalah model lain yang dianalisis dalam penelitian ini. Sementara desain utama LLaMA adalah untuk multibahasa dan tidak secara khusus untuk deteksi bias politik, penelitian menemukan bahwa itu juga menunjukkan bias politik tertentu. Namun, sifat dan arah yang tepat dari bias ini tidak diucapkan seperti pada varian BERT atau GPT.

Pengaruh pada Wacana Politik

Dengan transformasi di era digital tentang bagaimana berita dan pandangan politik disebarluaskan, platform seperti X (Twitter), Facebook, dan Reddit telah menjadi sarang diskusi tentang topik kontroversial, mulai dari perubahan iklim dan pengendalian senjata hingga pernikahan sesama jenis. Meskipun platform ini telah mendemokratisasi akses informasi dan memupuk beragam sudut pandang, mereka juga berfungsi sebagai cermin dari bias masyarakat. Penelitian ini menekankan bahwa ketika bias ini menemukan jalannya ke dalam data yang digunakan untuk melatih LM, model dapat mengabadikan dan bahkan memperkuat bias ini dalam prediksi mereka. Mengingat implikasi mendalam dari temuan ini, sangat penting untuk mempertimbangkan dampak yang lebih luas pada bidang NLP.

Implikasi untuk Masa Depan NLP

Efek riak dari bias dalam LM ini jauh melampaui prediksi miring. Temuan penelitian ini bukan hanya akademis; mereka memiliki implikasi mendalam bagi masa depan NLP. Studi ini berfungsi sebagai pengingat bahwa meskipun LM telah merevolusi banyak aplikasi, mereka tidak kebal terhadap bias data yang dilatihkan. Para peneliti menekankan perlunya transparansi dalam memahami sumber data prapelatihan dan bias bawaannya. Mereka juga menyoroti tantangan dalam memastikan model hilir, yang mengandalkan LM ini, adil dan tidak memihak. Saat kami merenungkan tantangan ini, penting untuk mengidentifikasi kesimpulan utama bagi komunitas NLP.