Prinsip Dasar Pelatihan Model Bahasa
Anthropic membangun model bahasa yang tidak hanya cerdas, tetapi juga patuh pada nilai kemanusiaan. Pendekatannya tidak berhenti pada menambal celah keamanan setelah model selesai dilatih. Aturan perilaku ditanamkan sejak awal melalui dokumen tertulis yang bisa diaudit.
Pendekatan ini disebut Constitutional AI dan pertama dipopulerkan oleh Anthropic. Isi dokumennya mencakup larangan membantu tindakan berbahaya, larangan menghasilkan ujaran kebencian, serta kewajiban menghormati privasi. Sumbernya diambil dari dokumen publik seperti deklarasi hak asasi manusia dan pedoman internal perusahaan.
Urutan Langkah Pelatihan
Alur cara kerja Constitutional AI berjalan dalam dua tahap besar. Setiap tahap memakai mekanisme berbeda namun saling melengkapi.
- Tahap pertama, model diminta menjawab prompt lalu mengkritik jawabannya sendiri berdasarkan prinsip konstitusi.
- Setelah kritik muncul, model merevisi jawaban menjadi versi yang lebih aman.
- Pasangan jawaban awal dan revisi dipakai sebagai data pelatihan supervisi.
- Tahap kedua, model membandingkan dua jawaban lalu memilih mana yang lebih sesuai konstitusi.
- Preferensi tersebut melatih model reward yang kemudian memandu proses penguatan.
Umpan Balik dari Model Lain
metode Constitutional AI menggantikan sebagian besar peran anotator manusia dengan umpan balik dari model itu sendiri. Teknik ini dikenal sebagai pembelajaran penguatan dari umpan balik AI atau RLAIF.
Efeknya cukup besar. Biaya pelabelan turun, iterasi jadi lebih cepat, dan aturan keamanan bisa diperbarui cukup dengan mengubah teks konstitusi.
Dampak pada Praktik Keamanan
Pendekatan ini memperkuat agenda AI safety Anthropic yang menekankan transparansi aturan. Alih-alih menyembunyikan nilai yang dipakai, perusahaan mempublikasikan dokumen konstitusi agar bisa dikritik pihak luar.
Sejumlah laboratorium lain mulai mengadopsi pola serupa. Mereka menulis pedoman perilaku sendiri lalu melatih model dengan mekanisme kritik dan revisi.
Tantangan yang Masih Terbuka
Model tetap bisa gagal pada kasus yang belum tercakup konstitusi. Prinsip yang terlalu kaku juga berisiko membuat jawaban terasa menghindar dan kurang berguna.
Karena itu, evaluasi berkelanjutan dan pengujian red team tetap wajib. Konstitusi diperlakukan sebagai dokumen hidup yang direvisi seiring temuan baru.
Praktik yang Bisa Ditiru
Tim pengembang dapat menerapkan pola Constitutional AI Anthropic dalam skala kecil. Mulai dengan menulis sepuluh prinsip perilaku yang paling penting bagi produk.
- Susun daftar prinsip secara eksplisit dan simpan dalam repositori.
- Buat pipeline yang meminta model mengkritik lalu merevisi outputnya.
- Kumpulkan pasangan jawaban untuk pelatihan supervisi.
- Latih model reward dari perbandingan jawaban.
- Uji dengan skenario berisiko sebelum rilis.
Dengan langkah ini, kualitas keamanan menjadi hasil rekayasa yang terukur, bukan sekadar klaim pemasaran.