Önde gelen bir sohbet modeline hangi Amerikan partisini tercih ettiğini sorduğunuzda, eğitilmiş yanıt tarafsızlık kılığına girmiş bir reddetmedir: değerler tartışmalıdır, benim siyasi görüşüm yoktur, işte iki taraf için de değerlendirmeler. Bu seçeneği elinden alın — ikili bir seçime zorlayın — ve reddetmenin sığınacak yeri kalmaz. TechCrunch'ın cuma günü yayımladığı habere göre tam olarak bunu yapmak net bir ayrışma üretti: Grok'un modeli Cumhuriyetçilerde, OpenAI'ınki Demokratlarda karar kıldı.
Sonuç siyasi bir haber olarak okunuyor ve öyle. Ama daha faydalı okuma yöntemsel, çünkü zorunlu seçim çok kendine özgü bir ölçüm aleti. Normal kullanımı örneklemiyor. Sahaya çıkmış asistanlar, politika ve pekiştirmeli öğrenme yoluyla tam da bu hamleden kaçınmak üzere eğitiliyor: tartışmalı bir siyasi soruda taraf tutmamak. Çekimserliği yasakladığınızda, ürünün size bir politika sorduğunuzda ne yaptığını görmüyorsunuz; reddetmenin altında kalan ön kabulün yönünü görüyorsunuz — açıkça yana yatmama talimatından sonra hayatta kalan eğilimi.
Bu ayrım, sonucun ne kadar ağırlık taşıyabileceği açısından önemli. Zorunlu seçim orta yanıtları tasarım gereği ortadan kaldırır; dolayısıyla kontrastı üretir ve onu sinyal olarak sunar. Tek bir istem ayrıca istikrarlı bir eğilimi, istem sırası etkilerinden, sorunun kendi çerçevelenmesinden ya da kullanıcı daha hiçbir şey yazmadan modele eklenen kişilik katmanından ayıramaz. Aynı testi yanıt seçeneklerinde partileri yer değiştirerek ya da çerçeveyi tersine çevirerek çalıştırın, sayılar oynar. Dil modellerindeki siyasi eğilimi inceleyen araştırmacıların genellikle tek bir zorunlu seçim yerine çok sayıda istem üzerinden dağılım bildirmesinin nedeni budur.
İki şirketin kamuoyu önündeki konumu, ayrışmayı göründüğü kadar gizemli kılmıyor. Grok, açık bir "korumasız" markayla tanıtıldı: rakiplerinin söylemeyeceği patavatsız şeyi söylemeye istekli bir model — sahibinin sık ve yüksek sesle tekrarladığı bir duruş. Kendini kurumsal çekingenliğe boyun eğmemekle farklılaştıran bir sistem, neredeyse tasarımı gereği, kurumsal çekingenliğe karşı kampanya yürüten partiye daha çok benzeyecektir. OpenAI'ın modelleri ise ters yönde ayarlandı: temkinli olmaya, iki tarafı da sıralamaya, alttaki dağılım dengesiz olsa bile tarafsızlık görüntüsüne. İki farklı hizalama hedefi, kaçış kapısı kapatıldığında iki farklı kalıntı üretir.
Testin ortaya koymadığı şey, iki modelden herhangi birinin gerçek bir sohbette böyle davranacağıdır. Kullanıcılar genellikle parti adını söylemek için tek bir token almaz; paragraflar, çekinceler ve sorunun bir tuzak olduğunu fark etmek üzere eğitilmiş bir model alırlar. İlginç ölçüm zorunlu yanıt değil, zorunlu yanıt ile kendiliğinden verilen yanıt arasındaki mesafedir — ve ikili bir istem tam olarak bu mesafeyi çöpe atar.
Yine de bu gösterinin altında pratik bir kaygı var. Modellere giderek daha fazla görüş bildirmek değil, iş yapmak söyleniyor: sıralamak, özetlemek, neyin öne çıkacağına karar vermek. Bu görevlerde çekimserlik seçeneği arayüzde çoğu zaman yoktur ve sessiz bir ön kabul, hiçbir zaman açık bir tercih olarak görünmeden bir sıralamayı biçimlendirebilir. Bir model yana yatıyorsa, bunun önem taşıyacağı yer "hangi partiyi tercih ediyorsun" sorusu değil, bir tarafın en güçlü argümanını, o argüman üst sıralarda yer almadığı için özetten düşen özettir.
İzlenecekler: testin yöntemi — istem metni, seçenek sırası, deneme sayısı, model sürümleri ve tarihleri — çoğaltılabilecek ayrıntıda yayımlanacak mı; iki şirketten biri kayda geçen bir yanıt verecek mi; bağımsız gruplar yönü daha geniş bir istem setiyle yeniden üretecek mi. Tek bir zorunlu ikili seçim manşettir. Yeni üretilebilmiş bir dağılım ise bulgudur.
