Bir yapay zekâ asistanının, düpedüz başarısız olmaktan daha kötü bir başarısızlık biçimi var. Bir şey istiyorsunuz, asistan olmuş gibi cevap veriyor ve hiçbir şey olmuyor. Ya da sessizce, yanlış yerde, ona yakın bir şey oluyor.
Bunu kendi ürünümüzde yaşadık. Bir kullanıcı, kendi dilinde, var olan bir notu göreve çevirmesini istedi. Asistan hiçbir şeyi çevirmedi. Onay gibi okunan muğlak bir cevap üretti ve onun yerine bomboş, yepyeni bir görev oluşturdu. Not, not olarak kaldı. Yeni görevde ne notun içeriği vardı ne de ekli dosyaları. Kullanıcı tarafından bakınca sistem "tamam" demiş ve işe yarar hiçbir şey yapmamıştı.
Özet
Kısaca: Vyneron'un asistanı artık dönüştürme isteklerini altı dilde tanıyor, kastettiğiniz kaydı buluyor ve hiçbir şey değişmeden önce onu size gösteriyor. Kendiliğinden dönüştürmüyor. Tek dokunuşluk onay yalnızca ek bilgi gerektirmeyen hedeflerde çıkıyor (görev ve not). Bir şeyi tekrarlayan göreve ya da alt göreve çevirmek kısa bir akışa giriyor, çünkü tekrar için bir döngü, alt görev için bir üst görev gerekiyor. Siz dokunana kadar hiçbir kayıt değişmiyor.
Arıza "yapay zekâ yeterince akıllı değildi" değildi
Bunu bir model kalitesi meselesi diye okuyup daha iyi bir prompt yazmaya girişmek cazip. O teşhis yanlış ve peşinden gitmek işleri daha da kötü yapardı.
Asistanın, var olan bir kaydı dönüştürmek için bir aracı yoktu. Kullanıcı dönüştürme isteyince model, istenen yetenek elinde olmadığında modellerin yaptığı şeyi yaptı: en yakın eylemi seçti. En yakın eylem "görev oluştur" idi. O da bir görev oluşturdu. Cevabın muğlaklığının sebebi, modelin bir boşluğun üstünü örtüyor olmasıydı.
Aynı modele daha ikna edici bir prompt vermek o boşluğu kapatmazdı. Sadece daha kendinden emin yanlış cevaplar üretirdi.
Tanı, bul, onayla
Çözüm, asistana gerçek bir dönüştürme yeteneği vermek ve o yeteneği geri dönüşü olmayan adımın bir adım öncesinde durdurmaktı.
Tanı. Asistan, ürünün desteklediği altı dilde dönüştürme ifadelerini anlıyor: İngilizce (convert, turn into, make it a), Türkçe (çevir, dönüştür), Almanca (umwandeln), Fransızca (convertir), İspanyolca (convertir) ve Rusça (преобразуй). Kapsamı, zaten var olan kayıtlar. Yeni bir şey tarif ederseniz istek sıradan oluşturma yoluna gidiyor; bu doğru davranış, bir yedek plan değil.
Bul. Tarif ettiğiniz kaydı görevlerinizde, notlarınızda ve tekrarlayan görevlerinizde arıyor. Az önce konuştuğunuz şeye, adını tekrar söylemeden işaret de edebilirsiniz.
Onayla. Asıl mesele burası. Asistan dönüştürmüyor. Bulduğunu size gösteriyor ve bekliyor.
Ne göreceğiniz kaç kaydın eşleştiğine bağlı:
- Hiçbiri eşleşmediyse. Düz bir "bulunamadı" alıyorsunuz. İşaret ederek söylediyseniz ("bunu göreve çevir") ve çözülebilir bir referans yoksa, tahmin etmek yerine hangi kaydı kastettiğinizi soruyor.
- Tek kayıt eşleştiyse. Hedefi adıyla söylediyseniz ve o hedef ek bilgi istemiyorsa, kaydın başlığını ve tek bir onay düğmesini görüyorsunuz. Bir dokunuş, iş bitiyor.
- Birden fazlası eşleştiyse. Listeyi görüyor ve birini seçiyorsunuz. Sizin yerinize seçmiyor, hepsini birden dönüştürmüyor.
Tek adımda yapmadığı şeyler
İki dönüştürme, tek dokunuşluk onayın bilerek dışında bırakıldı.
Bir şeyi tekrarlayan göreve çevirmek bir döngü gerektiriyor. Günlük, haftalık ve aylık farklı sonuçlar ve istek çoğu zaman hangisi olduğunu söylemiyor. Alt göreve çevirmek ise bağlanacak bir üst görev istiyor. İkisinde de asistanın elinde gerçekten yeterli bilgi yok, o yüzden eksik parçayı uyduracağına onu soran kısa bir akışa geçiyor.
Bu, onay adımıyla aynı ilke. Siz günlük derken haftalık bir döngü tahmin eden bir asistan size bir dokunuş kazandırmış olmuyor. Fark edip geri almanız gereken bir iş çıkarıyor.
İki yüzeyde aynı davranış
Web sohbeti ve Telegram botu aynı eşleştirme mantığını çalıştırıyor. İfadeler ve düğmeler her yüzeye göre ayrı şekilleniyor; ama hangi kayıtların eşleştiğine, kaç aday döndüğüne ve hangi dönüştürmelerin fazladan adım istediğine kanal başına yeniden yazılmış kod değil, ortak kod karar veriyor.
Bunun önemi şu: buradaki ayrışma, sizi ısırana kadar görünmüyor. Tarayıcıda düzgün çalışıp Telegram'da sessizce yanlış davranan bir dönüştürme, tam da bir asistana duyulan güveni aşındıran hata sınıfı ve ancak canlıda ortaya çıkan cinsten.
Neden sormayı tercih ediyoruz
Hemen harekete geçen bir asistan demoda daha hızlı hissettiriyor. Gündelik kullanımda, gerçek notlar ve gerçek eklerle, yanlış bir otonom hareketin bedeli tek bir dokunuşun bedelinden çok daha yüksek. Yanlış kaydı dönüştürmek küçük bir hata değil. İçeriğinizi beklemediğiniz bir yere taşıyor ve ne olduğunu yeniden kurmayı size bırakıyor.
Onun için asistan soruyor. Okuyabileceğiniz bir onayda fazladan bir dokunuş; karşılığında, iddia ettiği şeyi gerçekten yapıp yapmadığını bir daha hiç merak etmemek.
Vyneron'a başlamak ücretsiz ve asistan uygulamada da Telegram'da da aynı şekilde çalışıyor.