Klasik uygulamada hata ayıklamak, aynı girdiyle aynı hatayı tekrar üretmek demek. Agent sistemlerinde bu garanti yok; izleme yaklaşımı da değişmek zorunda.
01. İz Kaydı
Her çalıştırma için tam iz tutulmalı: hangi istem gitti, model ne döndü, hangi araç hangi parametreyle çağrıldı, ne cevap geldi. Bu kayıt olmadan bir hatayı incelemek mümkün değil.
02. Adım Adım Görünürlük
Agent birden çok adım attıysa her adım ayrı görünmeli. Tek bir "başarısız" kaydı, hatanın hangi adımda ve neden oluştuğunu söylemiyor.
03. Çok Agent'lı Zorluk
Onlarca uzman agent paralel ve ardışık çalıştığında tek agent için tasarlanmış izleme yetmiyor. Hangi agent'ın hangi agent'ı tetiklediği ve toplam maliyetin nasıl dağıldığı ayrıca izlenmeli.
04. İzlenecek Metrikler
Çalıştırma başına adım sayısı, jeton maliyeti, süre, araç hata oranı, insan müdahalesi oranı ve görev tamamlama oranı. Sadece hata sayısına bakmak yanıltıyor.
05. Sessiz Başarısızlık
En tehlikeli durum, agent'ın hata vermeden yanlış iş yapması. Bunu yakalamanın yolu çıktı üzerinde otomatik kontroller ve düzenli örnekleme ile insan incelemesi.
06. Uyarı Eşikleri
Ortalama adım sayısı ya da maliyet ani yükseldiğinde uyarı kurun. Bu genelde bir istem değişikliğinin ya da bozulan bir aracın ilk işareti oluyor.