Το demo δουλεύει πάντα
Σαράντα προμηθευτές θα σας δείξουν έναν agent να κλείνει ραντεβού. Το demo κρατάει ενενήντα δευτερόλεπτα, το API απαντάει ακαριαία, τα δεδομένα είναι καθαρά και όλοι στην αίθουσα γνέφουν καταφατικά. Έχω φτιάξει τέτοια demos. Είναι εύκολα.
Η ερώτηση που κρίνει αν έχετε σύστημα ή παιχνίδι είναι άλλη: τι κάνει ο agent στις 3 τα ξημερώματα, όταν το API κάνει timeout, η απάντηση έρχεται χαλασμένη και δεν κοιτάει κανείς;
Οι τέσσερις αστοχίες που έρχονται πάντα
Αφήστε οποιονδήποτε agent να τρέξει αρκετό καιρό σε πραγματική λειτουργία και θα συναντήσετε τα ίδια τέσσερα περιστατικά. Όχι «ίσως», σίγουρα.
- Η κλήση εργαλείου αποτυγχάνει. Κάθε εξωτερικό API κάποια στιγμή πέφτει. Η αντίδραση του agent (retry, αλλαγή προσέγγισης, μεταβίβαση σε άνθρωπο) σχεδιάζεται πριν βγει live, δεν ανακαλύπτεται μετά.
- Τα δεδομένα αλλάζουν. Ένας προμηθευτής μετονομάζει μια στήλη. Μια φόρμα αρχίζει να στέλνει κενά. Το script βγάζει λάθος αποτελέσματα αθόρυβα. Ο agent οφείλει να καταλάβει ότι η απάντηση δεν βγάζει νόημα.
- Το μοντέλο αλλάζει. Μια αναβάθμιση μοντέλου μπορεί να αλλάξει τη συμπεριφορά χωρίς να το πάρετε είδηση. Χωρίς evals (αυτόματους ελέγχους ότι το σύστημα κάνει ακόμα ό,τι έκανε την προηγούμενη βδομάδα), το test suite σας γίνονται οι πελάτες σας.
- Ο βρόχος ξεφεύγει. Agent σε ατέρμονο βρόχο σημαίνει πιστωτική κάρτα σε ατέρμονο βρόχο. Τα όρια κόστους γράφονται στον κώδικα, δεν αφήνονται στην ελπίδα.
Πώς μοιάζει η λίστα των 3 τα ξημερώματα
Όταν βγάζω έναν agent live, η λίστα πριν από την κυκλοφορία αφορά κυρίως την αποτυχία: τι ξαναδοκιμάζεται και πόσες φορές, τι περνάει σε άνθρωπο και από ποιο κανάλι, ποιο είναι το ημερήσιο budget σε tokens και τι γίνεται στο 80% του, και ποιο eval πρέπει να βγει κόκκινο για να σταματήσει ένα deploy.
Τίποτα από αυτά δεν φαίνεται σε demo, γιατί τίποτα δεν φαίνεται όσο όλα πάνε καλά. Κι όμως, αυτό ακριβώς πληρώνετε.
Πώς να το αξιοποιήσετε
Την επόμενη φορά που θα σας δείξουν έναν agent, αφήστε το demo να τελειώσει και κάντε μία ερώτηση: «δείξτε μου τι έγινε την τελευταία φορά που απέτυχε». Ένα σύστημα σε πραγματική λειτουργία έχει απάντηση: logs, ιστορικό από retries, μια μεταβίβαση σε άνθρωπο. Το demo έχει μια παύση.
Εγώ τρέχω agents σε πραγματική λειτουργία και σε αυτή την ερώτηση έχω απαντήσεις. Αν έχετε μια διαδικασία που θα έπρεπε να τρέχει μόνη της, φέρτε μου τη διαδικασία και το νούμερο που σας καίει.