Ποσοστό ανθρώπινης παρέμβασης: η μία μετρική που λέει αν η ανάπτυξη της ΤΝ σας δουλεύει στ’ αλήθεια
Οι περισσότερες εταιρείες που τρέχουν πράκτορες ΤΝ σε παραγωγή δεν μπορούν να πουν πόσο συχνά αυτοί οι πράκτορες χρειάζονται όντως έναν άνθρωπο. Το ποσοστό ανθρώπινης παρέμβασης είναι ο αριθμός που απαντά σε αυτό το ερώτημα — και στο τέλος αυτού του κειμένου θα πρέπει να μπορείτε να το υπολογίσετε για μια ροή εργασίας που ήδη τρέχετε.
Το δικό της πλαίσιο του FabricLoop για οργανισμούς ΤΝ ορίζει το ποσοστό ανθρώπινης παρέμβασης καθαρά: ρωτά πόσο συχνά η αυτοματοποιημένη εργασία χρειάζεται έναν άνθρωπο. Αυτός είναι ο ορισμός, και αυτό το κείμενο δεν ξεφεύγει από αυτόν. Αυτό που ακολουθεί είναι το μέρος που η σελίδα της έννοιας δεν αναπτύσσει πλήρως: η ίδια η αριθμητική, εφαρμοσμένη σε μία πραγματική ροή εργασίας, με τους αριθμούς που κάνουν την ιδέα συγκεκριμένη αντί για ευχή.
Τι μετράει στην πραγματικότητα ο αριθμός
Το ποσοστό ανθρώπινης παρέμβασης (ΠΑΠ) είναι το μερίδιο των ενεργειών ενός πράκτορα, μέσα σε μία ορισμένη ροή εργασίας και μία χρονική περίοδο, που απαιτούσαν να παρέμβει άνθρωπος πριν το αποτέλεσμα μπορεί να σταθεί ως τελειωμένο. Το «παρεμβαίνω» έχει εδώ συγκεκριμένο νόημα: ένας άνθρωπος διόρθωσε το αποτέλεσμα, ακύρωσε μια απόφαση που πήρε ο πράκτορας, ή απάντησε σε ερώτηση που ο πράκτορας έθεσε ρητά πριν προχωρήσει — αυτό που ο Loop Agent του FabricLoop ονομάζει στιγμή ask_human. Διαιρέστε τον αριθμό αυτών των ενεργειών με το σύνολο των ενεργειών που έκανε ο πράκτορας στην ίδια περίοδο, και έχετε το ΠΑΠ.
Ο λόγος που αυτή η μετρική στέκεται δίπλα στη διαθεσιμότητα και την ακρίβεια, και όχι από κάτω τους, είναι ότι μετρά κάτι που εκείνοι οι αριθμοί δεν βλέπουν. Ένας πράκτορας μπορεί να σημειώσει 95% ακρίβεια σε κάποιο εσωτερικό benchmark και να είναι χειρότερη ανάπτυξη από έναν με 80%, αν το 5% που κάνει λάθος περνά σιωπηλά, ενώ το 20% για το οποίο δεν είναι σίγουρος σημαδεύεται κάθε φορά. Το ΠΑΠ δεν ρωτά αν ο πράκτορας είναι καλός. Ρωτά αν το σύστημα ξέρει πότε χρειάζεται άνθρωπο, και αν ένας άνθρωπος εμφανίζεται όντως όταν αυτό συμβαίνει. Αυτό το δεύτερο ερώτημα καθορίζει αν μια ανάπτυξη είναι ασφαλές να επεκταθεί.
Υπολογισμός του ΠΑΠ για μία πραγματική ροή εργασίας
Πάρτε μια ροή εργασίας που μια ομάδα IT ή λειτουργιών θα μπορούσε να τρέχει σήμερα: ένας πράκτορας διαλογίζει εισερχόμενα αιτήματα υποστήριξης, τα ταξινομεί (χρέωση, αναφορά σφάλματος, επιστροφή χρημάτων, πρόσβαση σε λογαριασμό κ.ο.κ.) και συντάσσει ένα πρώτο προσχέδιο απάντησης. Κάθε προσχέδιο πέφτει σε ουρά ελέγχου πριν φτάσει σε πελάτη — τίποτα δεν στέλνεται μόνο του. Αυτό το βήμα ελέγχου, από μόνο του, δεν είναι παρέμβαση. Όταν ένας ελεγκτής πατά «αποστολή» σε προσχέδιο που δεν χρειαζόταν αλλαγές, η ροή δουλεύει όπως σχεδιάστηκε. Παρέμβαση είναι αυτό που συμβαίνει όταν το προσχέδιο χρειαζόταν δουλειά: ο ελεγκτής το ξανάγραψε, διόρθωσε την ταξινόμηση, το έστειλε σε άλλη ουρά, ή ο ίδιος ο πράκτορας σταμάτησε στη μέση και έκανε μια ερώτηση πριν συντάξει οτιδήποτε.
Οι αριθμοί παρακάτω είναι ενδεικτικό παράδειγμα, όχι δεδομένα πραγματικής εταιρείας — αλλά το σχήμα της ιστορίας, και η αριθμητική από πίσω, είναι ακριβώς αυτό που θα χτίζατε από τα δικά σας αρχεία καταγραφής.
Στον μήνα του πιλότου, ο πράκτορας αγγίζει 640 αιτήματα. Από αυτά, τα 415 χρειάζονται παρέμβαση — ξαναγράψιμο, επαναταξινόμηση ή αναδρομολόγηση — και μόνο 75 από αυτά τα 415 είναι στιγμές που ο πράκτορας σήμανε ο ίδιος πριν συντάξει οτιδήποτε. Τα υπόλοιπα είναι λάθη που πιάνει ένας ελεγκτής εκ των υστέρων. Αυτό είναι ΠΑΠ 64,8%, με μερίδιο κλιμάκωσης μόλις 18%: ο πράκτορας έχει άδικο με αυτοπεποίθηση τις περισσότερες φορές που έχει άδικο, και αυτή είναι η χειρότερη εκδοχή του προβλήματος.
Η ομάδα τραβά το αρχείο διορθώσεων και βάζει σε κάθε παρέμβαση έναν λόγο. Δύο κατηγορίες κυριαρχούν: ο πράκτορας διαβάζει λάθος την πολιτική επιστροφών μόλις εμφανίζεται ποσό, και συντάσσει ήρεμες, διαδικαστικές απαντήσεις σε πελάτες που είναι φανερά θυμωμένοι. Και τα δύο διορθώνονται χωρίς να αγγίξετε το μοντέλο — προσθέστε ρητό κανόνα ότι κάθε αίτημα με επιστροφή πάνω από $50, ή με βαθμολογία συναισθήματος πάνω από ένα κατώφλι, πυροδοτεί κλιμάκωση ask_human αντί για προσχέδιο. Όλα τα άλλα συνεχίζουν να συντάσσονται και να ελέγχονται όπως πριν.
| Μήνας | Αιτήματα | Παρεμβάσεις | ΠΑΠ | Μερίδιο κλιμάκωσης |
|---|---|---|---|---|
| 1 — Πιλότος | 640 | 415 | 64,8% | 18% |
| 2 — Μετά την προσθήκη κανόνων | 810 | 224 | 27,7% | 58% |
| 3 — Οι κανόνες ρυθμίστηκαν ξανά | 940 | 101 | 10,7% | 79% |
Ως τον τρίτο μήνα, το ΠΑΠ έχει πέσει πάνω από 80%, αλλά ο πιο κατατοπιστικός αριθμός είναι το μερίδιο κλιμάκωσης: ανέβηκε από 18% σε 79%. Το μεγαλύτερο μέρος όσων απομένουν δεν είναι ο πράκτορας που πιάνεται να έχει άδικο — είναι ο πράκτορας που αναγνωρίζει σωστά μια πραγματικά αμφίσημη περίπτωση (λογαριασμός VIP, εξαίρεση πολιτικής, επιστροφή ακριβώς στο κατώφλι) και ρωτά πριν ενεργήσει. Η πτώση είναι πραγματική, και είναι κερδισμένη: κάθε γύρος διορθώσεων επέστρεψε σε ρητούς κανόνες, ώστε τα συγκεκριμένα λάθη που τις παρήγαγαν να πάψουν να επαναλαμβάνονται, ενώ οι κατηγορίες που ακόμη χρειάζονται κρίση συνεχίζουν να σημαδεύονται αντί να παρακάμπτονται με προσχέδιο.
Η πτώση που μετράει είναι αυτή όπου ο πράκτορας γίνεται καλύτερος στο να ξέρει τι δεν ξέρει — όχι αυτή όπου ένας άνθρωπος σταματά σιωπηλά να ελέγχει.
Το λάθος: να αντιμετωπίζετε το μηδέν ως στόχο
Μόλις μια ομάδα βλέπει το ΠΑΠ να πέφτει μήνα με τον μήνα, το προφανές επόμενο ερώτημα είναι πόσο χαμηλά μπορεί να πάει. Το ένστικτο είναι να αντιμετωπίσετε το μηδέν ως γραμμή τερματισμού — απόδειξη ότι ο πράκτορας έγινε επιτέλους αρκετά καλός για να τρέχει χωρίς επίβλεψη. Αυτό το ένστικτο είναι ανάποδο, και είναι η πιο συνηθισμένη παρανάγνωση αυτής της μετρικής.
Μια ροή που δείχνει 0% παρέμβαση για εβδομάδες σχεδόν ποτέ δεν σημαίνει ότι ο πράκτορας σταμάτησε να κάνει λάθη. Σημαίνει ότι συνέβη ένα από δύο: οι ελεγκτές σταμάτησαν να διαβάζουν στ’ αλήθεια τα προσχέδια πριν τα εγκρίνουν, ή η διαδρομή κλιμάκωσης χάλασε σιωπηλά — τα κατώφλια χαλάρωσαν, ένας κανόνας δρομολόγησης απέτυχε χωρίς θόρυβο, ή το έναυσμα ask_human σταμάτησε να πυροδοτείται. Σε κάθε περίπτωση, το μηδέν δεν σας λέει ότι το σύστημα έπαψε να χρειάζεται άνθρωπο. Σας λέει ότι ένας άνθρωπος έπαψε να ερωτάται, ή έπαψε να κοιτάζει.
Ο πραγματικός στόχος δεν ήταν ποτέ λιγότερες παρεμβάσεις αφηρημένα. Είναι ένα σύστημα όπου οι συγκεκριμένες στιγμές που χρειάζονται την κρίση ενός ανθρώπου ανεβαίνουν στην επιφάνεια — και μόνο αυτές — ώστε η προσοχή ενός ανθρώπου να πηγαίνει εκεί που πραγματικά χρειάζεται, αντί να μοιράζεται ομοιόμορφα σε όλα ή να λείπει εντελώς. Μια ροή στο 12% ΠΑΠ, όπου σχεδόν όλο αυτό το 12% είναι ο πράκτορας που σημαδεύει σωστά πραγματικά αμφίσημες ή υψηλού ρίσκου περιπτώσεις, είναι πιο υγιής από μία στο 2%, όπου το μεγαλύτερο μέρος αυτού του 2% είναι ένας ελεγκτής που σκοντάφτει σε λάθος που ο πράκτορας δεν σήμανε ποτέ. Ο χαμηλότερος αριθμός μπορεί να κρύβει το χειρότερο σύστημα.
Ακριβώς γι’ αυτό υπάρχει το μερίδιο κλιμάκωσης. Δίπλα στο ΠΑΠ, σας λέει σε ποια ιστορία βρίσκεστε:
Αν το ΠΑΠ πέφτει ενώ το μερίδιο κλιμάκωσης μένει επίπεδο ή πέφτει κι αυτό, μην το καταχωρίσετε ακόμη ως νίκη. Τραβήξτε ένα τυχαίο δείγμα από ενέργειες καταγεγραμμένες ως «δεν χρειάστηκε παρέμβαση» και ζητήστε από κάποιον να τις δει εν ψυχρώ, χωρίς να του πείτε ότι το δείγμα είχε σημανθεί καθαρό. Ελέγξτε αν τα σήματα πιο κάτω — αιτήματα που ξανανοίγουν, παράπονα, ανακλήσεις επιστροφών, CSAT — ανεβαίνουν ταυτόχρονα. Ένα ΠΑΠ που πέφτει με προβλήματα πιο κάτω που ανεβαίνουν δεν είναι σύστημα που έμαθε πιο γρήγορα. Είναι σύστημα που κανείς δεν έπιασε εγκαίρως.
Τι να καταγράφετε αν θέλετε να το μετρήσετε σήμερα
Τίποτα από αυτά δεν απαιτεί τόσο νέα εργαλεία όσο την καταγραφή του σωστού πράγματος. Οι περισσότερες ομάδες που τρέχουν πράκτορα παρακολουθούν ήδη τον όγκο — πόσα αιτήματα άγγιξε, πόσες εργασίες συνέταξε. Σχεδόν καμία δεν παρακολουθεί το αποτέλεσμα, που είναι το μόνο που το ΠΑΠ χρειάζεται πραγματικά.
- Καταγράψτε ένα αποτέλεσμα για κάθε ενέργεια, όχι μόνο έναν μετρητή δραστηριότητας. Στάλθηκε ως έχει, διορθώθηκε πριν την αποστολή, απορρίφθηκε και ξαναγράφτηκε, ή κλιμακώθηκε από τον ίδιο τον πράκτορα. Χωρίς καταγραφή σε επίπεδο αποτελέσματος, το ΠΑΠ δεν υπολογίζεται καθόλου — θα ξέρετε ότι ο πράκτορας έκανε κάτι, όχι αν έπρεπε να διορθωθεί.
- Σταθεροποιήστε τον παρονομαστή πριν τον αριθμητή. Αποφασίστε τι μετρά ως μία ενέργεια για αυτή τη ροή — ένα αίτημα που αγγίχτηκε, μία εργασία που συντάχθηκε — και κρατήστε αυτόν τον ορισμό σταθερό ανάμεσα σε περιόδους, ώστε μια αλλαγή στο ΠΑΠ να αντικατοπτρίζει την κρίση του πράκτορα και όχι μια αλλαγή στον τρόπο που μετράτε.
- Βάλτε λόγο σε κάθε παρέμβαση. Το «διορθώθηκε» δεν λέει σχεδόν τίποτα. Το «διορθώθηκε: εφαρμόστηκε λάθος η πολιτική επιστροφών πάνω από $50» λέει ακριβώς τι να φτιάξετε μετά. Μια σύντομη, σταθερή ταξινομία μετατρέπει το αρχείο διορθώσεων σε λίστα εργασιών αντί για πίνακα σκορ.
- Παρακολουθήστε το μερίδιο κλιμάκωσης δίπλα στο ΠΑΠ, όχι στη θέση του. Οι δύο αριθμοί μαζί λένε αν μια πτώση είναι κερδισμένη ή δανεική — δείτε τον πίνακα τάσης παραπάνω.
- Βάλτε ένα πάτωμα, όχι στόχο μηδέν. Αποφασίστε, ανά ροή, πώς μοιάζει ένα εύλογο μη μηδενικό ΠΑΠ δεδομένης της πραγματικής αμφισημίας που περιέχει η ροή, και αντιμετωπίστε έναν ρυθμό που πέφτει πολύ κάτω από αυτό το πάτωμα ως κάτι προς διερεύνηση, όχι προς πανηγυρισμό.
- Αναφέρετε το ΠΑΠ ανά ροή, ποτέ ως έναν ενιαίο εταιρικό μέσο όρο. Ένας μέσος όρος κρύβει ποια συγκεκριμένη ροή έχει όντως κερδίσει λιγότερη επίβλεψη και ποια συσσωρεύει σιωπηλά ρίσκο κάτω από έναν αριθμό που φαίνεται καλός.
- Ξαναελέγχετε το «καθαρό» δείγμα σε πρόγραμμα. Περιοδικά τραβήξτε ενέργειες καταγεγραμμένες ως μη χρήζουσες παρέμβασης και ζητήστε από κάποιον να τις δει χωρίς να ξέρει ότι είχαν σημανθεί καθαρές. Είναι ο μόνος άμεσος έλεγχος για το αν οι ελεγκτές σας διαβάζουν ακόμη.
Γι’ αυτό ο Loop Agent είναι χτισμένος γύρω από το ask_human, τη συνέχιση και την κλιμάκωση μέσω εφαρμογής καναλιού, και όχι γύρω από σιωπηρή αυτονομία — ένας πράκτορας που σταματά για να ρωτήσει είναι πράκτορας που εμφανίζεται επίτηδες στον αριθμητή του ΠΑΠ σας, όχι κάποιος που πιάστηκε κατά τύχη. Οι κλιμακώσεις και τα προσχέδια εμφανίζονται στα ίδια Groups όπου η ομάδα δουλεύει ήδη, δίπλα στις εργασίες και τις σημειώσεις, ώστε η στιγμή που χρειαζόταν άνθρωπο να είναι ορατή εκεί που ζει ήδη η δουλειά — όχι θαμμένη σε ξεχωριστή κονσόλα πράκτορα που κανείς δεν ελέγχει. Στο Enterprise, τα αρχεία ελέγχου επιτρέπουν στο IT και στις λειτουργίες να δουν τι έκαναν οι πράκτορες και ακριβώς πότε παρενέβη άνθρωπος, που είναι η πρώτη ύλη από την οποία χτίζεται εξαρχής το ΠΑΠ.
Συνδυάστε το με την Αναγνωσιμότητα — τη συνοδό έννοια ώστε να είναι ορατές και οι χορηγήσεις και οι προσβάσεις — και έχετε τις δύο ερωτήσεις που κάθε ανάπτυξη ΤΝ πρέπει να μπορεί να απαντήσει πριν επεκταθεί: ποιος μπορεί να δει τι κάνει ένας πράκτορας, και πόσο συχνά χρειάζεται όντως να παρέμβει ένας άνθρωπος.