ההתלהבות מסוכנים אוטונומיים ממשיכה, ולצידה יש שאלה שחוזרת בכל שיחה עם ארגון שמתחיל להשתמש בהם ברצינות. היא לא מנוסחת תמיד באותן מילים, אבל היא תמיד אותה שאלה.
מה קורה אם הוא עושה משהו שלא התכוונו שיעשה, ואנחנו נגלה את זה רק מחר.
זאת לא שאלה פרנואידית. סוכן שימושי בדיוק במידה שבה מותר לו לפעול בלי לשאול. ברגע שכל פעולה דורשת אישור, מה שבנינו הוא טופס מורכב. ברגע שאף פעולה לא דורשת אישור, מה שבנינו הוא דבר שאיש בארגון לא יסכים לקחת עליו אחריות. הרוב המכריע של הערך נמצא בטווח שבין שתי הנקודות האלה, וכל העבודה היא לדעת איפה בדיוק לעמוד בתוכו.
השיטה שפיתחנו לעצמנו ואחר כך לארגונים נשענת על שלוש שאלות. מה מותר לו לעשות, כמה הוא עולה, ואיך יודעים מה הוא עשה.
למה רשימת הרשאות לא מספיקה
הדרך הטבעית לתת גבולות לסוכן היא לכתוב רשימה של פעולות מותרות. זה עובד בתחילת הדרך, ומתפרק די מהר.
הסיבה היא שהשאלה האמיתית כמעט אף פעם אינה האם הפעולה מותרת, אלא האם היא מותרת עכשיו, בהקשר הזה, אחרי מה שקרה לפניה. לשלוח מייל זאת פעולה לגיטימית לגמרי. לשלוח ארבעים מיילים בשתי דקות לרשימה שהסוכן עצמו הרכיב מקובץ שהוא קרא זה כבר משהו אחר, אף שכל שלב בנפרד עבר את הרשימה.
מה שניסינו להחליף בו את הרשימה הוא יחס. סוכן מתחיל עם מרחב פעולה צר, ומרחיב אותו ככל שהוא מצטבר היסטוריה של פעולות שעברו בדיקה. ובכיוון ההפוך, פעולה שנדחתה או שהתבררה כשגויה מצמצמת אותו בחזרה.
ההיגיון כאן לא טכנולוגי במיוחד. ככה בדיוק מתנהל עובד חדש בארגון. בשבוע הראשון הוא מראה כל דבר, אחרי חצי שנה הוא מראה רק את הדברים החריגים, ואם הוא טועה בגדול הוא חוזר לשבוע הראשון.
על תקציב
החלק שהכי מופתעים ממנו הוא שסוכן בלי תקציב אינו באמת סוכן.
כשאין גבול על כמה משאבים פעולה מסוימת רשאית לצרוך, אין שום לחץ שיגרום לבחור בין מה שחשוב לבין מה שסתם אפשרי. הסוכן יעשה את הכול, בסדר שבו זה עלה לו, ויעצור כשייגמר משהו אחר. זה לא רק יקר. זה גם אומר שהמשימה החשובה ביותר באותו יום עלולה פשוט לא להתבצע כי משהו שולי קדם לה.
ברגע שיש תקציב, נוצרת שאלה שחייבים לענות עליה מראש. מה חשוב כאן יותר. והשאלה הזאת, שנשמעת כמו שאלה טכנית על ניהול משאבים, היא בעצם שאלה ארגונית שבדרך כלל אף אחד לא טרח לענות עליה בכתב קודם.
על יומן
כל מערכת כזאת כותבת יומן. זה החלק הקל, והוא גם החלק שהכי קל להטעות בו את עצמך.
יומן שאף אחד לא קורא אינו מנגנון פיקוח. הוא ראיה לאחר מעשה, והוא שימושי בדיוק פעם אחת, בחקירה שאחרי. מה שהופך יומן למנגנון חי הוא שיש מישהו ספציפי שעובר עליו בתדירות קבועה, ושהוא קצר מספיק כדי שהמעבר הזה יהיה אפשרי בפועל.
לכן אנחנו לא מתעדים הכול. אנחנו מתעדים את מה שלא ניתן לביטול, את מה שעולה כסף, ואת מה שיוצא החוצה מהארגון. השאר נשמר אבל לא מוצג, כי יומן שאי אפשר לסרוק בחמש דקות יהפוך תוך שבועיים ליומן שאיש לא סורק.
מה לא עבד לנו
הגרסה הראשונה שבנינו הייתה מחמירה הרבה יותר. כמעט כל פעולה משמעותית עצרה וביקשה אישור אנושי, מתוך הנחה שעדיף להתחיל מהצד הבטוח ולהרפות בהדרגה.
מה שקרה הוא שאנשים הפסיקו להשתמש בה. לא בגלל שהיא הפריעה, אלא בגלל שהיא הפכה את הסוכן למשהו שדורש נוכחות קבועה, וזה בדיוק מה שהוא היה אמור לחסוך. אחרי כמה שבועות הגילוי היה שחלק מהצוות פשוט עוקף אותה ומריץ דברים ידנית, וזה כמובן מצב גרוע בהרבה מכל רמת אוטונומיה שהיינו מאשרים.
המסקנה הייתה שפיקוח שהמשתמשים בורחים ממנו אינו פיקוח. הוא רק מזיז את הסיכון למקום שאין בו יומן בכלל.
סוף
רוב הדיון הציבורי על סוכנים אוטונומיים עוסק ביכולת. מה הם יודעים לעשות עכשיו, ומה הם יידעו לעשות בעוד חצי שנה.
הניסיון שלנו הוא שבתוך ארגון אמיתי השאלה הזאת כמעט אף פעם אינה הצוואר. הצוואר הוא האמון, והוא לא נבנה מהצהרות אלא מהיסטוריה. בגלל זה השיטה שלנו עוסקת הרבה פחות במה הסוכן מסוגל לעשות, והרבה יותר בשאלה איך הוא מרוויח את הזכות לעשות את זה לבד.