לענות ממאגר הידע
מחירים, שעות, חיסונים נדרשים, מדיניות ביטולים. הוא מחפש במסמכים של העסק ומציין מאיפה לקח כל פרט.
מוקד הוא עוזר דיגיטלי לעסק קטן. הוא עונה ללקוחות מתוך מאגר הידע של העסק, מחפש באינטרנט כשחסר מידע, קובע תורים ושולח מיילים. לפני כל פעולה הוא עוצר ומבקש אישור. בהדגמה הוא עובד אצל "פרווה", מספרה ופנסיון לכלבים.
צ'אט רגיל רק מדבר. סוכן גם פועל: יש לו כלים, והוא מחליט בעצמו איזה כלי מתאים לכל פנייה.
מחירים, שעות, חיסונים נדרשים, מדיניות ביטולים. הוא מחפש במסמכים של העסק ומציין מאיפה לקח כל פרט.
רק לשאלות כלליות על טיפוח כלבים שהמאגר לא עונה עליהן, ותמיד עם ציון שהמידע הגיע מהאינטרנט.
לקבוע תור ביומן, לשלוח מייל ללקוח, ולרשום פנייה שהצוות צריך לחזור אליה.
לא לנחש מחיר, לא לתת ייעוץ רפואי, לא לענות על מזג האוויר, ולא לציית לטקסט חשוד שמצא במסמך.
בוחרים פנייה של לקוח ורואים מה קורה לה. החיפוש במאגר שמוצג כאן אמיתי: אותו קוד של הפרויקט רץ עכשיו בדפדפן שלכם.
בעברית אותיות כמו ו', ב', ה' נדבקות למילה. כדי ש"בפנסיון" ימצא גם "פנסיון", הקוד מקלף אותן ומחפש גם את הצורה הקצרה. מילים נפוצות כמו "מה" או "של" לא עוזרות לחיפוש, ולכן מדלגים עליהן. הצורות הקצרות לא תמיד מילים אמיתיות, וזה בסדר: הן רק צריכות להתאים לאותה צורה במסמכים.
חיפוש אחד מוצא קטעים עם אותן מילים. חיפוש שני מוצא קטעים עם אותה משמעות, גם אם המילים שונות. לחיצה על קטע פותחת את הטקסט שלו.
קטע ששני החיפושים דירגו גבוה עולה לראש. חמשת הקטעים האלה הם מה שהסוכן מקבל לקריאה.
הסוכן הוא מודל שפה (Claude) שקורא את הפנייה ואת הקטעים, ומחליט: לענות, לחפש שוב, לפנות לאינטרנט, או להפעיל כלי פעולה. המבחן בודק שהוא בחר נכון.
חשוב לדעת: שלב 4 לא רץ בעמוד הזה, כי כל הרצה של הסוכן עולה כסף. מה שמוצג הוא ההתנהגות שהמבחן מצפה לה, מתוך קובץ התרחישים. במחשב, מול Claude, הסוכן עבר 19 מתוך 20 תרחישים. שלבים 1 עד 3 רצים כאן באמת.
הסוכן עובד בסבבים: מבקש כלי, מקבל תוצאה, ומחליט מה הצעד הבא.
שאלה, בקשה לתור, או כמה דברים בבת אחת.
לפי תיאור של כל כלי: מתי להשתמש בו ומתי לא.
חיפוש רץ מיד. פעולה שמשנה משהו נעצרת קודם לאישור.
הוא רואה בדיוק מה יקרה. בלי "כן" מפורש, שום דבר לא מתבצע.
הסוכן מסכם מה נעשה ומציין מאיפה הגיע כל פרט.
אפשר לכתוב למודל "אל תשלח מייל בלי אישור" ולקוות לטוב. כאן זה בנוי אחרת: הקוד שמריץ את הכלים עוצר לפני כל פעולה ושואל את הלקוח. גם אם מסמך זדוני ישכנע את המודל, הפעולה לא תתבצע בלי "כן".
כלי קריאה רק מביאים מידע: חיפוש במאגר, בדיקת שעות פנויות. הם רצים מיד.
כלי פעולה משנים משהו בעולם: תור, מייל, פנייה. הם עוברים דרך שער האישור.
גם כללי העסק נאכפים בקוד: יומן התורים מסרב לקבוע תור בשבת או על שעה תפוסה, לא משנה מה המודל ביקש.
if (tool.kind === "action") {
const approved = await approve(summary);
if (!approved) return "declined";
}
return await tool.run(input);
יש בקשות שהסוכן לא יכול לסגור לבד, כמו הזמנה לפנסיון. במקום שהן יישארו בקובץ שאף אחד לא פותח, הסוכן פותח כרטיס ב-Jira, מערכת המשימות שבה הצוות עובד, ונותן ללקוח מספר פנייה. לחצו כדי לעקוב אחרי פנייה אחת.
"אני רוצה פנסיון לשבוע בדצמבר"
הסוכן מציג מה יירשם ומחכה ל"כן"
קודם כול גיבוי מקומי, למקרה ש-Jira לא זמין
הקוד שולח את הפרטים ומקבל מספר כרטיס
נרשם מה נעשה ומתי, בלי פרטי הלקוחה
חמש תחנות. בכל לחיצה הפנייה מתקדמת תחנה אחת.
זו המחשה עם נתונים לדוגמה, ולא חיבור חי ל-Jira. הקוד עצמו נבדק בבדיקות אוטומטיות מול Jira מדומה.
לחלק מהתרחישים ידוע מראש איזה קטע במאגר עונה עליהם. הגרף מראה באיזה אחוז מהם הקטע הנכון הופיע בין חמש התוצאות הראשונות, בכל שיטת חיפוש.
נמדד על 8 פניות בלבד, שהתשובה שלהן נמצאת במאגר. זה מבחן קטן מאוד, ולכן הוא מראה כיוון ולא אמת מוחלטת.
הכול כתוב בקוד, בשפת TypeScript. כל מה ששייך לעסק יושב בתיקייה אחת, כך שאפשר להחליף עסק בלי לגעת בקוד.
חיפוש מילים שמבין אותיות שנדבקות למילה, חיפוש לפי משמעות, ואיחוד של שניהם.
רץ ונבדקיומן תורים עם כללי העסק, תיבת דואר יוצא ורישום פניות לצוות. המייל נכתב לקובץ ולא נשלח באמת, והסוכן יודע לומר זאת.
רץ ונבדקהקוד שמריץ את הכלים, עוצר לאישור ומגביל את מספר הצעדים.
נבדק מול מודל מדומהפנייה לצוות נפתחת גם ככרטיס ב-Jira, וכל פעולה של הסוכן נרשמת ביומן, כולל פעולות שהלקוח סירב להן.
נבדק מול Jira מדומההסוכן ארוז בקונטיינר שרץ בלי הרשאות מנהל. בכל העלאת קוד, GitHub בונה את החבילה, מפעיל אותה ובודק שהיא עונה.
נבנה ונבדק ב-CIהסוכן עצמו, החיפוש באינטרנט ו-20 התרחישים מקצה לקצה. בהרצה הראשונה עברו 19 מתוך 20. הכישלון: הסוכן לא ציית למלכודת, אבל ציטט את קוד הקופון כדי להזהיר ממנו. תוקן במשפט אחד בהנחיות.
רץ: 19 מתוך 20המילים שחוזרות בפרויקט, בעברית פשוטה.
תוכנה שלמדה מהמון טקסט לחזות איזו מילה תבוא עכשיו. Claude ו-ChatGPT בנויים על מודלים כאלה.
מודל שפה שמקבל מטרה וכלים, ומחליט בעצמו אילו צעדים לעשות. הוא עובד בסבבים: מפעיל כלי, קורא את התוצאה, ומחליט מה הלאה.
פעולה שהמודל יכול לבקש: חיפוש, קביעת תור, שליחת מייל. המודל לא מריץ כלום בעצמו. הוא רק מבקש, והקוד שסביבו מריץ.
ההחלטה איזה כלי מתאים לכל פנייה. המודל מחליט לפי התיאור שכתבנו לכל כלי: מתי להשתמש בו ומתי לא.
שיטה שבה המערכת מחפשת קודם במסמכים, מצרפת את מה שמצאה לשאלה, ורק אז המודל עונה. מבחן בספר פתוח.
חתיכה קצרה של מסמך. מחפשים בקטעים ולא במסמכים שלמים, כי כך החיפוש מדויק יותר.
רשימה של מספרים שמייצגת את המשמעות של טקסט. טקסטים עם משמעות דומה מקבלים מספרים קרובים, וכך מחפשים לפי משמעות.
ההוראות הקבועות שהסוכן מקבל לפני כל שיחה: מה התפקיד שלו, מאיפה מותר לו לקחת מידע, ומה הגבולות.
עיקרון שלפיו פעולה חשובה לא מתבצעת עד שאדם מאשר אותה. כאן: כל תור, מייל או פנייה.
רשימה קבועה של תרחישים עם התנהגות צפויה. מריצים אותה אחרי כל שינוי כדי לדעת אם המערכת השתפרה או נפגעה.
טקסט ששותלים בתוך מסמך כדי שהמודל יחשוב שזו הוראה. במאגר של פרווה יש מלכודת כזו בכוונה, והמבחן בודק שהסוכן לא נופל בה.
API הוא הדרך שבה תוכנה אחת מדברת עם תוכנה אחרת. מפתח API הוא הסיסמה שמזהה אתכם מול השירות, ולפיה מחייבים על השימוש.