הקוד ב-GitHub

סוכן AI לעסק, שלא פועל בלי אישור

מוקד הוא עוזר דיגיטלי לעסק קטן. הוא עונה ללקוחות מתוך מאגר הידע של העסק, מחפש באינטרנט כשחסר מידע, קובע תורים ושולח מיילים. לפני כל פעולה הוא עוצר ומבקש אישור. בהדגמה הוא עובד אצל "פרווה", מספרה ופנסיון לכלבים.

מה הסוכן יודע לעשות

צ'אט רגיל רק מדבר. סוכן גם פועל: יש לו כלים, והוא מחליט בעצמו איזה כלי מתאים לכל פנייה.

לענות ממאגר הידע

מחירים, שעות, חיסונים נדרשים, מדיניות ביטולים. הוא מחפש במסמכים של העסק ומציין מאיפה לקח כל פרט.

לחפש באינטרנט

רק לשאלות כלליות על טיפוח כלבים שהמאגר לא עונה עליהן, ותמיד עם ציון שהמידע הגיע מהאינטרנט.

לבצע פעולות

לקבוע תור ביומן, לשלוח מייל ללקוח, ולרשום פנייה שהצוות צריך לחזור אליה.

לדעת מה לא לעשות

לא לנחש מחיר, לא לתת ייעוץ רפואי, לא לענות על מזג האוויר, ולא לציית לטקסט חשוד שמצא במסמך.

ההדגמה: לעקוב אחרי פנייה אחת

בוחרים פנייה של לקוח ורואים מה קורה לה. החיפוש במאגר שמוצג כאן אמיתי: אותו קוד של הפרויקט רץ עכשיו בדפדפן שלכם.

20 תרחישי הבדיקה

1

מפרקים את הפנייה למילים

בעברית אותיות כמו ו', ב', ה' נדבקות למילה. כדי ש"בפנסיון" ימצא גם "פנסיון", הקוד מקלף אותן ומחפש גם את הצורה הקצרה. מילים נפוצות כמו "מה" או "של" לא עוזרות לחיפוש, ולכן מדלגים עליהן. הצורות הקצרות לא תמיד מילים אמיתיות, וזה בסדר: הן רק צריכות להתאים לאותה צורה במסמכים.

2

שני חיפושים במאגר הידע

חיפוש אחד מוצא קטעים עם אותן מילים. חיפוש שני מוצא קטעים עם אותה משמעות, גם אם המילים שונות. לחיצה על קטע פותחת את הטקסט שלו.

לפי מילים

    לפי משמעות

      3

      מאחדים לרשימה אחת

      קטע ששני החיפושים דירגו גבוה עולה לראש. חמשת הקטעים האלה הם מה שהסוכן מקבל לקריאה.

        4

        הסוכן מחליט מה לעשות

        הסוכן הוא מודל שפה (Claude) שקורא את הפנייה ואת הקטעים, ומחליט: לענות, לחפש שוב, לפנות לאינטרנט, או להפעיל כלי פעולה. המבחן בודק שהוא בחר נכון.

        חשוב לדעת: שלב 4 לא רץ בעמוד הזה, כי כל הרצה של הסוכן עולה כסף. מה שמוצג הוא ההתנהגות שהמבחן מצפה לה, מתוך קובץ התרחישים. במחשב, מול Claude, הסוכן עבר 19 מתוך 20 תרחישים. שלבים 1 עד 3 רצים כאן באמת.

        איך זה עובד, בחמישה צעדים

        הסוכן עובד בסבבים: מבקש כלי, מקבל תוצאה, ומחליט מה הצעד הבא.

        1. לקוח כותב

          שאלה, בקשה לתור, או כמה דברים בבת אחת.

        2. הסוכן בוחר כלי

          לפי תיאור של כל כלי: מתי להשתמש בו ומתי לא.

        3. הקוד מריץ

          חיפוש רץ מיד. פעולה שמשנה משהו נעצרת קודם לאישור.

        4. הלקוח מאשר

          הוא רואה בדיוק מה יקרה. בלי "כן" מפורש, שום דבר לא מתבצע.

        5. תשובה עם מקור

          הסוכן מסכם מה נעשה ומציין מאיפה הגיע כל פרט.

        האישור נאכף בקוד, ולא בבקשה יפה

        אפשר לכתוב למודל "אל תשלח מייל בלי אישור" ולקוות לטוב. כאן זה בנוי אחרת: הקוד שמריץ את הכלים עוצר לפני כל פעולה ושואל את הלקוח. גם אם מסמך זדוני ישכנע את המודל, הפעולה לא תתבצע בלי "כן".

        שני סוגי כלים

        כלי קריאה רק מביאים מידע: חיפוש במאגר, בדיקת שעות פנויות. הם רצים מיד.

        כלי פעולה משנים משהו בעולם: תור, מייל, פנייה. הם עוברים דרך שער האישור.

        גם כללי העסק נאכפים בקוד: יומן התורים מסרב לקבוע תור בשבת או על שעה תפוסה, לא משנה מה המודל ביקש.

        if (tool.kind === "action") {
          const approved = await approve(summary);
          if (!approved) return "declined";
        }
        return await tool.run(input);

        פנייה לצוות הופכת לכרטיס ב-Jira

        יש בקשות שהסוכן לא יכול לסגור לבד, כמו הזמנה לפנסיון. במקום שהן יישארו בקובץ שאף אחד לא פותח, הסוכן פותח כרטיס ב-Jira, מערכת המשימות שבה הצוות עובד, ונותן ללקוח מספר פנייה. לחצו כדי לעקוב אחרי פנייה אחת.

        1. הלקוחה מבקשת

          "אני רוצה פנסיון לשבוע בדצמבר"

        2. שער האישור

          הסוכן מציג מה יירשם ומחכה ל"כן"

        3. נשמר בקובץ

          קודם כול גיבוי מקומי, למקרה ש-Jira לא זמין

        4. כרטיס ב-Jira

          הקוד שולח את הפרטים ומקבל מספר כרטיס

        5. יומן ביקורת

          נרשם מה נעשה ומתי, בלי פרטי הלקוחה

        חמש תחנות. בכל לחיצה הפנייה מתקדמת תחנה אחת.

        זו המחשה עם נתונים לדוגמה, ולא חיבור חי ל-Jira. הקוד עצמו נבדק בבדיקות אוטומטיות מול Jira מדומה.

        האם החיפוש באמת עובד? המספרים

        לחלק מהתרחישים ידוע מראש איזה קטע במאגר עונה עליהם. הגרף מראה באיזה אחוז מהם הקטע הנכון הופיע בין חמש התוצאות הראשונות, בכל שיטת חיפוש.

        נמדד על 8 פניות בלבד, שהתשובה שלהן נמצאת במאגר. זה מבחן קטן מאוד, ולכן הוא מראה כיוון ולא אמת מוחלטת.

        מה יש בפרויקט

        הכול כתוב בקוד, בשפת TypeScript. כל מה ששייך לעסק יושב בתיקייה אחת, כך שאפשר להחליף עסק בלי לגעת בקוד.

        מנוע חיפוש לעברית

        חיפוש מילים שמבין אותיות שנדבקות למילה, חיפוש לפי משמעות, ואיחוד של שניהם.

        רץ ונבדק

        יומן, מייל ופניות

        יומן תורים עם כללי העסק, תיבת דואר יוצא ורישום פניות לצוות. המייל נכתב לקובץ ולא נשלח באמת, והסוכן יודע לומר זאת.

        רץ ונבדק

        לולאת הסוכן ושער האישור

        הקוד שמריץ את הכלים, עוצר לאישור ומגביל את מספר הצעדים.

        נבדק מול מודל מדומה

        כרטיסים ב-Jira ויומן ביקורת

        פנייה לצוות נפתחת גם ככרטיס ב-Jira, וכל פעולה של הסוכן נרשמת ביומן, כולל פעולות שהלקוח סירב להן.

        נבדק מול Jira מדומה

        Docker ובדיקה אוטומטית

        הסוכן ארוז בקונטיינר שרץ בלי הרשאות מנהל. בכל העלאת קוד, GitHub בונה את החבילה, מפעיל אותה ובודק שהיא עונה.

        נבנה ונבדק ב-CI

        השיחה החיה עם Claude

        הסוכן עצמו, החיפוש באינטרנט ו-20 התרחישים מקצה לקצה. בהרצה הראשונה עברו 19 מתוך 20. הכישלון: הסוכן לא ציית למלכודת, אבל ציטט את קוד הקופון כדי להזהיר ממנו. תוקן במשפט אחד בהנחיות.

        רץ: 19 מתוך 20

        מילון קצר

        המילים שחוזרות בפרויקט, בעברית פשוטה.

        מודל שפה LLM

        תוכנה שלמדה מהמון טקסט לחזות איזו מילה תבוא עכשיו. Claude ו-ChatGPT בנויים על מודלים כאלה.

        סוכן agent

        מודל שפה שמקבל מטרה וכלים, ומחליט בעצמו אילו צעדים לעשות. הוא עובד בסבבים: מפעיל כלי, קורא את התוצאה, ומחליט מה הלאה.

        כלי tool

        פעולה שהמודל יכול לבקש: חיפוש, קביעת תור, שליחת מייל. המודל לא מריץ כלום בעצמו. הוא רק מבקש, והקוד שסביבו מריץ.

        ניתוב כלים tool routing

        ההחלטה איזה כלי מתאים לכל פנייה. המודל מחליט לפי התיאור שכתבנו לכל כלי: מתי להשתמש בו ומתי לא.

        RAG

        שיטה שבה המערכת מחפשת קודם במסמכים, מצרפת את מה שמצאה לשאלה, ורק אז המודל עונה. מבחן בספר פתוח.

        קטע chunk

        חתיכה קצרה של מסמך. מחפשים בקטעים ולא במסמכים שלמים, כי כך החיפוש מדויק יותר.

        הטמעה embedding

        רשימה של מספרים שמייצגת את המשמעות של טקסט. טקסטים עם משמעות דומה מקבלים מספרים קרובים, וכך מחפשים לפי משמעות.

        הנחיות מערכת system prompt

        ההוראות הקבועות שהסוכן מקבל לפני כל שיחה: מה התפקיד שלו, מאיפה מותר לו לקחת מידע, ומה הגבולות.

        אדם בלולאה human in the loop

        עיקרון שלפיו פעולה חשובה לא מתבצעת עד שאדם מאשר אותה. כאן: כל תור, מייל או פנייה.

        מבחן eval

        רשימה קבועה של תרחישים עם התנהגות צפויה. מריצים אותה אחרי כל שינוי כדי לדעת אם המערכת השתפרה או נפגעה.

        הזרקת פרומפט prompt injection

        טקסט ששותלים בתוך מסמך כדי שהמודל יחשוב שזו הוראה. במאגר של פרווה יש מלכודת כזו בכוונה, והמבחן בודק שהסוכן לא נופל בה.

        API ומפתח API

        API הוא הדרך שבה תוכנה אחת מדברת עם תוכנה אחרת. מפתח API הוא הסיסמה שמזהה אתכם מול השירות, ולפיה מחייבים על השימוש.