כולם יכולים להריץ GPT-4 ולקבל תוצאות מרשימות בדגימה ראשונה. השאלה האמיתית: איך עוברים מסוכן שעובד 80% מהזמן ב-demo, לסוכן שאתם נותנים ללקוח אמיתי לדבר איתו על חיוב חודשי?
הבסיס: כל סוכן הוא state machine
GPT הוא לא הסוכן. הוא רק המודל. הסוכן הוא state machine שמורכב מ: - prompt template (system + few-shot) - tools (function calling spec) - memory (short-term context + long-term store) - guardrails (input/output validators) - handoff logic (כשהסוכן צריך להעביר לבן-אדם)
RAG: הדרך לסוכן שמכיר את העסק שלכם
אי אפשר ללמד את GPT-4 על המוצרים, התקנון, ה-FAQ של העסק שלכם דרך fine-tuning בלבד. צריך RAG: vector store עם החומרים, retrieval בכל שאלה, prompt construction דינמי.
Observability: בלי זה אתם עיוורים
לוגינג של כל token, של כל retrieval, של כל tool call. metrics על latency, cost, hallucinations. בלי dashboard — אין לכם מושג למה הסוכן עונה בצורה הזאת לשאלה הזאת.
Guardrails
לא רק validation על input. גם על output. לפני שהמשתמש רואה את התשובה: בדיקה שאין PII דלוף, שאין אזכור של מתחרים, שיש דיסקליימר אם נדרש.
הקפיצה האחרונה: handoff
כל סוכן מסחרי צריך handoff חלק לאדם. תזהו את הסיגנלים (משתמש מתוסכל, שאלה מורכבת, decision שדורש מומחה), הציעו handoff, העבירו את כל ההקשר.
מסקנה
GPT-4 הוא 10% מהעבודה. ה-90% האחרים הם ארכיטקטורה, observability, ו-edge cases. זה ההבדל בין demo ל-production.