מחקר של Ai2, כפי שהוא מתואר בסיכום המבוסס על Hugging Face, בדק עד כמה מודלי שפה גדולים מסוגלים להעריך באופן אמין את החדשנות של רעיונות מחקר מדעיים. שינוי של מספר מילים בלבד בפרומפט שינה את הדיוק של המודל בזיהוי איזה משני רעיונות חדשני יותר, ביותר מ-50 נקודות אחוז.
כלומר, אותו רעיון יכול לקבל דירוג גבוה או נמוך בהתאם לניסוח בלבד.
מה דווח בפועל
המשימה שנבדקה הייתה השוואה: בהינתן שני רעיונות, איזה מהם חדשני יותר. הממצא המרכזי הוא פער של יותר מ-50 נקודות אחוז בדיוק, שנגרם משינוי קטן בניסוח ולא משינוי במודל או בנתונים.
חשוב לדעת מה איננו יודעים. הטקסט שעמד לרשותנו נחתך באמצע, ולכן לא ראינו את שיטת המחקר, את המודלים שנבדקו או את שאר התוצאות. הטענה מגיעה דרך סיכום משני ולא ישירות מ-Ai2. נתייחס אליה כאות אזהרה ברור, ולא כמפה מלאה של הבעיה.
למה זה חשוב מעבר לכותרת
המחקר עסק ברעיונות מדעיים, אבל המבנה מוכר לכל עסק: מודל מקבל פריטים ונדרש לשפוט, לדרג או לבחור. דירוג לידים, מיון פניות לקוחות והערכת תוכן הם אותו סוג משימה. המחקר לא הוכיח שהן נכשלות באותה מידה, אבל הוא מצדיק לבדוק.
הבעיה היא שהטיה כזו שקטה. אין הודעת שגיאה, והתשובה נראית בטוחה. ובמערכת חיה, מישהו שמשפר ניסוח של פרומפט כדי לטפל בבעיה אחרת עלול להזיז החלטות בלי שאיש ישים לב.
בארגון או בבנק זו בעיה של בקרה וציות. קשה לטעון שהחלטה עקבית וניתנת לביקורת אם שינוי קל בניסוח מזיז אותה בעשרות נקודות. מי שבונה מערכת שמקבלת החלטות או ממליצה עליהן צריך להוכיח יציבות, לא רק לציין שהמודל נותן תשובות טובות בדוגמאות.
מה עושים השבוע
ראשית, מפו היכן מודל שפה אצלכם משפיע על החלטה: מי מקבל מענה ראשון, איזה ליד נחשב חם, איזו פנייה דחופה. אלה המקומות לבדוק.
שנית, בנו סט קטן של מקרים שאדם כבר הכריע בהם. הריצו כל מקרה בכמה ניסוחים סבירים של אותו פרומפט, והשוו. אם התוצאות זזות, ההחלטה הזו לא מוכנה לאוטומציה מלאה.
שלישית, התייחסו לפרומפט כמו לקוד: גרסאות, ובכל שינוי מריצים מחדש את סט הבדיקה. ורביעית, קבעו אימות אנושי, ביקורת תקופתית על מדגם ומנגנוני בטיחות לפני שמעבירים החלטות קריטיות למערכת אוטומטית.
מערכת שמנוהלת כך נשארת יציבה גם כשמשנים בה דברים. על הדרך הזו כתבנו באוטומציה מנוהלת לעסקים.
מקורות
שאלות נפוצות
האם אפשר להשתמש ב-LLM לדירוג לידים?
אפשר, כשהדירוג משמש כמיון ראשוני ולא כהחלטה סופית. כדאי לבדוק קודם שהתוצאה לא משתנה כשמנסחים את הפרומפט בדרכים שונות, ולהשאיר אדם בלולאה על הלידים החשובים.
האם מודל חדש יותר פותר את בעיית הרגישות לניסוח?
אי אפשר להניח זאת. בסיכום שראינו לא מפורט אילו מודלים נבדקו, ולכן אין בסיס לטענה שמודל מסוים חסין. הדרך הבטוחה היא להריץ את בדיקת הניסוחים על המודל שאתם משתמשים בו בפועל.