מחקר
ניסוח הפרומפט הזיז את שיפוט ה-LLM ביותר מ-50 נקודות אחוז
מחקר של Ai2: שינוי של כמה מילים בפרומפט שינה את דיוק המודל בהשוואת רעיונות ביותר מ-50 נקודות. מה זה אומר על מערכות שמדרגות לידים ומקבלות החלטות.
מה זה אומר לכםאם מודל שפה מדרג אצלכם לידים, ממיין פניות או מעריך תוכן, אל תניחו שהדירוג יציב רק כי הוא נראה סביר. בנו סט קטן של מקרים שאדם כבר הכריע בהם, הריצו כל מקרה בכמה ניסוחים של אותו פרומפט, ובדקו אם התוצאה זזה. כל החלטה שמשתנה לפי הניסוח צריכה להישאר בידי אדם, ושינוי בפרומפט צריך להיחשב כשינוי בלוגיקה העסקית.