פתרונותמחירוןסדנאותבלוגחדשותאודותבואו נדבר

שינוי של מילים בודדות בפרומפט משנה שיפוט LLM ב-50%

מחקר של Ai2 מראה שמודלי שפה אינם יציבים בהערכת חדשנות. שינוי קטן בפרומפט משנה את הדיוק ביותר מ-50 נקודות אחוז.

Automushפורסם 1 דק׳ קריאהמקור: Hugging Face

מחקר חדש של Ai2 בדק עד כמה מודלי שפה גדולים יכולים להעריך באופן אמין את החדשנות של רעיונות מחקר מדעי. התוצאה: שינוי של מספר מילים בלבד בפרומפט שינה את הדיוק של המודל בזיהוי איזה משני רעיונות חדשני יותר ביותר מ-50 נקודות אחוז. המחקר בחן שישה מודלים: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, ו-Claude Opus 4.6.

מה קרה במחקר

החוקרים בדקו האם LLM יכולים לשפוט באופן עקבי איזה רעיון מחקרי חדשני יותר. הם גילו ששינויים קטנים לכאורה בהגדרת ההערכה מייצרים שיפוטים שונים באופן דרמטי על אותם רעיונות. אחזור מידע והוספת חשיבה נוספת לא שיפרו באופן עקבי את השיפוט. שתי מערכות ייעודיות להערכת חדשנות הניבו תוצאות גרועות יותר.

הממצא המרכזי: אותו מודל, אותם רעיונות, שינוי קטן בפרומפט – תוצאה שונה לחלוטין.

למה זה משנה מעבר לכותרת

ארגונים רבים שוקלים להשקיע במערכות AI שמעריכות, מסננות או מדרגות תוכן: הצעות מחקר, בקשות לקוחות, החלטות עסקיות. המחקר מראה שהשיפוט של LLM אינו יציב מספיק לקבלת החלטות קריטיות ללא פיקוח אנושי.

זו לא בעיה שתיפתר בדור הבא של המודלים. זו מגבלה ארכיטקטונית: מודל שפה מייצר הסתברויות, לא שיפוט אובייקטיבי. שינוי בניסוח משנה את ההקשר הסטטיסטי, ולכן את התוצאה. אם אתם בונים מערכת שמסתמכת על שיפוט LLM, אתם בעצם בונים מערכת שהתוצאה שלה תלויה בניסוח הפרומפט יותר מאשר בתוכן עצמו.

מה לעשות השבוע

אם אתם כבר מפעילים מערכת שמשתמשת ב-LLM להערכה או סינון, הוסיפו ביקורת אנושית על דגימה אקראית של 10% מהתוצאות. אם אתם מתכננים מערכת כזו, תכננו מראש validation אנושי, ביקורת תקופתית, ומנגנוני בטיחות. אל תעבירו החלטות קריטיות – כמו דחיית הצעה, סינון ליד, או אישור בקשה – למערכת אוטומטית ללא פיקוח.

אם אתם צריכים להעריך או לדרג תוכן באופן אוטומטי, שקלו לבנות סוכני AI לעסקים עם מנגנוני ביקורת מובנים ולא מערכת שיפוט סגורה.

מקורות

שאלות נפוצות

האם אפשר לשפר את יציבות השיפוט של LLM באמצעות prompt engineering?

המחקר מראה שאחזור מידע והוספת חשיבה נוספת לא שיפרו באופן עקבי את השיפוט. שינוי קטן בפרומפט יכול לשנות את התוצאה ב-50%+, כלומר prompt engineering לא פותר את בעיית היציבות הבסיסית.

האם מודלים חדשים יותר יציבים יותר בשיפוט?

המחקר בדק שישה מודלים שונים, כולל גרסאות מתקדמות של GPT ו-Claude, וכולם הראו אי-יציבות דומה. זו מגבלה ארכיטקטונית של מודלי שפה, לא פגם באימון שייפתר בגרסה הבאה.

מדריכים שקשורים לזה

לבלוג

איזה תהליך אצלכם יכול לרוץ לבד?

שיחת אבחון של 30 דקות, חינם וללא התחייבות. נמפה יחד את התהליכים ונגיד בכנות אם ואיך אוטומציה תעזור.

נסו שיחה עם סוכן עכשיו