ב-9 ביוני 2026 פרסם NIST הוכחה מתמטית המראה שסט קבוע של guardrails שמוצב על מערכת AI אינו עמיד באופן אוניברסלי מול prompts יריבים מסתגלים. ההוכחה מרחיבה ל-AI את הלוגיקה של משפטי אי-השלמות של גדל. הממצאים מראים שמפתחים וארגונים שמפעילים מערכות AI צריכים להקדיש משאבים למציאת prompts שעלולים לעקוף את ההגנות, ולעבור ממודל אבטחה חד-פעמי למודל של ניטור ועדכון מתמשך.
מה הוכיח NIST
ההוכחה המתמטית של NIST מראה שלא ניתן לבנות מערכת הגנה סופית ומושלמת למערכת AI. בדומה למשפטי אי-השלמות של גדל, שהוכיחו שכל מערכת פורמלית מספיק חזקה מכילה טענות שאי אפשר להוכיח או להפריך בתוכה, כך גם מערכת AI עם סט קבוע של guardrails תמיד תהיה פגיעה ל-prompts יריבים חדשים. זה לא כשל הנדסי שאפשר לתקן, אלא מגבלה מתמטית מובנית.
המשמעות המעשית היא שכל ארגון שמפעיל מערכת AI צריך להקדיש משאבים מתמשכים לזיהוי prompts שעלולים לעקוף את ההגנות הקיימות, ולעדכן את המערכת בהתאם. מודל “one and done” - בו בונים מערכת, מוסיפים הגנות, וסוגרים את הפרויקט - אינו עומד במבחן המתמטי.
למה זה משנה את מודל הרכש
רוב הארגונים בישראל שמזמינים מערכת AI מתייחסים אליה כאל פרויקט תוכנה רגיל: תקציב חד-פעמי, מסירה, אחריות לתקופה מוגבלת. ההוכחה של NIST מראה שזה לא מספיק. בנק שמזמין מערכת AI לניתוח סיכונים, חברת ביטוח שבונה צ’אטבוט לשירות לקוחות, או גוף ממשלתי שמפעיל מערכת לעיבוד בקשות - כולם צריכים להבין שהם מתחייבים לתהליך מתמשך, לא לפרויקט חד-פעמי.
זה משנה את דרישות המכרז ואת מודל התמחור. במקום לבקש “מערכת AI בטוחה”, צריך לבקש “תוכנית ניטור ועדכון מתמשכת”, עם הגדרה ברורה של תדירות בדיקות, זמני תגובה לאיומים חדשים, ומנגנון לעדכון guardrails. במקום תקציב חד-פעמי, צריך לתקצב עלות חודשית או שנתית לתחזוקה אבטחתית.
מה לעשות השבוע
אם אתם בתהליך רכש של מערכת AI, הוסיפו לדרישות סעיף על ניטור ועדכון מתמשך של הגנות. בקשו מהספק להציג איך הוא מתכנן לזהות prompts עוקפים, באיזו תדירות הוא יבדוק את המערכת, ומה זמן התגובה שלו לאיום חדש. אם אתם כבר מפעילים מערכת AI, בדקו עם הספק האם יש תוכנית ניטור קיימת, ואם לא - דרשו אחת.
במערכות שאנחנו בונים, ניטור ועדכון הגנות הם חלק מובנה מההסכם, לא תוספת אופציונלית. זה לא עניין של שירות טוב, אלא דרישה ארכיטקטונית שנובעת מהמגבלות המתמטיות של המערכות עצמן. אם אתם צריכים לבנות מערכת AI תחת תקני אבטחה ורגולציה, כדאי להתייעץ עם מי שמבין את ההבדל בין סוכני AI לעסקים שנבנים עם ממשל מובנה לבין כלים שנועדו להדגמה בלבד.
מקורות
שאלות נפוצות
כמה עולה ניטור ועדכון מתמשך של מערכת AI?
זה תלוי בסוג המערכת ובדרישות הרגולטוריות, אבל כלל אצבע הוא 15-25% מעלות הפיתוח הראשונית בשנה. בנק או חברת ביטוח עם דרישות אבטחה גבוהות יצטרכו לתקצב יותר. חשוב לכלול את העלות הזו בתחשיב ROI מההתחלה.
האם צ'אטבוט פשוט לשירות לקוחות צריך ניטור מתמשך?
כן, אם הוא מחובר למידע רגיש או למערכות פנימיות. גם צ'אטבוט "פשוט" יכול להיות פגיע ל-prompt injection שיגרום לו לחשוף מידע שלא היה אמור להיות נגיש. התדירות והעומק של הניטור תלויים ברמת הסיכון.