תביעה שהוגשה בבית המשפט העליון של מחוז סן פרנסיסקו ופורסמה השבוע טוענת ש-ChatGPT סייע לאישה בצפון קרולינה לגבש “תוכנית אישית” להרעלת בעלה. הבעל, ג’יימס גייטס, תובע את OpenAI ואת סם אלטמן. אלה טענות בכתב תביעה ולא ממצאי בית משפט, וההליך טרם הוכרע.
מה נטען בתביעה
לפי התביעה, האישה ניהלה לפחות 25 חילופי דברים על הרעלה, ובתחילה הציגה אותם כ“הגנה עצמית”. הצ’אטבוט לא סיים את השיחה ולא הפנה לרשויות, לטיפול או למוקד הרעלות.
הטענה המרכזית היא שלא הופעלו אמצעי הגנה טכניים שיפסיקו את השיחות גם כשהשאילתות היו “חשודות באופן מובהק”.
בנפרד, כתב אישום נגד האישה הוגש באוקטובר באשמת ניסיון רצח מדרגה ראשונה וזיהום מזון.
למה זה חשוב מעבר לכותרת
המקרה קיצוני, אבל תיאוריית האחריות שבו רלוונטית לכל מי שמפעיל מערכת שיחה. הטענה אינה שהמודל כתב משפט אסור אחד. הטענה היא שדבר במערכת לא זיהה דפוס לאורך רצף של הודעות ולא פעל בעקבותיו. מסנן שבודק כל הודעה לבדה לא יתפוס שיחה שנפתחה בהקשר שנשמע סביר, כמו “הגנה עצמית”.
איננו יודעים אם התיאוריה הזו תתקבל. אבל היא מנסחת ארבע שאלות שכל מי שמטמיע צ’אטבוט צריך לדעת לענות עליהן: מה אסור לשימוש, איך מזהים סחף של שיחה לאורך זמן, מי מקבל התראה ומה קורה אז, והאם אפשר להוכיח למחרת מה בדיוק נאמר.
זה מדבר בעיקר למערכות AI מותאמות בבנקאות, בביטוח ובבריאות, שם נדרש סטנדרט רגולטורי וממשל תאגידי. מערכת שנבנית נכון כוללת מדיניות שימוש אסור כתובה, זיהוי ברמת השיחה, הסלמה לגורם אנושי ולוגים שאפשר להציג כראיה לציות.
גם בוט שירות לקוחות פשוט של עסק קטן צריך גבולות ברורים. פרומפט מערכת שמגביל את תחום העיסוק שלו הוא התחלה, לא תחליף לשאר.
מה עושים השבוע
פתחו את פרומפט המערכת של הבוט וקראו אותו כמשתמש שמנסה להוציא אותו מהמסלול. האם כתוב בו במפורש על מה הבוט עונה ועל מה לא? האם הוא מנחה מה לעשות בבקשה מדאיגה או מחוץ לתחום?
אחר כך בדקו שלוש נקודות תפעוליות. האם יש דרך להעביר שיחה לאדם? מי מקבל את ההודעה כשזה קורה? ואם תצטרכו לשחזר שיחה מלאה מלפני שבוע, האם היא שמורה?
בארגון גדול יותר, הוסיפו לרשימה הגדרה של דפוסי שיחה שמצדיקים עצירה והסלמה, ומינוי בעל תפקיד אחראי. אם אתם בונים משהו מעבר לבוט בסיסי, כדאי להכיר סוכני AI לעסקים.
מקורות
שאלות נפוצות
האם עסק יכול לשאת באחריות למה שהצ'אטבוט שלו אומר?
התביעה הזו היא טענה ולא פסק דין, ולכן היא לא קובעת דבר. מה שהיא מראה הוא שהטענה נגד ספקי AI מתמקדת בהיעדר מנגנוני עצירה והסלמה. מי שמטמיע צ'אטבוט צריך להיות מוכן להסביר אילו מנגנונים כאלה הפעיל.
האם פרומפט מערכת מספיק כדי להגביל צ'אטבוט?
פרומפט מערכת קובע תחום עיסוק והנחיות התנהגות, והוא שכבה חשובה, אבל הוא לא הבקרה היחידה. כדאי לשלב אותו עם ניטור של שיחות, העברה לאדם ושמירת לוגים. כך אפשר גם לזהות בעיה וגם לבדוק בדיעבד מה קרה.