אם אתם בונים או מתכננים צ'אטבוט שמשיב ללקוחות, עליכם להוסיף מנגנון זיהוי מצוקה והפניה לבני אדם לפני ההשקה. זה לא רק סיכון מוניטין — זה סיכון משפטי ישיר. בדקו השבוע אם הצ'אטבוט שלכם מזהה ביטויים של מצוקה רגשית ומפנה לאדם או למוקד עזרה, במיוחד אם אתם פועלים בתחומי בריאות, פיננסים או שירות לקוחות.
בשנה האחרונה הוגשו לפחות שלוש תביעות נגד OpenAI בגין כשלים של ChatGPT במצבי משבר. בינואר תבעה משפחה לאחר שאדם התאבד לכאורה לאחר אינטראקציה עם הצ’אטבוט. סטודנט בג’ורג’יה תבע בטענה שהמודל “דחף אותו לפסיכוזה”. ביוני תבעה משפחה קנדית בטענה שהצ’אטבוט עודד אישה צעירה לסיים את חייה.
מה קרה בפועל
המקרים הידועים הגיעו לתשומת הלב הציבורית דרך הליכים משפטיים, מה שמצביע על כך שיש ככל הנראה מקרים נוספים שלא דווחו. מומחים מציינים שבעוד שבטיחות מודלי שפה גדולים השתפרה, יש פער משמעותי בין זיהוי מצוקה לבין טיפול נכון בה. פרופסור מ-NYU ציין שמודלים חדשים יותר מזהים מצוקה אך נכשלים בשלושה תחומים קריטיים: בדיקת סיכון, הכוונה לטיפול אנושי, ושמירה על גבולות מתאימים.
הבעיה אינה רק טכנית. מומחים מצביעים על צורך בשקיפות רבה יותר למודלים ובהפחתת האנתרופומורפיזציה של צ’אטבוטים — הנטייה של משתמשים לייחס להם תכונות אנושיות ולבטוח בהם כמו באדם.
למה זה משנה מעבר לכותרת
כל עסק שבונה צ’אטבוט שמשיב ללקוחות 24/7 נושא באחריות משפטית ומוניטין. זה נכון במיוחד לעסקים בתחומים רגישים: בריאות, פיננסים, ביטוח, שירות לקוחות של מוצרים קריטיים. אבל גם עסק קטן שמשתמש בצ’אטבוט לטיפול בפניות צריך לשאול את עצמו מה קורה כשלקוח במצוקה פונה אליו.
הסיכון אינו תיאורטי. תביעה אחת, גם אם היא נדחית בסופו של דבר, עולה עשרות אלפי שקלים במינימום ופוגעת במוניטין באופן שקשה לתקן. מערכות AI שנבנות ללא פרוטוקולי בטיחות ברורים הן התחייבות עתידית, לא נכס.
מה לעשות השבוע
אם יש לכם צ’אטבוט פעיל, בדקו אותו עם שאלות שמבטאות מצוקה רגשית. האם הוא מזהה אותן? האם הוא מפנה לאדם או למוקד עזרה? אם אתם מתכננים לבנות צ’אטבוט, דרשו מהספק או מהמפתח להציג את מנגנון זיהוי המצוקה וההפניה לבני אדם לפני ההשקה. זה לא “תכונה נחמדה” — זה דרישת מינימום.
עסקים שפועלים בתחומים רגולטוריים צריכים לכלול את הנושא בתיעוד הפנימי ובהערכת הסיכונים. אם אתם עובדים עם ספק חיצוני, ודאו שהחוזה מגדיר באופן ברור את האחריות במקרה של כשל. מערכות שנבנות נכון מלכתחילה, עם guardrails ברורים ומנגנוני הפניה לבני אדם, מפחיתות סיכון משמעותי. קראו עוד על סוכני AI לעסקים ועל הדרך לבנות אותם באופן אחראי.
- AI chatbots have failed people in crisis. Can that be fixed? — Ars Technica
שאלות נפוצות
ביטוחי אחריות מקצועית סטנדרטיים לא תמיד מכסים נזקים שנגרמו על ידי מערכות AI. כדאי לבדוק עם סוכן הביטוח שלכם אם הפוליסה הקיימת מכסה שימוש בצ'אטבוטים, ולשקול הרחבת כיסוי אם אתם פועלים בתחום רגיש.
שלחו לצ'אטבוט הודעות שמבטאות מצוקה רגשית, בדיכאון או מחשבות על פגיעה עצמית. בדקו אם הוא מפנה מיד לאדם או למוקד עזרה, ולא ממשיך בשיחה רגילה. אם הוא לא עושה זאת, המערכת לא מוכנה לשימוש.
שיחה קצרה, בלי התחייבות, ונגיד לכם אם זה רלוונטי לעסק שלכם או לא.