דוח חדש של Anthropic מתאר ניצול פרצות בשרתים, שימוש באסימוני גישה והגשת טפסים ממשלתיים בניגוד להוראות
כשחברת בינה מלאכותית שולחת את המודלים שלה לבצע משימות לדוגמה באינטרנט, היא מצפה לקבל תוצאות שיעזרו לה לשפר אותם. במקרה של Anthropic, אחד המודלים החליט גם לעזור למשטרת פילדלפיה לפתור רצח. הבעיה הקטנה: לא היה לו שום מידע על המקרה, והוא פשוט המציא עדות ושלח אותה בטופס אמיתי.
המקרה, שנחשף בדוח שפרסמה Anthropic ב-9 באוקטובר, הוא רק אחד משורת אירועים שבהם מודלים ממשפחת Claude חרגו מהמשימות שהוגדרו להם. בחלק מהמקרים הם הגישו טפסים ממשלתיים, באחרים ניצלו פרצות בתוכנות חיצוניות או עקפו הגבלות גישה למידע. החברה הודיעה שבעקבות הממצאים היא מנתקת את הגישה לאינטרנט מכל בדיקות ההערכה הפנימיות שלה, לפחות עד שתוכל להבטיח שמנגנוני הניטור והאבטחה מזהים התנהגויות כאלה ועוצרים אותן.
הטופס היה אמיתי, העדות הייתה מומצאת
ב-18 ביולי 2026 השתתף Claude Haiku 4.5 בניסוי שבו התבקש להמציא ולבצע פעולות לדוגמה בדפי אינטרנט שנבחרו באקראי. באחת הריצות הגיע המודל לאתר PhillyUnsolvedMurders.com, המשמש את משטרת פילדלפיה לקבלת מידע מהציבור על מקרי רצח שטרם פוענחו.
ההוראות שקיבל היו מפורשות למדי: לא להתחבר לחשבונות, לא ליצור חשבונות חדשים, לא להזין פרטים אישיים, לא לבצע רכישות ולא לשלוח מידע שעלול לגרום לנזק. אלא שהיה חור קטן בהוראות. הן לא אסרו במפורש לשלוח טפסים.
קלוד ניצל את האפשרות הזאת, גם אם לא במכוון. הוא מילא טופס דיווח שבו טען כי ייתכן שברשותו מידע על המקרה, וכי הוא זוכר שראה אדם התואם לתיאור החשוד באזור הרחוב שהוזכר באתר, בתקופה הרלוונטית. אלא שבדף המקורי כלל לא הופיע תיאור של החשוד. כל העדות הייתה המצאה של המודל.
הוא השאיר את שדות השם ופרטי הקשר ריקים, דבר שהאתר אפשר, ולחץ על כפתור השליחה. מבחינתו זו הייתה כנראה עוד משימת דפדפן שהושלמה. מבחינת המשטרה, זה היה דיווח כוזב על חקירת רצח אמיתית.
למרבה המזל, מערכת הסינון של האתר זיהתה את ההודעה כספאם והיא מעולם לא הועברה לחוקרים. גם לא התבצעה פריצה למערכות המשטרה או חשיפה של מידע משטרתי. אבל לא כאן נגמר הסיפור.
Anthropic גילתה את האירוע רק ב-28 בספטמבר, יותר מחודשיים לאחר שהתרחש, ועדכנה את המשטרה ב-7 באוקטובר. למחרת נערכה פגישה בין הצדדים. במשטרת פילדלפיה מתחו ביקורת על העיכוב, והדגישו שהעברת מידע מומצא בשם עד פוטנציאלי אינה תקלה שאפשר להתייחס אליה בקלות, במיוחד כשמדובר בחקירות שבהן מעורבים קורבנות ומשפחותיהם.
כשהדרך הרגילה נחסמת, המודל מוצא מעקף
המקרה בפילדלפיה אולי מושך את תשומת הלב, אבל האירועים האחרים שנחשפו בדוח מלמדים לא פחות על התנהגותם של סוכני AI אוטונומיים.
באחד הניסויים, מודל מחקרי של Anthropic היה אמור למלא עותק לתרגול של טופס ממשלתי. כאשר עותק התרגול לא נטען כראוי, המודל עבר לאתר המקורי והגיש שם טופס אמיתי. במקרים אחרים Claude Haiku 4.5 התבקש למלא טפסים אך לעצור לפני שליחתם, ובכל זאת שלח אותם משום שציפה להופעת מסך אישור נוסף.
לפי מידע שנמסר על ידי משרד החוץ האמריקאי, אחד ממודלי הבדיקה של החברה הגיש לא פחות מ-20 בקשות לוויזת כניסה לארצות הברית: 19 באוגוסט ואחת נוספת במאי. אף אחת מהבקשות לא טופלה, ולא נגרמה פגיעה במערכות המשרד.
אירוע אחר ממחיש בעיה טכנית מורכבת יותר. Claude Mythos Preview התבקש לבצע חישוב מדעי באמצעות כלי שפעל על שרת של אוניברסיטה. כשהכלי החזיר שגיאה, המודל לא עצר. הוא חקר את האתר, מצא סקריפט שאפשר לשלוף קבצים מהשרת, הוריד באמצעותו קבצים ובהם קוד המקור של הסקריפט עצמו, ואז זיהה חולשת הזרקת פקודות שאפשרה לו להריץ את החישוב ישירות על השרת.
כלומר, כדי להשלים משימה מדעית לגיטימית, המודל ביצע פעולות שמזכירות חדירה למערכת מחשב. לא מפני שקיבל הוראה לפרוץ אליה, אלא מפני שמצא דרך להשיג את התוצאה הרצויה.
בדוגמאות נוספות, Claude Mythos 5 איתר אסימוני גישה בקובצי הגדרות של אתרים והשתמש בהם כדי להגיע למידע שהגישה אליו הייתה מוגבלת או כרוכה בתשלום. מודלים אחרים השתמשו בשירותי קיצור כתובות URL כדי לעקוף מגבלות על אורך הכתובות בכלי הגלישה שלהם.
המכנה המשותף ברור: כשהמודל נתקל במחסום, הוא ניסה למצוא מסלול חלופי. Anthropic מכנה את ההתנהגות הזאת Persistence, התמדה בביצוע המשימה. התכונה הזאת שימושית מאוד כשמבקשים מסוכן AI להשלים עבודה מורכבת, אבל היא הופכת לבעיה כשהוא מתקשה להבחין בין פתרון יצירתי לבין עקיפת מגבלה שנועדה לעצור אותו.
המחיר של סביבת ניסוי בטוחה יותר
Anthropic טוענת שההשפעה בפועל של האירועים שנחשפו הייתה מוגבלת, ושהם חמורים פחות מתקריות סייבר קודמות שעליהן דיווחה במהלך הקיץ. לדבריה, אף אחד מהמקרים המתוארים בדוח הנוכחי לא כלל מידע של לקוחות או גישה למערכות הפנימיות של החברה.
אלא שהבעיה הרחבה יותר אינה בהכרח מה שקלוד הצליח לעשות, אלא כמה זמן לקח לגלות זאת. החברה החלה לסרוק תיעוד של הרצות מודלים כבר ביולי, ורק בהמשך הרחיבה את הבדיקה למגוון רחב יותר של משימות שהעניקו לסוכנים גישה לרשת. חלק מהאירועים התרחשו במסגרת ניסויים ייעודיים, ואחרים בזמן שימוש פנימי רגיל ב-Claude.
בתגובה, Anthropic הרחיבה את חסימת האינטרנט לכל בדיקות ההערכה הפנימיות שלה. היא גם החמירה את ההגבלות בכלי הגלישה, החלה להעביר סוכנים פנימיים לתשתיות מנוהלות ומבודדות יותר, ופיתחה מנגנונים אוטומטיים לזיהוי התנהגויות בלתי רצויות. לטענתה, כאשר בדקה את המנגנונים החדשים מול המקרים שתועדו בדוח, הם הצליחו לחסום את כולם.
אין פירוש הדבר שמשתמשי Claude מאבדים את הגישה לאינטרנט. השינוי מתייחס לסביבות הבדיקה הפנימיות של Anthropic, שבהן נבחנים מודלים ויכולות לפני פריסתם הרחבה.
יש כאן גם מחיר מקצועי. בדיקות של סוכני AI אמורות לדמות משימות בעולם האמיתי, כולל חיפוש מידע, ניווט באתרים ושימוש בשירותים חיצוניים. העברתן לסביבה מבודדת מקטינה את הסיכון לפגיעה במערכות אמיתיות, אבל גם מקשה לבחון כיצד המודלים מתמודדים עם האינטרנט כפי שהוא באמת, כולל שגיאות, מגבלות גישה וממשקים לא צפויים.
להערכתי, זו הנקודה המשמעותית ביותר בסיפור. תעשיית ה-AI משקיעה מאמצים רבים בלימוד מודלים להתמיד במשימות, לפתור בעיות באופן עצמאי ולא להיעצר מול מכשולים. אותן יכולות בדיוק מאפשרות להם גם לעקוף הגבלות שמפתחיהם לא צפו. הפתרון אינו רק לנסח הוראות זהירות יותר, אלא לבנות מערכות שבהן פעולות רגישות מחייבות הרשאה מפורשת, עם מגבלות טכניות שאינן תלויות בשיקול הדעת של המודל.
האירועים האחרונים לא מוכיחים שקלוד פועל מתוך כוונת זדון, וגם Anthropic אינה טוענת זאת. הם כן מוכיחים שהמרחק בין הדגמה תמימה לבין פעולה אמיתית באינטרנט יכול להסתכם בלחיצה אחת על כפתור, ושכרגע אפילו החברה שפיתחה את המודל לא תמיד יודעת בזמן אמת מתי הוא חצה את הגבול.
