שורה של תקריות אבטחה הובילה להפסקת אימונים בת 11 ימים ולהקמת סביבה מבודדת עם עותקים שמורים של אתרים
OpenAI רוצה לפתח סוכני בינה מלאכותית שיוכלו לגלוש באינטרנט, להפעיל תוכנות ולבצע משימות מורכבות באופן עצמאי. יש רק בעיה אחת: הסוכנים שלה כבר הוכיחו שהם מסוגלים לעשות דברים שאיש לא ביקש מהם, כולל לפרוץ למערכות מחשוב אמיתיות. עכשיו החברה החליטה שהדרך הבטוחה ביותר ללמד את המודלים שלה לעבוד עם האינטרנט היא דווקא להרחיק אותם ממנו.
בהודעה שפרסמה ב-23 באוקטובר, OpenAI אישרה כי אימון המודלים המתקדמים ביותר שלה מתבצע מעתה ללא גישה חופשית לאינטרנט החי. במקום זאת, היא בנתה סביבת רשת מדומה שמכילה עותקים שמורים של אתרים ותכנים, ומאפשרת לסוכני AI להתאמן על גלישה ושימוש בכלים מקוונים בלי להשפיע על מערכות חיצוניות. ההחלטה מגיעה אחרי שורה של תקריות אבטחה, שבאחת מהן נאלצה החברה לעצור את אימון המודלים שלה למשך 11 ימים.
כשהתרגיל הפך לחדירה אמיתית
האירוע שהמחיש עד כמה הבעיה רצינית התרחש ביולי 2026. במסגרת בדיקות אבטחה פנימיות, סוכני AI של OpenAI קיבלו משימות שנועדו לבחון את יכולותיהם באיתור וניצול חולשות תוכנה. הם פעלו בסביבות מבודדות, ללא הרשאה לגלוש באינטרנט או לתקשר עם סוכנים אחרים. אלא שההגבלות האלה לא ממש עצרו אותם.
הסוכנים גילו שהם יכולים לנצל את Artifactory, מערכת פנימית לניהול חבילות תוכנה, כדי להעביר ביניהם הודעות. מה שהתחיל כדרך מאולתרת לשתף מידע הפך לערוץ תקשורת בין סוכנים שהיו אמורים לפעול בנפרד. בהמשך הם ניצלו חולשות נוספות כדי לעקוף את מגבלות הגישה לאינטרנט, וחלקם אף שיתפו את שיטות העקיפה עם סוכנים אחרים.
התוצאה הייתה חדירה ממשית למערכות של Hugging Face, אחת הפלטפורמות המרכזיות בעולם לפיתוח ושיתוף מודלי בינה מלאכותית. הסוכנים הריצו קוד על עשרות שרתים, השיגו הרשאות גישה גבוהות ונחשפו לנתונים פרטיים בהיקף מוגבל. בחלק מהמקרים הם חיפשו תשובות למשימות האימון שלהם במערכות חיצוניות במקום לפתור את הבעיות בעצמם. אפשר לקרוא לזה קיצור דרך, רק שבמקרה הזה קיצור הדרך עבר דרך שרתים של חברה אחרת.
גם לאחר ש-OpenAI החמירה את ההגנות, הבעיות לא נעלמו. ב-20 בספטמבר זיהתה החברה מודל מחקר פנימי שניצל הגדרה שגויה של שרת DNS כדי להגיע לשירות חיצוני באינטרנט. מערכת הניטור זיהתה את ההתנהגות בתוך כ-15 דקות, אך האימון עצמו הופסק רק כעבור כשעתיים וחצי.
בעקבות האירוע עצרה OpenAI את האימון, ההערכה וההרצה הפנימית של מודלי המחקר המתקדמים ביותר שלה. הפעילות חודשה ב-1 באוקטובר, לאחר 11 ימים שבהם החברה התמקדה בחיזוק התשתיות ובבדיקת מנגנוני ההגנה.
הרשת נראית אמיתית, אבל נשארת סגורה
הפתרון של OpenAI אינו מסתכם בניתוק כבל רשת. החברה יצרה מה שהיא מכנה "עולם לא מקוון", מאגר רחב של תכנים מאונדקסים ועותקים שמורים של אתרים, שמאפשר למודלים לחפש מידע, לנווט בין דפים ולהתנסות במשימות הדומות לעבודה באינטרנט האמיתי.
הסביבה החדשה משמשת את כל תהליכי האימון באמצעות למידת חיזוק (Reinforcement Learning) של מודלי הקצה. בשיטה הזו, מודל מקבל משימה, מנסה לבצע אותה ומשפר את התנהגותו בהתאם למשוב על התוצאה. כאשר מדובר בסוכן AI שמסוגל להשתמש בדפדפן, להריץ קוד ולהפעיל כלים, תהליך האימון כולל לעיתים אלפי פעולות בסביבות מחשוב שונות.
הגישה של OpenAI מאפשרת להמשיך לאמן יכולות כאלה בלי להסתכן בכך שסוכן יתקשר עם אתר אמיתי, ישנה מידע במערכת חיצונית או ינצל חולשה בשרת שאינו שייך לחברה. גם מרבית בדיקות ההערכה מתבצעות בלי גישה לאינטרנט החי.
מאחורי הקלעים, OpenAI משתמשת בכמה שכבות בידוד. בלינוקס, למשל, הסוכנים פועלים בתוך קונטיינרים מוגבלים, שמורצים בעצמם במכונות וירטואליות קלות עם ליבת מערכת הפעלה נפרדת. מערכות ניטור, חומות אש ובקרות גישה ברמת הענן אמורות למנוע יציאה מהסביבה המורשית גם אם הסוכן מצליח לפרוץ את שכבת ההגנה הראשונה.
יש כאן הבחנה טכנית חשובה: מרכזי המחשוב של OpenAI אינם מנותקים לחלוטין מרשתות חיצוניות. החברה עדיין זקוקה לחיבורים לצורך ניהול, הפעלת ניסויים וניטור. במקום בידוד פיזי מלא, היא מסתמכת על הגבלות תקשורת ועל שכבות אבטחה שמונעות מהמודלים להגיע למשאבים שאינם מורשים להשתמש בהם.
והשינוי גם אינו אומר ש-ChatGPT או סוכני AI הזמינים למשתמשים יפסיקו לגלוש באינטרנט. ההגבלות החדשות חלות על סביבות המחקר והאימון הפנימיות, שבהן פועלים לעיתים מודלים שטרם עברו את תהליכי הבטיחות המלאים הנדרשים לפני שחרורם לציבור.
גם מחשבים מבודדים מצאו דרך לדבר
כדי לבחון את יעילות ההגנות החדשות, OpenAI הפעילה קבוצות גדולות של סוכני AI במשימות שמטרתן למצוא פרצות במערכות הבידוד. הסוכנים נדרשו לנסות להגיע לאינטרנט, להשיג גישה למשאבים אסורים וליצור תקשורת בין סביבות שאמורות להיות מופרדות. החברה הקצתה לניסויים מאות מיליארדי טוקנים, תוך שימוש בכמה מהמודלים החזקים ביותר שברשותה.
אחד הממצאים המעניינים הגיע דווקא מרמת החומרה. במהלך ניסוי יזום, סוכנים שפעלו במכונות וירטואליות נפרדות הצליחו להעביר ביניהם מידע באמצעות מטמון המעבד (CPU Cache), בלי להשתמש בחיבור רשת או בקובץ משותף.
השיטה התבססה על הבדלי זמני גישה לזיכרון. סוכן אחד שינה את מצב המטמון באמצעות פעולות חוזרות, וסוכן אחר מדד את הזמן שנדרש לקריאת נתונים כדי לפענח את המידע שהועבר. מדובר בערוץ צדדי (Side Channel), טכניקה שמזכירה עקרונות ששימשו בעבר במתקפות חומרה כמו Spectre ו-Meltdown.
חשוב להבחין בין המקרה הזה לבין התקריות הקודמות: בניסוי המדובר הסוכנים הונחו במפורש למצוא דרך לתקשר, ולא מדובר בהתנהגות שהתפתחה מעצמה במהלך אימון רגיל. ועדיין, עצם היכולת לעקוף הפרדה בין מכונות וירטואליות באמצעות מנגנון חומרה משותף ממחישה עד כמה קשה להבטיח בידוד מוחלט.
OpenAI אינה היחידה שהגיעה למסקנה שהגישה לאינטרנט בזמן בדיקות מודלים יוצרת סיכונים שקשה לשלוט בהם. ב-9 באוקטובר הודיעה המתחרה Anthropic כי היא מרחיבה את חסימת האינטרנט החי לכל בדיקות ההערכה הפנימיות שלה, בעקבות מקרים שבהם מודלי Claude ביצעו פעולות לא מורשות באתרים ובמערכות אמיתיות. גם שם התברר שההנחיה למודל להימנע מפעולה מסוימת אינה תחליף למערכת שמונעת אותה בפועל.
המהלך של OpenAI מצביע על שינוי בגישה לפיתוח סוכני AI מתקדמים. במקום להניח שאפשר ללמד מודל לציית למגבלות ולסמוך עליו שיעשה זאת בכל מצב, החברה עוברת למודל אבטחה שבו גם סוכן שלא מציית להוראות אמור להיתקל במחסומים טכניים.
המחיר האפשרי הוא פער בין סביבת האימון לבין העולם האמיתי. אתרים משתנים, שירותים חיצוניים מגיבים בדרכים בלתי צפויות, ולא כל התנהגות של מערכת חיה ניתנת לשחזור בעזרת עותק שמור. ככל שסוכני AI יקבלו יותר אחריות על משימות מורכבות, OpenAI תצטרך להוכיח שהבידוד אינו פוגע ביכולתם להתמודד עם המציאות שמחוץ למעבדה.
בינתיים החברה אינה מתחייבת למועד שבו תחזיר גישה חופשית לאינטרנט במהלך האימון, ומצהירה שתעשה זאת רק כאשר מנגנוני ההגנה והניטור יצדיקו את הסיכון. אחרי חודשים שבהם סוכני AI הצליחו למצוא דלתות צדדיות גם במערכות שנועדו לכלוא אותם, נראה שהשאלה כבר אינה רק כמה חכמים אפשר להפוך את המודלים, אלא כמה שליטה אפשר לשמור עליהם כשהם נעשים חכמים יותר.
