מחקר שבחן שישה מודלי AI סיניים מצא חתימה מתמטית של מאיצי Blackwell מתקדמים, ומעלה שאלות על יעילות מגבלות הייצוא האמריקניות
ארצות הברית השקיעה שנים בניסיון למנוע מחברות סיניות גישה לשבבי הבינה המלאכותית המתקדמים של NVIDIA. עכשיו מתברר שהשבבים עצמם עשויים להשאיר ראיות לשימוש בהם, דווקא בתוך המודלים שהחברות הסיניות מפרסמות לציבור. מחקר חדש מציג התאמות מתמטיות בין שישה מודלי AI מובילים לבין ארכיטקטורת Blackwell, שאסורה לייצוא לסין ללא רישיון אמריקני.
הגילוי מגיע בתקופה רגישה במיוחד עבור NVIDIA. ימים ספורים לאחר התפטרותו של המייסד והמנכ"ל ג'נסן הואנג, ובעיצומן של בדיקות הנוגעות להעברת שבבים מתקדמים לחברות סיניות, החוקרים מציגים דרך חדשה לבדוק באיזו חומרה השתמשו מפתחי מודלים, בלי להיכנס לחוות השרתים שלהם ובלי לקבל מהם מסמכים פנימיים.
ארבע חברות, שש גרסאות וחתימה אחת
מאחורי המחקר עומד ויל דפיו (Will DePue), חוקר OpenAI לשעבר המוביל את ארגון המחקר Unemployment Labs. הוא ניתח את המשקולות (Weights) של מודלים שפרסמו ארבע חברות סיניות: DeepSeek, Moonshot AI, MiniMax ו-Ant Group. בשישה מהם נמצאו דפוסים המתאימים לשבבי Blackwell, בעוד שבמודלים מוקדמים של אותן חברות זוהו דפוסים של ארכיטקטורת Hopper הישנה יותר.
אצל DeepSeek נמצאה התאמה למשפחת B200 ו-B300 במודל V4-Flash, ולמשפחת GB200 ו-GB300 בגרסת V4-Pro. מודלי Kimi K3 ו-K3.1-Pro של Moonshot AI הציגו התאמה למשפחת Grace Blackwell, וכך גם Ling-3.1-flash של Ant Group. אצל MiniMax זוהתה חתימה המתאימה למשפחת B200 ו-B300 במודל M3.
המעבר מעניין במיוחד משום שאפשר לעקוב אחריו לאורך זמן. DeepSeek-V3, שפורסם בדצמבר 2024, מציג חתימה של Hopper, ואילו דגמי V4 מאפריל 2026 כבר מצביעים על Blackwell. אצל Moonshot המעבר התרחש בין Kimi K2.5, שפורסם בינואר 2026, לבין Kimi K3 מיולי. למעשה, מדובר בשינוי שניתן לזהות מתוך קבצי המודלים עצמם, בלי להסתמך על הצהרות היצרניות.
השאלה המעניינת היא באיזה היקף נעשה שימוש בחומרה הזאת. לפי האומדנים המעודכנים של החוקרים, אימון Kimi K3 עשוי היה לדרוש כ-4,500 מאיצי Blackwell במשך כ-70 יום, ואילו DeepSeek-V4-Pro כ-3,000 מאיצים לתקופה דומה. בחמש ריצות האימון שנאמדו מדובר בסך מצטבר של כ-12 אלף מאיצים, בעלות חומרה משוערת העולה על חצי מיליארד דולר.
אלה חישובים שמבוססים על גודל המודלים, היקף האימון המשוער וניצול החומרה, ולא ספירה של שבבים שאותרו. החוקרים עצמם מדגישים שהמספרים אינם ודאיים, ושאותם מאיצים יכולים לשמש ביותר מריצת אימון אחת.
המספרים האקראיים שמסגירים את המעבד
החלק המעניין ביותר בסיפור אינו עצם השימוש האפשרי ב-Blackwell, אלא הדרך שבה החוקרים זיהו אותו. מתברר שמודל שפה עשוי לשמור בתוכו מעין טביעת אצבע של החומרה שעליה נוצר, גם לאחר שעבר תהליך אימון ממושך.
כאשר מתחילים לאמן מודל, יש לאתחל מיליארדי פרמטרים לערכים מספריים. תוכנות כמו PyTorch משתמשות במחולל מספרים פסאודו-אקראיים, שמייצר תוצאה צפויה כאשר מזינים אליו את אותו ערך התחלתי, המכונה Seed.
אלא שהמספרים אינם נוצרים ברצף פשוט. העבודה מחולקת בין אלפי תהליכונים הפועלים במקביל על המעבד הגרפי, והאופן שבו הם מחלקים ביניהם את המשימה תלוי במבנה החומרה.
במשפחת Hopper שנבדקה יש 132 יחידות עיבוד מסוג Streaming Multiprocessor, או SM. בתצורות Blackwell B200 ו-B300 שנבדקו יש 148 יחידות כאלה, ובתצורות GB200 ו-GB300 יש 152. מספר היחידות משנה את סדר הקצאת הערכים לפרמטרים של המודל, ולכן אותו Seed יכול להשאיר דפוס שונה בהתאם לחומרה.
דפיו וצוותו בדקו כ-6 טריליון צירופים של ערכים התחלתיים ותצורות עיבוד, וחיפשו דפוסים שנותרו במשקולות שפורסמו. כדי לוודא שלא מדובר בצירוף מקרים, הם גם חזרו על תהליך האתחול באמצעות מאיצים פיזיים.
בבדיקה של DeepSeek-V4-Flash הצליח מאיץ B300 לשחזר 445 שורות של ערכים התחלתיים בהתאמה מלאה ברמת הביט. מאיץ H100 מהדור הקודם לא הצליח לשחזר אותן. בדיקה נוספת באמצעות GB200 סיפקה התאמה לערכים שנשמרו במודל Kimi K3. שינוי של יחידה אחת בלבד בערך ה-Seed ביטל את ההתאמה.
החוקרים הצליחו גם לזהות נכון את משפחות החומרה ב-24 מודלים שלגביהם פורסם מידע על המעבדים ששימשו לפיתוחם. זו בדיקת עקביות משמעותית, אף שאינה מהווה מדד מלא לדיוק השיטה.
יש כאן גם מגבלה טכנית: הבדיקה מזהה בראש ובראשונה את החומרה ששימשה ליצירת המשקולות ההתחלתיות, ולא בהכרח את כל המעבדים שהשתתפו בהמשך האימון. תיאורטית, אפשר לאתחל מודל על Blackwell ולהמשיך לאמן אותו על חומרה אחרת. בנוסף, תצורות חריגות של מאיצי AMD עשויות לייצר דפוס דומה, אף שבמקרה של DeepSeek-V4-Flash החוקרים הצליחו לשלול את החלופה הזאת באמצעות בדיקה נוספת של הערכים המספריים.
כשהשבבים נשארים בחו"ל והגישה מגיעה לסין
המחקר מציב את ממשלת ארצות הברית מול בעיה שקשה לפתור באמצעות בדיקות משלוחים בלבד. אפשר להגביל את הייצוא של מאיצי Blackwell לסין, אבל מה קורה כאשר חברה סינית שוכרת כוח עיבוד מחוות שרתים במדינה אחרת?
האפשרות הזאת אינה תיאורטית. חברות יכולות לקבל גישה למאיצים מתקדמים דרך ספקיות ענן ומרכזי נתונים מחוץ לסין, לרבות בדרום-מזרח אסיה. מחקר המשקולות אינו מסוגל להבחין בין שבב שנמצא פיזית בשנגחאי לבין שבב שמותקן במרכז נתונים במלזיה ומשרת לקוח סיני מרחוק.
הבדיקה אינה מוכיחה שהשבבים הוברחו לסין, ואפילו לא שכל תהליך האימון התבצע עליהם.
זו הבחנה חשובה גם מבחינה משפטית. עצם הזיהוי של חומרה הנתונה לפיקוח יצוא אינו מוכיח שהתרחשה עבירה. הכללים האמריקניים תלויים בין היתר בזהות הלקוח, במיקום הציוד, בתנאי הרישוי ובאופי הגישה לשירותי המחשוב.
המצב נעשה מורכב עוד יותר כשמסתכלים על מדיניות הייצוא עצמה. ארצות הברית כבר מאפשרת בחינה פרטנית של בקשות לייצוא מאיצי H200 לסין, בכפוף לתנאים ולפיקוח, בעוד שבבי Blackwell המתקדמים נותרו תחת מגבלות מחמירות. הפער הזה יוצר תמריץ ברור לחפש דרכים לקבל כוח עיבוד מהדור החדש בלי לרכוש את הציוד ישירות.
ברקע נמצאת גם הפרשה שהובילה לעזיבת ג'נסן הואנג את NVIDIA. החברה אישרה ב-12 בנובמבר את התפטרותו ומינתה את סמנכ"לית הכספים קולט קרס למנכ"לית זמנית. במקביל נמשכות בדיקות הנוגעות לקשריו עם אליס הואנג ולפעילות חברת Megaspeed, שנקשרה לחשדות להעברת שבבים בניגוד למגבלות. החברה מכחישה שהעבירה ציוד באופן בלתי חוקי, והחשדות הנוגעים לפעילות מודיעינית של אליס הואנג לא הוכחו. אין בשלב זה ראיה הקושרת את הממצאים המתמטיים לאחריות אישית של המנכ"ל לשעבר.
מבחינה עסקית, זהו מצב בעייתי עבור NVIDIA: מצד אחד, הדרישה הסינית למאיצים מתקדמים נמשכת למרות המגבלות. מצד שני, ככל שמתרחב הפיקוח על המכירות ועל הגישה למחשוב בענן, גדל גם הסיכון לפגיעה בעסקי החברה. במקביל, התמריץ הסיני לפתח חלופות מקומיות רק מתחזק.
אבל למחקר החדש יש משמעות רחבה יותר מהמאבק בין וושינגטון לבייג'ינג. עד היום, חלק גדול מהמידע על החומרה ששימשה לאימון מודלי AI הגיע מהצהרות החברות עצמן. כעת מתברר שלפחות בחלק מהמקרים אפשר לבדוק את ההצהרות האלה באמצעות המודלים שפורסמו, ולזהות הבדלים בין דורות של מעבדים.
ארצות הברית עדיין יכולה להגביל מכירת שבבים. הרבה יותר קשה להבטיח שמי שאסור לו לקנות אותם גם לא יצליח להשתמש בהם.
