הסרטון מאתר הסקי Wanlong הפך לבדיחה על AI שלא יודע להבדיל בין ציור לאש אמיתית, אבל ההסבר של צוות האתר מספר סיפור אחר לגמרי
שלט פרסומת עם ציור של להבות, תותח מים אוטומטי שמכוון אליו זרם ישיר, וקהל שלא מפסיק לצלם. זה כל מה שהיה צריך כדי להפוך מערכת כיבוי אש חכמה לבדיחה ברשתות החברתיות. הסרטון, שצולם ב-19 בנובמבר באתר הסקי Wanlong שבסין, נראה כמו הדגמה מושלמת לאחת החולשות המוכרות של בינה מלאכותית: היכולת לזהות משהו בתמונה בלי להבין מה הוא באמת. אלא שהפעם, כך לפחות טוענים מפעילי האתר, המערכת דווקא זיהתה מקור חום אמיתי.
את הסרטון הזה, ועוד הרבה תכנים כאלה, אנחנו מעלים קודם כל לעמוד הפייסבוק של HWzone - עקבו אחרינו שם!
תותח מים אחד ושלט במקום הלא נכון
התקרית התרחשה באזור המסעדות של אתר הסקי Wanlong, במחוז חביי שבצפון סין. בסרטונים שהופצו ברשת נראה מתקן כיבוי המותקן בתקרה ומסוגל לכוון את זרם המים באופן אוטומטי. המתקן החל לפעול במהלך שעות הצהריים, והתיז מים בעוצמה לעבר שלט של דוכן מזון שעליו מודפסות להבות כתומות ואדומות. בעיני הצופים, התוצאה הייתה משעשעת למדי: מערכת שאמורה לזהות שריפות נראתה כאילו היא מנסה לכבות תמונה של אש.
העובדה שלא נראתה בסרטון שריפה של ממש רק חיזקה את הרושם שמדובר בטעות בזיהוי חזותי. גולשים מיהרו לייחס את התקלה לאלגוריתם AI שאינו מסוגל להבחין בין להבות מצוירות ללהבות אמיתיות. זה היה הסבר פשוט, קל להפצה ובעיקר מצחיק. הרי אם מערכת כיבוי אש נבהלת מפרסומת לברביקיו, אפשר רק לדמיין מה יקרה כשיתלו לידה פוסטר של דרקון יורק אש.
אלא שכבר בדיווחים הראשונים מהשטח הופיע פרט ששינה את התמונה. אחת המבקרות באתר סיפרה שהזמינה שיפוד כבש מאותו דוכן, וזמן קצר לאחר שהחלו לצלות אותו, המערכת הופעלה. כלומר, ההתזה לא התרחשה בהכרח בתגובה לשלט שהיה תלוי שם, אלא בסמוך להפעלת ציוד הבישול שמאחוריו.
מאחורי הלהבות המצוירות הסתתר מקור החום
לפי הבדיקה הפנימית של הנהלת Wanlong, הגורם להפעלת המערכת היה גריל פחמים שפעל מאחורי השלט. החום שנפלט מהגריל זוהה על ידי מערכת הכיבוי, שהגיבה בהתאם למנגנון הפעולה האוטומטי שלה. צוות האתר דחה את הטענה שהמתקן זיהה בטעות את תמונת הלהבות כמקור אש, והסביר שההתזה לעבר אזור השלט נבעה ממיקומו ביחס לגריל.

כאן נמצא ההבדל בין שתי גרסאות האירוע. הטענה הוויראלית היא שהמערכת ראתה אש שלא קיימת. ההסבר של האתר הוא שהמערכת זיהתה חום שקיים בהחלט, אבל לא ידעה להבחין בין פעולת בישול רגילה לבין מצב שמצריך כיבוי. הראשונה מצביעה על בעיה אפשרית בזיהוי תמונה. השנייה מצביעה על בעיה בהתאמת מנגנון הזיהוי לסביבה שבה הוא מותקן.
באתר הסקי מסרו שהצוות הפסיק את פעולת המתקן, גידר את האזור וניקה את המים. בתוך כ-20 דקות האזור חזר לפעילות. לא דווח על נפגעים, ולפי הנהלת המקום גם המבקרים וחפציהם לא נרטבו. בעקבות האירוע שונה מיקומו הזוויתי של גריל הפחמים כדי לצמצם את הסיכוי להפעלה חוזרת. בפועל, הפתרון המיידי היה שינוי פשוט בסידור הציוד, ולא עדכון תוכנה מתוחכם במיוחד.
מה חיישני הכיבוי באמת יודעים לזהות?
מערכות כיבוי מהסוג שנראה בסרטון שונות ממערכות ספרינקלרים רגילות. במקום להפעיל מתזים קבועים באזור שלם, הן מסוגלות לאתר מוקד חשוד, לסובב ראש התזה ממונע ולכוון אליו מים. פתרונות כאלה מותקנים באולמות, מרכזי מסחר ומבנים גדולים שבהם נדרש כיסוי של שטחים נרחבים.
הטכנולוגיה אינה מסתמכת בהכרח על מצלמה רגילה. מערכות מסחריות משלבות לעיתים חיישני אינפרה-אדום לזיהוי קרינה תרמית, חיישנים אולטרה-סגולים לזיהוי קרינה אופיינית ללהבות, עיבוד תמונה ומנגנוני בקרה ממוחשבים. התקן הסיני GB 51427-2021 אף מתייחס לשילוב של אמצעי גילוי שונים כדי לצמצם אזעקות שווא והתזות לא נחוצות.
יש כאן גם פרט שכדאי לזכור לפני שממהרים להאשים את הבינה המלאכותית. אף שהמערכת תוארה ברשת כמבוססת AI, לא פורסם זיהוי מאומת של היצרן והדגם שהותקנו ב-Wanlong, וגם לא תיעוד טכני שמראה איזה אלגוריתם קיבל את ההחלטה להפעיל את המים. מערכת אוטומטית עם חיישנים ובקרה ממוחשבת אינה בהכרח מערכת שמשתמשת בלמידת מכונה. הכינוי "AI" הפך לפופולרי גם כשמדובר בטכנולוגיות שפועלות על בסיס כללים ותנאי סף מוגדרים מראש.
האירוע בכל זאת מצביע על בעיה הנדסית שראויה לתשומת לב. מערכת כיבוי שמותקנת בסמוך לדוכן מזון אמורה לפעול בסביבה שבה חום, גחלים ולעיתים גם להבות גלויות הם חלק מהפעילות הרגילה. כדי למנוע התזות מיותרות, צריך להביא בחשבון את מיקום מקורות החום, את שדה הראייה של החיישנים ואת תנאי ההפעלה שנקבעו למערכת. רגישות גבוהה מדי עלולה לגרום להפעלות שווא, בעוד שרגישות נמוכה מדי עלולה לעכב תגובה לשריפה אמיתית.
וזו כנראה הנקודה המעניינת בסיפור של Wanlong. הציבור ראה מכונה שמנסה לכבות ציור, אבל ההסבר שסיפק האתר מתאר מכונה שהגיבה למקור חום אמיתי במקום שבו לא היה צורך בתגובה כזאת. גם אם ה-AI לא התבלבל בין תמונה למציאות, נשארת שאלה חשובה יותר: איך מתכננים מערכת בטיחות שמסוגלת לזהות סכנה, בלי להפעיל את תותח המים בכל פעם שמישהו מכין שיפודים?



