200,000 כוננים ו-120 פטה בייט של נפח אחסון יעזרו לחזות את מזג האוויר בצורה טובה יותר?
IBM ממשיכה להשתעשע עם גבולות יכולות המחשוב המודרניות: אחרי שהרשימה אותנו עם מחשב העל Watson (ומגוון מחשבי על אחרים עם כח עיבוד שקשה לתאר אותו במונחים "אנושיים") ומעבדים קוגניטיביים ראשונים מסוגם, מתפנים ב"ביג בלו" לפרוייקט השאפתני הבא – יצירת מערך האחסון הגדול בעולם.
בימים אלו עומלים חוקריה של החברה במעבדה שבאלמדן (Almaden), קליפורניה, על בנייתו של מערך אחסון המבוסס על יותר מ-200,000 כוננים קשיחים, שעתיד לספק נפח אחסון של כ-120 פטה בייט – גדול כמעט פי 10 מכל מערך אחסון שנוצר עד כה.
מערך האחסון ההזוי הזה צפוי לאחסן כטריליון קבצים (אלף מיליארדים), ולעזור לביצוע סימולציות של מערכות סבוכות ומורכבות – חיזוי מזג האוויר והאקלים, פעילות סייסמית, ניתוח גנום ועוד.
IBM לא מגלה עבור מי נבנה מערך האחסון המדובר, וכל מה שידוע הוא שמדובר בקליינט שדורש מחשב על חדש על מנת לבצע "סימולציות מפורטות של תופעות כלל עולמיות".
מה זה 120 פטה בייט? אלו הם 120,000 טרה בייט, או 120 מיליון ג'יגה בייט, אשר ביכולתם לאחסן, למשל, 24 מיליארד קבצי MP3 ממוצעים, או 60 עותקים של כל 150 מיליארד דפי האינטרנט שנמצאים בארכיון האינטרנטי הפופולרי של WayBack Machine (אם עוד לא יצא לכם לבקר בפנינה הנוסטלגית הזו, עכשיו זו ההזדמנות טובה).
| מתקשים לתאר מהם 120 פטה בייט? אנחנו כאן כדי לעזור | |
ברוס הילסברג (Bruce Hillsberg), מי שאמון על ביצוע הפרוייקט, סבור שמערך האחסון שהוא ואנשיו בונים יסייע לשכלל את מערכי אחסון המידע המקובלים כיום. "מערכת עם 120 פטה בייט נשמעת כמו רעיון מטורף כיום, אך בעוד כמה שנים כל מערכות הענן עשויות להיות כאלו", הסביר הילסברג.
מדעני החברה נדרשו לפתח שורה של טכניקות חומרה ותוכנה חדשות בכדי להביא מאות אלפי כוננים לעבוד יחד בצורה טובה ויעילה. המדענים עשו שימוש במדפים (racks) רחבים במיוחד בכדי לאחסן את כל הכוננים הללו במינימום נפח, וכמו כן נדרשו ליצור מערכת קירור מים שתמנע מכל הסיפור להפוך לסאונה פינית מהבילה.
אחד מהאתגרים הברורים בשימוש בכוננים קשיחים מכניים "פשוטים" הוא הנטייה שלהם להיכשל ולהתקלקל. ב-IBM השתמשו בשיטה הרגילה ויצרו מערך אשר מגבה את כל המידע מספר פעמים, אך הוסיפו שכלולים כאלו ואחרים שאמורים לאפשר למערכת כולה להמשיך ולעבוד במלוא המרץ גם כאשר כונן או כוננים יקרסו – כשכונן בודד נופח נשמתו, המערכת תעתיק את המידע שנשמר בו למיקום חדש באופן איטי שימזער את הפגיעה בביצועים הכלליים. רק כאשר כמה כוננים ימותו יחד תהפוך המערכת את תהליך השכתוב למהיר ו"כבד" יותר, זאת בכדי למנוע מצב בו מידע יוכל "ללכת לאיבוד" לצמיתות (במידה וכל הכוננים שמחזיקים בעותקי המידע יחליטו ללכת לעולמם אחד אחרי השני).
המערך החדש יעשה שימוש גם במערכת אחסון קבצים בשם GPFS (ר"ת Global Parallel File System) אותה פיתחה IBM עבור מחשבי על. במסגרת שיטה זו מפוזרים קבצים על מספר כוננים שונים, כך שכל חלקי הקובץ יכולים להיקרא או להיכתב בעת ובעונה אחת, מה שגם מסייע למערכת לעקוב ולנטר את הקבצים בצורה פשוטה ומהירה יותר.
הוכחה לעליונותה של מערכת ה-GPFS קיבלנו בחודש שעבר, כשמערכת של IBM סרקה 10 מיליארד קבצים בתוך 43 דקות בלבד, שיפור של פי 37 (!) מהשיא הקודם, במסגרתו נסרקו מיליארד קבצים בתוך כשלוש שעות. בפעם הבאה שתרגישו שהמחשב שלכם סובל מהאטה – אתם יודעים למי לפנות.
