200,000 כוננים ו-120 פטה בייט של נפח אחסון יעזרו לחזות את מזג האוויר בצורה טובה יותר?
IBM ממשיכה להשתעשע עם גבולות יכולות המחשוב המודרניות: אחרי שהרשימה אותנו עם מחשב העל Watson (ומגוון מחשבי על אחרים עם כח עיבוד שקשה לתאר אותו במונחים "אנושיים") ומעבדים קוגניטיביים ראשונים מסוגם, מתפנים ב"ביג בלו" לפרוייקט השאפתני הבא – יצירת מערך האחסון הגדול בעולם.
בימים אלו עומלים חוקריה של החברה במעבדה שבאלמדן (Almaden), קליפורניה, על בנייתו של מערך אחסון המבוסס על יותר מ-200,000 כוננים קשיחים, שעתיד לספק נפח אחסון של כ-120 פטה בייט – גדול כמעט פי 10 מכל מערך אחסון שנוצר עד כה.
מערך האחסון ההזוי הזה צפוי לאחסן כטריליון קבצים (אלף מיליארדים), ולעזור לביצוע סימולציות של מערכות סבוכות ומורכבות – חיזוי מזג האוויר והאקלים, פעילות סייסמית, ניתוח גנום ועוד.
IBM לא מגלה עבור מי נבנה מערך האחסון המדובר, וכל מה שידוע הוא שמדובר בקליינט שדורש מחשב על חדש על מנת לבצע "סימולציות מפורטות של תופעות כלל עולמיות".
מה זה 120 פטה בייט? אלו הם 120,000 טרה בייט, או 120 מיליון ג'יגה בייט, אשר ביכולתם לאחסן, למשל, 24 מיליארד קבצי MP3 ממוצעים, או 60 עותקים של כל 150 מיליארד דפי האינטרנט שנמצאים בארכיון האינטרנטי הפופולרי של WayBack Machine (אם עוד לא יצא לכם לבקר בפנינה הנוסטלגית הזו, עכשיו זו ההזדמנות טובה).
מתקשים לתאר מהם 120 פטה בייט? אנחנו כאן כדי לעזור |
ברוס הילסברג (Bruce Hillsberg), מי שאמון על ביצוע הפרוייקט, סבור שמערך האחסון שהוא ואנשיו בונים יסייע לשכלל את מערכי אחסון המידע המקובלים כיום. "מערכת עם 120 פטה בייט נשמעת כמו רעיון מטורף כיום, אך בעוד כמה שנים כל מערכות הענן עשויות להיות כאלו", הסביר הילסברג.
מדעני החברה נדרשו לפתח שורה של טכניקות חומרה ותוכנה חדשות בכדי להביא מאות אלפי כוננים לעבוד יחד בצורה טובה ויעילה. המדענים עשו שימוש במדפים (racks) רחבים במיוחד בכדי לאחסן את כל הכוננים הללו במינימום נפח, וכמו כן נדרשו ליצור מערכת קירור מים שתמנע מכל הסיפור להפוך לסאונה פינית מהבילה.
אחד מהאתגרים הברורים בשימוש בכוננים קשיחים מכניים "פשוטים" הוא הנטייה שלהם להיכשל ולהתקלקל. ב-IBM השתמשו בשיטה הרגילה ויצרו מערך אשר מגבה את כל המידע מספר פעמים, אך הוסיפו שכלולים כאלו ואחרים שאמורים לאפשר למערכת כולה להמשיך ולעבוד במלוא המרץ גם כאשר כונן או כוננים יקרסו – כשכונן בודד נופח נשמתו, המערכת תעתיק את המידע שנשמר בו למיקום חדש באופן איטי שימזער את הפגיעה בביצועים הכלליים. רק כאשר כמה כוננים ימותו יחד תהפוך המערכת את תהליך השכתוב למהיר ו"כבד" יותר, זאת בכדי למנוע מצב בו מידע יוכל "ללכת לאיבוד" לצמיתות (במידה וכל הכוננים שמחזיקים בעותקי המידע יחליטו ללכת לעולמם אחד אחרי השני).
המערך החדש יעשה שימוש גם במערכת אחסון קבצים בשם GPFS (ר"ת Global Parallel File System) אותה פיתחה IBM עבור מחשבי על. במסגרת שיטה זו מפוזרים קבצים על מספר כוננים שונים, כך שכל חלקי הקובץ יכולים להיקרא או להיכתב בעת ובעונה אחת, מה שגם מסייע למערכת לעקוב ולנטר את הקבצים בצורה פשוטה ומהירה יותר.
הוכחה לעליונותה של מערכת ה-GPFS קיבלנו בחודש שעבר, כשמערכת של IBM סרקה 10 מיליארד קבצים בתוך 43 דקות בלבד, שיפור של פי 37 (!) מהשיא הקודם, במסגרתו נסרקו מיליארד קבצים בתוך כשלוש שעות. בפעם הבאה שתרגישו שהמחשב שלכם סובל מהאטה – אתם יודעים למי לפנות.
חישוב קטן
120אלף טרה בייט לחלק ל200אלף כוננים נותן 600 גיגה פר כונן.
אז לא ממש הבנתי באיזה כוננים הם משתמשים…
אם זה כוננים מכאנים אז למה לא לקחת כוננים יותר גדולים ואז הם חוסכים מקום וחשמל או שבאותו מספר כוננים הם מקבלים פי 2 (או יותר)נפח.
אבל לפי הנפח זה יותר הגיוני שהם משתמשים בכונני SSD
It was probably
Built for the somewhat 'new' Blue Brain Project for their research. Which requires a gargantuan amount of storage space not imaginable by our standards, well not anymore.
האחסון זה שטויות…
הבעיה זה תחנת הכח שנדרשת להפעיל מיזם כזה.
צריך כור גרעיני…
שח
סוף סוף יכלו לאחסן את כל המצבים האפשרים של משחק שח
מדהים
אנחנו לא שמים לב אבל אנחנו בתקופה שמה שהיה דמיון פעם היום זה מציאות
זה טוב אבל מסוכן מהשלב הזה אני חחושב שצריך להתחיל לבדוק את המערכות האלו ע"י צד שלישי שלא נגמור בסוף כמו בסרטים שנחשבים למדע בידיוני (TEMINATOR) חיחיח
הכוננים הם כוננים מכאניים
כפי שצויין בחדשה, ישנו גיבוי של המידע, ולכן טבעי שהנפח הסופי יהיה קטן יותר מהנפח המקסימלי ה"הגיוני".
ל-3
על מערכי RAID למיניהם שמעת?
בקרוב
באימיול יהיה שרתי IBM 🙂
למספר 3
אתה טועה ידידי.
1 פטה = ל 1000 טרה.
זאת אומרת לא 120,000 טרה אלא 120,000,000.
זה סכום לא הגיוני 😉
רק מהחום
אני אומר , רק מהחום שנוצר מכל הרעיון הזה אפשר להניע טורבינה שתייצר חשמל
ברוטו או נטו
זה נשמע פרוייקט מטורף
קודם כול יצור דיסקים כל כך גדולים במימדים קטנים ובקר שיודע לנהל כמות דיסקים כזאת
דבר שני איך יוצרים אינדקס לכמות מידע כזאת ?