מפרט לחישובים מתמטיים כבדים עד 10000 ש"ח

[tmpusr]

לא אכנס לפרטים טכניים, אבל יש עיבוד כבד מאוד על כל קובץ ובשניה אחת נכנס הרבה יותר מידע ממה שציינתי - זה רק היה אומדן ליחס בין זמן עיבוד המידע ל"זמן-אמת" בלי כל קשר לנפח המידע בזמן נתון.

ניסינו PARFOR וגם (מזמן) CUDA אבל זה לא מתאים כאן.

אפילו MEX לא ממש עוזר כי יש הרבה עבודה מטריציונית ושימוש בפונקציות מקוסטמות של MATLAB שיעילות יותר מקוד C גנרי.

הכי טוב היה כמובן לכתוב C++ מרובה נימים שמשתמש בספריות המובנות של המעבד (SSE והמתקדמות יותר) אבל זו לא השאלה כרגע...

המטרה היא שהמידע יעלה בקצב קבוע וה-MATLAB "יתרגם" ויעבד אותו באותו קצב לאורך זמן - במימוש הנוכחי.

בואו נתמקד

[TheReaper]

אבל אין ממש לאן להתקדם.

בהנחה והמטלב באמת משתמש בכל הליבות שלך, לקחת את המעבד בין החזקים בשוק ועדיין העסק נופל.

או שתחלק את העומס על עוד מחשבים או שתמציא מעבד חדש

אגב,בנוגע לקריסות.

תנסה להפריד את הליבות שמוקצות לתהליכים של המטלב ואלה לתקשורת ולראות אם הקריסות עדיין קורות

[tmpusr]

ניסיתי לשנות Affinity + Priority אבל זה לא ממש עזר. רק הזיק.

אולי זה בכלל עניין של מערכת הפעלה (WIN7PRO 64BIT) שפשוט לא יודעת לנהל תהליכים במקביל בלי קשר למשאבים?

האם שווה לנסות לינוקס? איזו?

אולי משהו אחר?

[Googleness]

אין לי מושג במטלאב ואף פעם לא עבדתי איתה אבל,

http://www.mathworks.com/matlabcentral/answers/39067-run-matlab-function-with-arguments-on-linux-terminal

לפי מה שקראתי כאן ניתן להריץ את הפעולות במצב טקסטואלי דרך טרמינל של לינוקס.

אולי יש מקום לנסות הפצת לינוקס מותאמת אישית למקסימום ביצועים?

סתם דוגמא,

שמעתי הרבה דברים טובים על ארץ' ויש להם עמוד בוויקי על מטלאב

https://wiki.archlinux.org/index.php/Matlab

[tmpusr]

תודה!

השאלה האם לינוקס זו או אחרת עדיפות בניהול תהליכים.

[gabriel6]

האם חשבת על תחנות עבודה שבאות מהיצרניות הגדולות?

http://outlet.us.dell.com/ARBOnlineSales/Online/SecondaryInventorySearch.aspx?c=us&l=en&s=dfb&cs=28&puid=bb3f4a68

מנסיוני סדרת PRECISION זה מחשבים מעולים איכותיים מאוד וגם ביצועים בשמיים (בזמנו היתה לי תחנת עבודה מבוססת Xeon בודד - כל מה שזרקתי לעברה לא הצליח להכביד עליה).

[TheReaper]

מעבדי Xeon לא מציגים שום שיפור (אולי מלבד עוד ליבות) לשימושים שהוא צריך

[tmpusr]

בזמנו היתה לי תחנת עבודה מבוססת XEON בודד - כל מה שזרקתי לעברה לא הצליח להכביד עליה.

ראה מפרט ה"מפלצת" בפוסט הקודם:

http://hwzone.co.il/community/threads/562360-%D7%9E%D7%A4%D7%A8%D7%98-%D7%9C%D7%97%D7%99%D7%A9%D7%95%D7%91%D7%99%D7%9D-%D7%9E%D7%AA%D7%9E%D7%98%D7%99%D7%99%D7%9D-%D7%9B%D7%91%D7%93%D7%99%D7%9D-%D7%A2%D7%93-10000-%D7%A9-%D7%97/page2?p=5042103&viewfull=1#post5042103

לא ממש עוזר.

[Googleness]

תודה!

השאלה האם לינוקס זו או אחרת עדיפות בניהול תהליכים.

לינוקס בקוד פתוח ומודולרית, עשית עליי רושם של מישהו עם ראש טוב ואני בטוח שעם קצת מחקר תגיע ליעד.

היתרון בלינוקס שאתה יכול ל"הפשיט ממנה" דבריםשאתה לא צריך,, למשל ממשק גרפי לדוגמא... ולחסוך במשאבים.

יש לך גם פרוייקט שנקרא

Linux From Scratch

שמלווה אותך המצד ההפוך, שם אתה מתחיל מהקרנל ומוסיף עליו רכיבים.

קראתי כבר על הפצות לינוקס מודרניות בגודל 5 מגה בלבד.

אז המחשבה פה להתאים אישית הפצה לצרכיך שכל מה שהיא תעשה זה את חישובי המט לאב ולנפשיט ממנה כמה שיותר.

[iwantdell]

אתה אומר שה MATLAB רק בנים בודד, אבל שכל הליבות בשימוש, איך ?

[tmpusr]

ל-MATLAB יש יכולות מסויימות לנהל multi threading. ממש לא בכל פונקציה אבל קיים.

אני לא חושב שיש בעיה של משאבים אלא הבעיה היא של ניהול כמה ת'רדים במקביל כך שלא יפריעו אחד לשני.

[tmpusr]

מנסה לחשוב מחוץ לקופסה....

אני יודע שהתהליך הבעייתי הוא ת'רד ה-MATLAB של העיבוד המרכזי.

שני הת'רדים האחרים (אחד של C ואחד קליל של MATLAB) רצים ביחד בלי בעיה.

אני יכול להריץ את שני האחרונים על מחשב אחר ואת ת'רד העיבוד המרכזי להריץ על ה"מפלצת" או על משהו מהיר יותר מבחינת ליבה בודדת כמו 5830K @ 4.3GHZ למשל.

אני רק צריך למצוא דרך להעביר את המידע בין המחשבים בזמן אמת ולא ליצור DELAY במערכת.

במערכת הנוכחית המידע עולה מהחומרה דרך 1GB ETHERNET בצורה של קבצים בגודל של 2MB שנוצרים בקצב של 8 קבצים לשניה בממוצע.

האם בחיבור רשת 1GB מוצלב ad-hoc אפשר להעביר את הקבצים האלה בזמן אמת ללא עיכוב משמעותי (דרך מיפוי כונן רשת בין המחשבים)?

יש דרך יעילה ו"נקיה" יותר לעשות זאת? USB3 אולי? מה אתם אומרים?

זה לא פותר את הבעיה אבל אם יעבוד זה work-around מספק.

[Googleness]

בו ננסה לנתח את המצב,

האם ההאטה נובעת מחיבור בקצב של 1Gb? אם זה היה 10 למשל היה הבדל?

או, שהבעיה היא בתקשורת על הלוח בין כרטיס הרשת לשאר הרכיבים? ומשם האיטיות?

מצד שלישי אולי זה בעיה בפעילות השוטפת של המחשב,

כלומר - נאמר שהוא מריץ חישוב ולפתע יש פנייה להעביר מידע האם זה מה שמשפיע?

אולי מחשב ייעודיnas לאחסון הקבצים כנקודה מרכזית וכל עמדת חישוב בנפרד תשלוף את החומר ותחזיר לאחר עיבוד?

עוד אופציה שאולי תעזור זה scsi, אם אני זוכר נכון סקזי פונה אל המידע לפי מה שיותר קרוב אליו (ראש הקריאה בדיסק) ולא לפי מי פנה קודם, אולי זה יעזור? גם אאלט יש בממשק הזה דיסקים של 15,000rpm לעומת 7200 של sata.

[iwantdell]

למה לא לקחת איזה מחשב Z820 עם 2 ליבות ? בכל מקרה, בדקת שהבעיה היא לא למשל בזמני הטיפול באינטרפטים של התקשורת ?

[TheReaper]

מטלב כן עובד בריבוי נימים. וזה בעיה לרכוש workstation ביותר מ2500 דולר רק כדי לגלות שגם שם העסק לא עובד