לפני קניית מחשב, ברגע האחרון אני מתלבט להחליף Intel i5-14600 ב AMD Ryzen 7 8700G. ההחלפה המדוברת תהיה במחיר של מערכת מעט יותר יקרה ויותר חלשה בכ 20% בביצועי ה CPU, אבל מצד שני יש לה iGPU ו NPUs שיוכלו לסייע להרצת משימות AI לוקאליות.

המחשבה היא לרכוש מחשב שמספק בביצועים מעל ומעבר, ולא חייב להיות הכי חזק שיש משתי הבחירות - אבל שלא ידרש להיות מוחלף בעוד כמה שנים עקב חוסר תמיכה ב AI, וללא שתדרש השקעה בכרטיס מסך יקר כשהשימוש בו יהיה רק למטרות AI לוקאליות שלא בטוח שיצדיקו את ההוצאה.

לשלב הנוכחי אשמח למשל לבדוק אפשרויות של הרצה של Vibe לתמלול שיחות והכתבת טקסט, שמבוסס על Whisper - אך לא רק.

אני שואל את עצמי האם המודלים האלו עובדים טוב על הפלטפורמה הזו שמשתמשת ב iGPU מדגם Radeon 780M המשולב ב APU, ובזיכרון DDR של המערכת. במחשב יותקן 64GB DDR5 5600 CL4.

אני לא מתכוון להשתמש באפשרויות תמלול בתדירות גבוהה אבל רוצה שהן יהיו זמינות.

אני מחפש אנשים שיש להם נסיון של הרצת תוכנות AI על APU של AMD משולב iGPU שמשולב במעבד (ללא כרטיס מסך חיצוני) כדי שיאשרו לי שדברים מסויימים עובדים ויתנו סקירת ביצועים קצרה מהנסיון שלהם.

ספציפית אשמח לקבל שיתופים על הצלחה / מידע על ביצועים הבאים:

1. הקצאת זיכרון VRAM מה DDR בנפחים גבוהים כשב BIOS בחורה האפשרות UMA Frame Buffer SIZE = AUTO:

המידע ממסמכי ה BIOS:

UMA Frame Buffer Size Allows you to set the UMA FB Size. Configuration options: [Auto] [64M] [80M] [96M] [128M] [256M] [384M] [512M] [768M] [1G] [2G] [3G] [4G]

אך לא ברור לי ב 100% שבחירה ב AUTO באמת תאפשר באופן דינמי הקצאה של יותר מ 4GB זיכרון - ואשמח אם מישהו יוכל לאשר מנסיון שבחירה ב AUTO ב BIOS מאפשרת הקצאת VRAM בנפח גדול של 16GB ואף יותר לטובת ה iGPU, לפי הצורך.

2. אשמח לשיתופים לגבי מהירות העבודה של Vibe וישומי AI אחרים בתצורת חומרה מבוססת iGPU של AMD למשל Ryzen 7 8700G או דומה. למשל כמה זמן לקח לבצע Transcript לשיחה מוקלטת בת X דקות, ובאיזה פרמטרים היה שימוש (מודל נבחר, מעבד שעליו בוצעה המדידה, נפח זיכרון, וכו').

ברור לי שפלטפורמה זו היא יותר איטית ביחס לשימוש ב GPU בכרטיס מסך יעודי שיש עליו VRAM משלו, אך ההשקעה בכרטיס כזה לא מוצדקת לצרכים שלי, ואם התמלול יתבצע בצורה יעילה ובזמן סביר אני מוכן לשלם את המחיר, מאחר ואני לא מתכוון להשתמש בפונקצינליות הזו על בסיס יום יומי.

3. אשמח להמלצות נוספות לתוכנות AI שיש ערך בהרצה שלהן על המחשב לוקאלית.

למשל תוכנות שמבצעות סיכומים וניסוחים של מסמכים על בסיס חומר לוקאלי שלא הייתי רוצה להעלות לענן משיקולי פרטיות, ויישומים נוספים שעדיין לא חשבתי עליהם.

פתוח למגוון דעות בנוגע להתלבטויות ולמידע מנסיון.

תודה למשיבים

ציטוט של amita

הקצאת זיכרון VRAM

חסר משמעות אמיתית כאשר אתה עובד עם זכרון משותף , אם נגמר לו, הוא לוקח עוד . הרי בכל מקרה הוא עובד באותה מהירות ודרך אותו ערוץ.

זה בעיקר "סימון" לתוכנה שאיתה עובדים ש"יש לי מספיק "

ציטוט של amita

הקצאת VRAM בנפח גדול של 16GB

כרטיס עם כוח אפסי לא באמת צריך כל הרבה זכרון .

ציטוט של amita

64GB DDR5 5600 CL4

במחשב עם חשיבות לביצועים לוקחים זכרון 6000 (פחות זה מקל בגלגלים , יותר זה פשוט לא משתלם כיום אבל לא יזיק ) עם תזמונים של 36 לכל היותר , עדיף 30 .

במחשב עם כוונה לשימוש מהותי ב IGPU נושא זה מקבל דגש כפול וקרוב ולודאי שכאן יש הצדקה לזכרון יותר מהיר

אני מעריך שאם יש חשיבות אמיתית לביצועי "AI" אז אתה צריך פתרון אחר , כרטיס נפרד למשל , אפילו אחד זול .

ואם בכל זאת כרטיס מובנה , אולי אתה בקבוצה הקטנה של האנשים שכדאי להם לבדוק לגבי core ultra 5 .

אתה מדבר על זה ?

https://www.tomshardware.com/news/whisper-audio-transcription-gpus-benchmarked

נערך ספטמבר 3ספטמבר 3 על-ידי yoavke

ציטוט של yoavke

כרטיס עם כוח אפסי לא באמת צריך כל הרבה זכרון .

זה לא עובד ככה ברשתות ניורונים.

כמות הזכרון הזמינה להרצת המודל היא קריטית אם בכלל תוכל להריץ את המודל לכתחילה.

מהירות העיבוד זה עניין נוסף.

עדיף מספיק זכרון למודל לפני הכל ורק אז לחשוב על עוצמת חישוב.

כרטיס חזק בלי מספיק VRAM להרצת המודל לא מועיל כלום.

נערך ספטמבר 5ספטמבר 5 על-ידי se7en

ציטוט של se7en

זה לא עובד ככה ברשתות ניורונים.

אני לא יודע מה קורה בלינוקס או מערכות הפעלה אחרות.

עד כמה שאני יודע , דרך חלונות , התוכנה מקבלת מהמחשב תמונת מצב שכוללת גם את כל מה שזמין לה דרך שיתוף הזכרון .

אני לא חושב שזה משנה אם התוכנה היא משחק , תוכנת AI מקומית , תוכנת מבחן או משהו שמריץ רשת נוירונים .

אם תיכנס ל nvidia control panel עם ה 4090 הנייד שלך , תראה ככל הנראה total available graphics memory 48GB בהנחה שיש לך 64 RAM . וכנראה 32 אם יש לך 32. אני עם 64 ו 3090 ורואה שיש לי 56 . כמובן שברגע שהמחשב באמת מתחיל להשתמש במה שמעבר לזכרון היעודי זה אסון מבחינת ביצועים .

כרטיסי אינטל מאפשרים בעקרון לכל היותר כ 1 גיגה של זכרון "יעודי" , למרות זאת התוכנה חושבת שיש לה הרבה יותר מאחר והמחשב מראה לה כמה זכרון משותף זמין לו . כאשר יש במחשב נייד למשל 16 גיגה זכרון , ( ואין אפשרות לבחור בביוס כמה "ילך" לכרטיס המסך ) אז המחשב רואה את כרטיס המסך ככרטיס מסך עם 128 מגה של זכרון יעודי ובכל זאת משחקים או תוכנות בדיקה יחשבו שיש לו 4 או 8 גיגה.

ככל הנראה אם יש 64 גיגה זכרון אז זה מאפשר למערכת ההפעלה לחשוב שיש 16 גיגה זכרון כרטיס מסך.

יכול להיות שהכרטיס שמגיע עם core ultra מאפשר יותר.

ב AMD יש יותר יכולת שליטה על העניין ואפשר להקצות 16 גיגה אם יש לך 64 גיגה .

אני מבין שכמות הזכרון יכולה להיות תנאי סף אבל באופן כללי , אני גם מניח שמה שדורש הרבה זכרון צריך לא מעט כוח עיבוד .

אז אם יש משהו שבאמת צריך 16 גיגה של זכרון אפשר להניח שכרטיס מסך מובנה יעבוד כל כך לאט שזה יהיה על סף קריסה .

אני לא מכיר את היישום שהוא מדבר עליו , שמתי קישור למבחן עם שם דומה , שאלתי אם על זה מדובר , לא הייתה תגובה.

אולי אם הייתה תגובה היה עם מה להתקדם.

במבחן הנ"ל לא נראה שקיימת בעיה של כמות זכרון .

מיותר לציין שכל ההמלצות שלי לגבי סוג הזכרון רלוונטיות מאוד באופן כללי למיטוב ביצועים ובאופן ספציפי למחשב שעובד עם igpu.

על זה נוסיף את ה NPU של ה 245K.

במקומות שבו הוא נבדק הוא נתן ביצועים עדיפים או דומים על פני ה IGPU וגם על פני ה CPU של עצמו ועשה את זה בצריכת חשמל פחותה.

( ואם המעבד יכול להפעיל אותם במקביל אז זה כבר מכפיל כוח ) .

במקומות שבהם ה igpu הזה נבדק מול זה של ה 8700G , נראה שהם שווי כוח בערך .

האם ה npu רואה כמה זכרון מוקצה ל igpu או שהוא רואה כמה RAM יש ? לא יודע . אולי הוא מוגבל לפחות אולי יכול לנצל כל מה שיש , כנראה גם תלוי יישום .

נ.ב.

3060 עם 12 גיגה , משומש , עולה 600-700 בשוק יד 2 . פי 5 כוח עיבוד ? פי 10 ? לא יודע . כנראה שרק פי 2-3 .

נערך ספטמבר 5ספטמבר 5 על-ידי yoavke

ציטוט של yoavke

אתה מדבר על זה ?

@se7en @yoavke

מצטער על התגובה המאוחרת - לא קיבלתי שום התראה על תגובה שרשמו בפוסט שלי...
כן, התשובה היא - משהו דומה.

בסוף הלכתי על מחשב מבוסס CORE 7 ULTRA 265K שנמכק ב AMAZON במחיר מוזל באופן זמני. רכשתי 96GB DDR5 6000MHZ CL36. נתחיל עם זה ונוסיף בהמשך - אולי בנובמבר ואולי בשנה הבאה, לפי הצורך, כרטיס מסך עם 16GB VRAM שיספק את הצרכים לתמיכה במודל AI גדול מקומי.
אני עדיין מתלבט אם כרטיס המסך תהיה השקעה נכונה ומוצדקת והאם לא תהיה מיושנת מהר מידי מאחר ומודלים ידרשו במהירות אולי יותר מ 16GB VRAM.
אני מבין שללא כמות ה VRAM הזו 16GB יש מודלים שיצטרכו לעשות OFFLOAD ל RAM של המערכת ולכן רכשתי זיכרון DDR כ"כ גדול. כדי שיאפשר למודל לרוץ - אפילו אם זה יהיה לאט יותר. וכן - אני מבין שזה יגרום לפגיעה קשה בזמני הריצה כי צוואר הבקבוק יהיה העברת המידע מה RAM ל VARM של כרטיס המסך ולהיפך. אולי עד כדי שלא יהיה ניתן להשתמש בזמן אמת בכל מיני יכולות AI כמו הכתבה, למשל. כעיום הכתבה WHISPER בגרסת המודל הגדול תיכנס בכ 12GB לפי מה שהבנתי. החשש, כפי שכתבתי - הוא שמחר (או בעוד שנה וקצת) המודלים ידרשו 18GB ואז כבר כרטיס מסך עם VRAM 16GB לא יספק, וכרטיס המסך היקר שנרכש בדיוק למטרה הזו יהיה פתאום פחות רלוונטי לצרכים.

ציטוט של amita

ואז כבר כרטיס מסך עם VRAM 16GB לא יספק

תמכור ביד 2 , תקנה חדש עם 24-32 .יש ביקוש. יהיה ביקוש.

@yoavke, אתה נשמע לי בעניינים גם של הבנת שוק היד השניה, אני צודק? אם כן תוכל להעריך מידע על כרטיסים יד שניה שנמכרים היום - בכמה כסף תתבטא להערכתך ירידת הערך של כרטיס עם 16GB VRAM למשל RTX 5060 TI, שהיה בשימוש שנה או שנתיים?

נערך ספטמבר 16ספטמבר 16 על-ידי amita

כרגע אפשר לרכוש כרטיס כזה בסיסי ב 2000-2100 .

בעוד שנה מהיום הכרטיס הזה ככל הנראה עדין יהיה בשוק עם אופציה לגרסת סופר אבל לא יהיה לו מחליף .

חדש כנראה יעלה בערך 1700 אלא אם ה"סופר" יצא לשוק במחיר ממש טוב.

אז למכור כזה יד 2 יהיה אפשר בטווח של 1000-1500 בהתאם לכל מיני משתנים קטנים .

ב 1000 אתה תעיף אותו תוך יום יומיים

ב1500 אתה צריך סבלנות וכשרון שיווק .

כמובן שזה בהנחה שהשנה קדימה תהיה בערך כמו היום ביחס ללפני שנה .

אם מתכננים לנו מציאות יותר מורכבת , לך תדע, אולי הוא יהיה שווה 3000 אבל לא תוכל לקנות חדש במקומו