לפני קניית מחשב, ברגע האחרון אני מתלבט להחליף Intel i5-14600 ב AMD Ryzen 7 8700G. ההחלפה המדוברת תהיה במחיר של מערכת מעט יותר יקרה ויותר חלשה בכ 20% בביצועי ה CPU, אבל מצד שני יש לה iGPU ו NPUs שיוכלו לסייע להרצת משימות AI לוקאליות.

המחשבה היא לרכוש מחשב שמספק בביצועים מעל ומעבר, ולא חייב להיות הכי חזק שיש משתי הבחירות - אבל שלא ידרש להיות מוחלף בעוד כמה שנים עקב חוסר תמיכה ב AI, וללא שתדרש השקעה בכרטיס מסך יקר כשהשימוש בו יהיה רק למטרות AI לוקאליות שלא בטוח שיצדיקו את ההוצאה.

לשלב הנוכחי אשמח למשל לבדוק אפשרויות של הרצה של Vibe לתמלול שיחות והכתבת טקסט, שמבוסס על Whisper - אך לא רק.

אני שואל את עצמי האם המודלים האלו עובדים טוב על הפלטפורמה הזו שמשתמשת ב iGPU מדגם Radeon 780M המשולב ב APU, ובזיכרון DDR של המערכת. במחשב יותקן 64GB DDR5 5600 CL4.

אני לא מתכוון להשתמש באפשרויות תמלול בתדירות גבוהה אבל רוצה שהן יהיו זמינות.

אני מחפש אנשים שיש להם נסיון של הרצת תוכנות AI על APU של AMD משולב iGPU שמשולב במעבד (ללא כרטיס מסך חיצוני) כדי שיאשרו לי שדברים מסויימים עובדים ויתנו סקירת ביצועים קצרה מהנסיון שלהם.

ספציפית אשמח לקבל שיתופים על הצלחה / מידע על ביצועים הבאים:

1. הקצאת זיכרון VRAM מה DDR בנפחים גבוהים כשב BIOS בחורה האפשרות UMA Frame Buffer SIZE = AUTO:

המידע ממסמכי ה BIOS:

UMA Frame Buffer Size Allows you to set the UMA FB Size. Configuration options: [Auto] [64M] [80M] [96M] [128M] [256M] [384M] [512M] [768M] [1G] [2G] [3G] [4G]

אך לא ברור לי ב 100% שבחירה ב AUTO באמת תאפשר באופן דינמי הקצאה של יותר מ 4GB זיכרון - ואשמח אם מישהו יוכל לאשר מנסיון שבחירה ב AUTO ב BIOS מאפשרת הקצאת VRAM בנפח גדול של 16GB ואף יותר לטובת ה iGPU, לפי הצורך.

2. אשמח לשיתופים לגבי מהירות העבודה של Vibe וישומי AI אחרים בתצורת חומרה מבוססת iGPU של AMD למשל Ryzen 7 8700G או דומה. למשל כמה זמן לקח לבצע Transcript לשיחה מוקלטת בת X דקות, ובאיזה פרמטרים היה שימוש (מודל נבחר, מעבד שעליו בוצעה המדידה, נפח זיכרון, וכו').

ברור לי שפלטפורמה זו היא יותר איטית ביחס לשימוש ב GPU בכרטיס מסך יעודי שיש עליו VRAM משלו, אך ההשקעה בכרטיס כזה לא מוצדקת לצרכים שלי, ואם התמלול יתבצע בצורה יעילה ובזמן סביר אני מוכן לשלם את המחיר, מאחר ואני לא מתכוון להשתמש בפונקצינליות הזו על בסיס יום יומי.

3. אשמח להמלצות נוספות לתוכנות AI שיש ערך בהרצה שלהן על המחשב לוקאלית.

למשל תוכנות שמבצעות סיכומים וניסוחים של מסמכים על בסיס חומר לוקאלי שלא הייתי רוצה להעלות לענן משיקולי פרטיות, ויישומים נוספים שעדיין לא חשבתי עליהם.

פתוח למגוון דעות בנוגע להתלבטויות ולמידע מנסיון.

תודה למשיבים

ציטוט של amita

הקצאת זיכרון VRAM

חסר משמעות אמיתית כאשר אתה עובד עם זכרון משותף , אם נגמר לו, הוא לוקח עוד . הרי בכל מקרה הוא עובד באותה מהירות ודרך אותו ערוץ.

זה בעיקר "סימון" לתוכנה שאיתה עובדים ש"יש לי מספיק "

ציטוט של amita

הקצאת VRAM בנפח גדול של 16GB

כרטיס עם כוח אפסי לא באמת צריך כל הרבה זכרון .

ציטוט של amita

64GB DDR5 5600 CL4

במחשב עם חשיבות לביצועים לוקחים זכרון 6000 (פחות זה מקל בגלגלים , יותר זה פשוט לא משתלם כיום אבל לא יזיק ) עם תזמונים של 36 לכל היותר , עדיף 30 .

במחשב עם כוונה לשימוש מהותי ב IGPU נושא זה מקבל דגש כפול וקרוב ולודאי שכאן יש הצדקה לזכרון יותר מהיר

אני מעריך שאם יש חשיבות אמיתית לביצועי "AI" אז אתה צריך פתרון אחר , כרטיס נפרד למשל , אפילו אחד זול .

ואם בכל זאת כרטיס מובנה , אולי אתה בקבוצה הקטנה של האנשים שכדאי להם לבדוק לגבי core ultra 5 .

אתה מדבר על זה ?

https://www.tomshardware.com/news/whisper-audio-transcription-gpus-benchmarked

נערך ביום רביעי בשעה 05:39 AM2 ימים על-ידי yoavke

ציטוט של yoavke

כרטיס עם כוח אפסי לא באמת צריך כל הרבה זכרון .

זה לא עובד ככה ברשתות ניורונים.

כמות הזכרון הזמינה להרצת המודל היא קריטית אם בכלל תוכל להריץ את המודל לכתחילה.

מהירות העיבוד זה עניין נוסף.

עדיף מספיק זכרון למודל לפני הכל ורק אז לחשוב על עוצמת חישוב.

כרטיס חזק בלי מספיק VRAM להרצת המודל לא מועיל כלום.

נערך לפני 5 שעות 5 שעות על-ידי se7en

ציטוט של se7en

זה לא עובד ככה ברשתות ניורונים.

אני לא יודע מה קורה בלינוקס או מערכות הפעלה אחרות.

עד כמה שאני יודע , דרך חלונות , התוכנה מקבלת מהמחשב תמונת מצב שכוללת גם את כל מה שזמין לה דרך שיתוף הזכרון .

אני לא חושב שזה משנה אם התוכנה היא משחק , תוכנת AI מקומית , תוכנת מבחן או משהו שמריץ רשת נוירונים .

אם תיכנס ל nvidia control panel עם ה 4090 הנייד שלך , תראה ככל הנראה total available graphics memory 48GB בהנחה שיש לך 64 RAM . וכנראה 32 אם יש לך 32. אני עם 64 ו 3090 ורואה שיש לי 56 . כמובן שברגע שהמחשב באמת מתחיל להשתמש במה שמעבר לזכרון היעודי זה אסון מבחינת ביצועים .

כרטיסי אינטל מאפשרים בעקרון לכל היותר כ 1 גיגה של זכרון "יעודי" , למרות זאת התוכנה חושבת שיש לה הרבה יותר מאחר והמחשב מראה לה כמה זכרון משותף זמין לו . כאשר יש במחשב נייד למשל 16 גיגה זכרון , ( ואין אפשרות לבחור בביוס כמה "ילך" לכרטיס המסך ) אז המחשב רואה את כרטיס המסך ככרטיס מסך עם 128 מגה של זכרון יעודי ובכל זאת משחקים או תוכנות בדיקה יחשבו שיש לו 4 או 8 גיגה.

ככל הנראה אם יש 64 גיגה זכרון אז זה מאפשר למערכת ההפעלה לחשוב שיש 16 גיגה זכרון כרטיס מסך.

יכול להיות שהכרטיס שמגיע עם core ultra מאפשר יותר.

ב AMD יש יותר יכולת שליטה על העניין ואפשר להקצות 16 גיגה אם יש לך 64 גיגה .

אני מבין שכמות הזכרון יכולה להיות תנאי סף אבל באופן כללי , אני גם מניח שמה שדורש הרבה זכרון צריך לא מעט כוח עיבוד .

אז אם יש משהו שבאמת צריך 16 גיגה של זכרון אפשר להניח שכרטיס מסך מובנה יעבוד כל כך לאט שזה יהיה על סף קריסה .

אני לא מכיר את היישום שהוא מדבר עליו , שמתי קישור למבחן עם שם דומה , שאלתי אם על זה מדובר , לא הייתה תגובה.

אולי אם הייתה תגובה היה עם מה להתקדם.

במבחן הנ"ל לא נראה שקיימת בעיה של כמות זכרון .

מיותר לציין שכל ההמלצות שלי לגבי סוג הזכרון רלוונטיות מאוד באופן כללי למיטוב ביצועים ובאופן ספציפי למחשב שעובד עם igpu.

על זה נוסיף את ה NPU של ה 245K.

במקומות שבו הוא נבדק הוא נתן ביצועים עדיפים או דומים על פני ה IGPU וגם על פני ה CPU של עצמו ועשה את זה בצריכת חשמל פחותה.

( ואם המעבד יכול להפעיל אותם במקביל אז זה כבר מכפיל כוח ) .

במקומות שבהם ה igpu הזה נבדק מול זה של ה 8700G , נראה שהם שווי כוח בערך .

האם ה npu רואה כמה זכרון מוקצה ל igpu או שהוא רואה כמה RAM יש ? לא יודע . אולי הוא מוגבל לפחות אולי יכול לנצל כל מה שיש , כנראה גם תלוי יישום .

נ.ב.

3060 עם 12 גיגה , משומש , עולה 600-700 בשוק יד 2 . פי 5 כוח עיבוד ? פי 10 ? לא יודע . כנראה שרק פי 2-3 .

נערך לפני 1 שעה 1 שעה על-ידי yoavke