שימוש ב AMD Ryzen 7 8700G עם iGPU מובנה וללא כרטיס מסך נוסף עבור שימושי Local AI - דוגמת Vibe (Whisper) ונוספים

לפני קניית מחשב, ברגע האחרון אני מתלבט להחליף Intel i5-14600 ב AMD Ryzen 7 8700G. ההחלפה המדוברת תהיה במחיר של מערכת מעט יותר יקרה ויותר חלשה בכ 20% בביצועי ה CPU, אבל מצד שני יש לה iGPU ו NPUs שיוכלו לסייע להרצת משימות AI לוקאליות.

המחשבה היא לרכוש מחשב שמספק בביצועים מעל ומעבר, ולא חייב להיות הכי חזק שיש משתי הבחירות - אבל שלא ידרש להיות מוחלף בעוד כמה שנים עקב חוסר תמיכה ב AI, וללא שתדרש השקעה בכרטיס מסך יקר כשהשימוש בו יהיה רק למטרות AI לוקאליות שלא בטוח שיצדיקו את ההוצאה.

לשלב הנוכחי אשמח למשל לבדוק אפשרויות של הרצה של Vibe לתמלול שיחות והכתבת טקסט, שמבוסס על Whisper - אך לא רק.

אני שואל את עצמי האם המודלים האלו עובדים טוב על הפלטפורמה הזו שמשתמשת ב iGPU מדגם Radeon 780M המשולב ב APU, ובזיכרון DDR של המערכת. במחשב יותקן 64GB DDR5 5600 CL4.

אני לא מתכוון להשתמש באפשרויות תמלול בתדירות גבוהה אבל רוצה שהן יהיו זמינות.

אני מחפש אנשים שיש להם נסיון של הרצת תוכנות AI על APU של AMD משולב iGPU שמשולב במעבד (ללא כרטיס מסך חיצוני) כדי שיאשרו לי שדברים מסויימים עובדים ויתנו סקירת ביצועים קצרה מהנסיון שלהם.

ספציפית אשמח לקבל שיתופים על הצלחה / מידע על ביצועים הבאים:

1. הקצאת זיכרון VRAM מה DDR בנפחים גבוהים כשב BIOS בחורה האפשרות UMA Frame Buffer SIZE = AUTO:

המידע ממסמכי ה BIOS:

UMA Frame Buffer Size Allows you to set the UMA FB Size. Configuration options: [Auto] [64M] [80M] [96M] [128M] [256M] [384M] [512M] [768M] [1G] [2G] [3G] [4G]

אך לא ברור לי ב 100% שבחירה ב AUTO באמת תאפשר באופן דינמי הקצאה של יותר מ 4GB זיכרון - ואשמח אם מישהו יוכל לאשר מנסיון שבחירה ב AUTO ב BIOS מאפשרת הקצאת VRAM בנפח גדול של 16GB ואף יותר לטובת ה iGPU, לפי הצורך.

2. אשמח לשיתופים לגבי מהירות העבודה של Vibe וישומי AI אחרים בתצורת חומרה מבוססת iGPU של AMD למשל Ryzen 7 8700G או דומה. למשל כמה זמן לקח לבצע Transcript לשיחה מוקלטת בת X דקות, ובאיזה פרמטרים היה שימוש (מודל נבחר, מעבד שעליו בוצעה המדידה, נפח זיכרון, וכו').

ברור לי שפלטפורמה זו היא יותר איטית ביחס לשימוש ב GPU בכרטיס מסך יעודי שיש עליו VRAM משלו, אך ההשקעה בכרטיס כזה לא מוצדקת לצרכים שלי, ואם התמלול יתבצע בצורה יעילה ובזמן סביר אני מוכן לשלם את המחיר, מאחר ואני לא מתכוון להשתמש בפונקצינליות הזו על בסיס יום יומי.

3. אשמח להמלצות נוספות לתוכנות AI שיש ערך בהרצה שלהן על המחשב לוקאלית.

למשל תוכנות שמבצעות סיכומים וניסוחים של מסמכים על בסיס חומר לוקאלי שלא הייתי רוצה להעלות לענן משיקולי פרטיות, ויישומים נוספים שעדיין לא חשבתי עליהם.

פתוח למגוון דעות בנוגע להתלבטויות ולמידע מנסיון.

תודה למשיבים