amita

@yoavke, אתה נשמע לי בעניינים גם של הבנת שוק היד השניה, אני צודק? אם כן תוכל להעריך מידע על כרטיסים יד שניה שנמכרים היום - בכמה כסף תתבטא להערכתך ירידת הערך של כרטיס עם 16GB VRAM למשל RTX 5060 TI, שהיה בשימוש שנה או שנתיים?

@se7en @yoavke מצטער על התגובה המאוחרת - לא קיבלתי שום התראה על תגובה שרשמו בפוסט שלי... כן, התשובה היא - משהו דומה. בסוף הלכתי על מחשב מבוסס CORE 7 ULTRA 265K שנמכק ב AMAZON במחיר מוזל באופן זמני. רכשתי 96GB DDR5 6000MHZ CL36. נתחיל עם זה ונוסיף בהמשך - אולי בנובמבר ואולי בשנה הבאה, לפי הצורך, כרטיס מסך עם 16GB VRAM שיספק את הצרכים לתמיכה במודל AI גדול מקומי. אני עדיין מתלבט אם כרטיס המסך תהיה השקעה נכונה ומוצדקת והאם לא תהיה מיושנת מהר מידי מאחר ומודלים ידרשו במהירות אולי יותר מ 16GB VRAM. אני מבין שללא כמות ה VRAM הזו 16GB יש מודלים שיצטרכו לעשות OFFLOAD ל RAM של המערכת ולכן רכשתי זיכרון DDR כ"כ גדול. כדי שיאפשר למודל לרוץ - אפילו אם זה יהיה לאט יותר. וכן - אני מבין שזה יגרום לפגיעה קשה בזמני הריצה כי צוואר הבקבוק יהיה העברת המידע מה RAM ל VARM של כרטיס המסך ולהיפך. אולי עד כדי שלא יהיה ניתן להשתמש בזמן אמת בכל מיני יכולות AI כמו הכתבה, למשל. כעיום הכתבה WHISPER בגרסת המודל הגדול תיכנס בכ 12GB לפי מה שהבנתי. החשש, כפי שכתבתי - הוא שמחר (או בעוד שנה וקצת) המודלים ידרשו 18GB ואז כבר כרטיס מסך עם VRAM 16GB לא יספק, וכרטיס המסך היקר שנרכש בדיוק למטרה הזו יהיה פתאום פחות רלוונטי לצרכים.

לפני קניית מחשב, ברגע האחרון אני מתלבט להחליף Intel i5-14600 ב AMD Ryzen 7 8700G. ההחלפה המדוברת תהיה במחיר של מערכת מעט יותר יקרה ויותר חלשה בכ 20% בביצועי ה CPU, אבל מצד שני יש לה iGPU ו NPUs שיוכלו לסייע להרצת משימות AI לוקאליות. המחשבה היא לרכוש מחשב שמספק בביצועים מעל ומעבר, ולא חייב להיות הכי חזק שיש משתי הבחירות - אבל שלא ידרש להיות מוחלף בעוד כמה שנים עקב חוסר תמיכה ב AI, וללא שתדרש השקעה בכרטיס מסך יקר כשהשימוש בו יהיה רק למטרות AI לוקאליות שלא בטוח שיצדיקו את ההוצאה. לשלב הנוכחי אשמח למשל לבדוק אפשרויות של הרצה של Vibe לתמלול שיחות והכתבת טקסט, שמבוסס על Whisper - אך לא רק. אני שואל את עצמי האם המודלים האלו עובדים טוב על הפלטפורמה הזו שמשתמשת ב iGPU מדגם Radeon 780M המשולב ב APU, ובזיכרון DDR של המערכת. במחשב יותקן 64GB DDR5 5600 CL4. אני לא מתכוון להשתמש באפשרויות תמלול בתדירות גבוהה אבל רוצה שהן יהיו זמינות. אני מחפש אנשים שיש להם נסיון של הרצת תוכנות AI על APU של AMD משולב iGPU שמשולב במעבד (ללא כרטיס מסך חיצוני) כדי שיאשרו לי שדברים מסויימים עובדים ויתנו סקירת ביצועים קצרה מהנסיון שלהם. ספציפית אשמח לקבל שיתופים על הצלחה / מידע על ביצועים הבאים: 1. הקצאת זיכרון VRAM מה DDR בנפחים גבוהים כשב BIOS בחורה האפשרות UMA Frame Buffer SIZE = AUTO: המידע ממסמכי ה BIOS: UMA Frame Buffer Size Allows you to set the UMA FB Size. Configuration options: [Auto] [64M] [80M] [96M] [128M] [256M] [384M] [512M] [768M] [1G] [2G] [3G] [4G] אך לא ברור לי ב 100% שבחירה ב AUTO באמת תאפשר באופן דינמי הקצאה של יותר מ 4GB זיכרון - ואשמח אם מישהו יוכל לאשר מנסיון שבחירה ב AUTO ב BIOS מאפשרת הקצאת VRAM בנפח גדול של 16GB ואף יותר לטובת ה iGPU, לפי הצורך. 2. אשמח לשיתופים לגבי מהירות העבודה של Vibe וישומי AI אחרים בתצורת חומרה מבוססת iGPU של AMD למשל Ryzen 7 8700G או דומה. למשל כמה זמן לקח לבצע Transcript לשיחה מוקלטת בת X דקות, ובאיזה פרמטרים היה שימוש (מודל נבחר, מעבד שעליו בוצעה המדידה, נפח זיכרון, וכו'). ברור לי שפלטפורמה זו היא יותר איטית ביחס לשימוש ב GPU בכרטיס מסך יעודי שיש עליו VRAM משלו, אך ההשקעה בכרטיס כזה לא מוצדקת לצרכים שלי, ואם התמלול יתבצע בצורה יעילה ובזמן סביר אני מוכן לשלם את המחיר, מאחר ואני לא מתכוון להשתמש בפונקצינליות הזו על בסיס יום יומי. 3. אשמח להמלצות נוספות לתוכנות AI שיש ערך בהרצה שלהן על המחשב לוקאלית. למשל תוכנות שמבצעות סיכומים וניסוחים של מסמכים על בסיס חומר לוקאלי שלא הייתי רוצה להעלות לענן משיקולי פרטיות, ויישומים נוספים שעדיין לא חשבתי עליהם. פתוח למגוון דעות בנוגע להתלבטויות ולמידע מנסיון. תודה למשיבים