מבחן עיוור מעניין - השפעת המעבד במשחקים

[בור ועם הספר]

בדומה למבחני הטעימה שפפסי היו עורכים מפעם לפעם, גם AMD יחד עם האתר HardOCP ערכה מבחן עיוור לגיימינג.

בנו ארבע מערכות:

זוג ראשון היו A8-3850 ו-i3-2105 עם הGPU המובנה, למעט מעבד ולוח כל שאר החומרה זהה לחלוטין. נתנו לאנשים לשחק ולבחור מי מבין השתיים היו עדיפה. הגיימרים לא ידעו מיהו מי ומה יש בתוכו אלא רק מערכת A ומערכת B. כצפוי היה רוב מכריע של אנשים שהעדיפו את ה-A8. עד כאן התוצאה לא מפתיעה ודי צפויה.

המערכת הבאה היתה FX-8150 + 7970 כנגד 2700K + 7970 כאשר למעט לוח ומעבד כל שאר החומרה זהה לחלוטין. נתנו לגיימרים להריץ משחקים אבל כאן התוצאה היתה מפתיעה. כמות הגיימרים שהעדיפה את ה-FX היתה קרובה לפי 2 מזו שהעדיפה את ה-SB. גם במקרה הזה הגיימרים לא ידעו מה הריצו אלא רק שמות סתמיים כמו SYS A לעומת SYS B.

המקור כאן:

http://legitreviews.com/article/1838/1/

החומרה במקרה של GPU מובנה נבחרה על פי מחיר.

הציפייה שהיתה למתכנני הניסוי, שהמבחן במערכת החזקה יראה תוצאה שווה פחות או יותר או רוב להצבעה של "אין הבדל" למרבה ההפתעה רוב הגיימרים העדיפו את ה-FX.

כמה זה מדעי? כמה זוהי מובהקות סטטיסטית? זה קשה לדעת כי חסרים נתונים וגם כי המבחן נערך ע"י AMD וצריך לקחת זאת בחשבון.

מאידך זהו שינוי מרענן - משחק הוא בראש ובראשונה חוויה אנושית חושית וזוהי עוד דרך לבחינת חומרה. החושים שלנו לא יכולים לתרגם את החוויה למספר אחד בודד כי אין כזה אבל אנחנו יכולים להרגיש עם מה יותר נוח ולא תמיד זה מתאים למספרי הבנצ'ים (שלרוב גבוהים יותר ב2700K)

[Art Tatum]

בוא נניח לרגע שמבחן דומה נעשה עם משקאות זהים לחלוטין.

התוצאות כנראה יהיו "מפתיעות".

והסיבות לזה אינן קשורות כלל וכלל לטעם המשקאות (הזהים לחלוטין).

באותה מידה יכלת לזרוק קוביה 100 פעמים ולדרג את המספר שיצא הכי הרבה ולטעון שהצד הזה של הקוביה אוהב להביט למעלה.

[michaelr]

[בור ועם הספר]

באותה מידה יכלת לזרוק קוביה 100 פעמים ולדרג את המספר שיצא הכי הרבה ולטעון שהצד הזה של הקוביה אוהב להביט למעלה.

זרוק קובייה ותגיד מה יצא. תמיד יש סיכוי (קלוש) לתוצאה של 80-20 אבל לרוב זה בסביבות ה50-50

זה מה שמפתיע במבחן הזה כי לא אמורים להיות הבדלים מורגשים לעין, ובכל זאת הגיימרים העדיפו מערכת מסויימת. שוב, לא יודע כמה זה מובהק וכמה זה יחזור על עצמו בניסיונות אחרים אבל זו התוצאה.

[Art Tatum]

אני שיחקתי עם סטטיסטיקות מספיק.

קח אתה קוביה וזרוק 100 פעם ותוסיף קו לכל מספר שיוצא.

אני מוכן להמר שהתוצאה לא תהיה קרובה לשוויונית.

[DarkEnergy]

בשביל סטטיסטיקה שניתן להפיק ממנה מידע\לקחים צריך לעשות המון חזרות, שבמבחן הזה לא עשו.

[vic07]

אכן. מדגם של קצת יותר ממאה איש אינו מספיק עבור תוצאות אמינות.

[Art Tatum]

לך תדע, אם תבדוק את הדבר בצורה מקיפה, אולי תגלה שאנשים יעדיפו מערכת B כי A היא האות הראשונה וזה נדמה בתת מודע כהחלטה שטחית ונמהרת.

או שהם יעדיפו את B כי זה בצד ימין.

הנה מחשבה מעניינת.

40 איש הצביעו לאינטל.

73 לAMD.

ו28 אמרו שאין הבדל.

אם תקזזו את אלו שבחרו הפוך (הקטבים) ישארו 33 שבחרו בAMD.

כך שיש 33 שחושבים שיש שוני, מול 28 שחושבים שאין שוני.

על פי זה הנטיה היא 5, שהיא בערך 3 אחוז מסך המשתתפים.

יש שקרים קטנים, יש שקרים גדולים, ויש סטטיסטיקה.

[בור ועם הספר]

הניתוח הסטטיסטי שלך לא ברור מספיק.

מתוך כל הגיימרים ששיחקו:

51.7% העדיפו את הFX

28.3% העדיפו את ה2700K

20% לא מצאו הבדלים

כמה זה מובהק וכמה אפשר לנבא תוצאות עתידיות על סמך המידע הזה - קשה לדעת.

מה בכ"ז אפשר ללמוד מזה? כתבתי בהודעה הפותחת את מה שלמדתי ואחזור על זה כאן:

- משחק הוא חוויה אנושית חושית ומה שאדם מרגיש לאו דווקא מתיישב עם מספרי הבנצ'מרקים

- לא להסתמך על בנצ'מרקים בלבד בבחירת חומרה אלא לראות תמונה רחבה יותר (משחק הוא אפליקציה של ממש)

[Mesatla]