בדיקה מעמיקה מגלה שלא רק סמסונג, אלא כמעט כל היצרניות השונות גורמות לתוצאות גבוהות באופן "לא טבעי" כאשר הן מזהות שתוכנות בדיקה שונות פועלות
כשיצא מכשיר הגלקסי S4 לשוק, נתגלה כי סמסונג "מרמה" במבחני ביצועים ע"י העלאה תדר העבודה של המעבד או המעבד הגרפי אל המקסימום בצרוה מיידית (לעומת בצורה הדרגתית בשימוש רגיל), העלאת התדרים מעבר למקסימום הנורמלי, הפעלת כל הליבות באותו זמן או באמצעים נוספים אשר לא יכולים לקרות בשימוש רגיל של המכשיר. כלומר, המכשיר פעל במצב "טורבו", כזה שלעולם לא תיתקלו בו בשימוש בכל אפליקציה אחרת מלבד אלו שסמסונג סימנה בתור אפליקציות בדיקה.
המניפולציה מתבצעת באמצעות התאמות שנעשו על הרום של היצרנית, הטאצ'וויז. בדיקות על מכשיר הנוט 3 ששוחרר לאחרונה מגלה תמונה דומה, אם לא יותר גרועה. סמסונג עדיין מנפחת באופן מלאכותי את תוצאות מבחני הביצועים ובשיעור לא מועט. אתר Arstechnica הצליח לנטרל את השפעת ניפוח התוצאות ע"י קימפול מחדש של תכנת הבדיקה Geekbench בשם חבילה אחר. התוצאות מולכם:
| ניתן לראות שבמצב הרגיל (משמאל) כל ארבעת הליבות פועלות בתדר המקסימלי. במצב המוסווה (מימין), רק ליבה אחת דולקת ובתדר המינימלי |
כעת מסתבר שלא רק סמסונג אשמה. אתר Anandtech פירסם בדיקה מקיפה ומסתבר שרוב היצרניות משתמשות באמצעים כאלו או אחרים כדי להקפיץ את התוצאות של מבחני הביצועים. בין החברות האשמות ניתן למצוא את סמסונג כאמור, אסוס ו-LG. מכשיר ה-Xperia Z של סוני לא נבדק (כנראה בגלל זמינות נמוכה בארה"ב ותאריך שחרור מאוחר מאוד שם). חשוב לציין שמכשירי הנקסוס של גוגל, הנקסוס 4 שיוצר ע"י LG והנקסוס 7 שיוצר ע"י אסוס, לא שותפים למחדל הנ"ל מהסיבה הפשוטה שהם מריצים גרסה נקייה של אנדרואיד ולא גרסה מותאמת של היצרניות. ציון לשבח מקבל גם ה-Shield של NVIDIA.
| כנראה פחות חזקים ממה שחשבתם |
סמסונג בזמנו הגיבה להאשמות עם ניסוח מיתתמם, כאשר אמרה שכאשר אפליקציות כבדות כמו אפליקציות בדיקה רצות על המכשיר, היא רוצה לתת את הפוקוס לביצועים לעומת חיי הסוללה, "ולשחרר" את מיטב הביצועים האפשריים. טיעון זה היה יכול להתקבל בהחלט אלמלא היה מדובר בעובדה שהמכשיר ייתן את הביצועים הנ"ל רק כאשר ירוצו אפליקציות בדיקה ולא בשום מצב אחר. תחשבו שהייתם קונים רכב שמסוגל להגיע למהירות המירבית שלו רק בכביש מסויים. זוהי רמאות לשמה.
| טבלה שמתארת אילו מכשירים מנפחים תוצאות |
זה (לא) רק באשמתנו
באופן אישי, בתור צרכן אני מרגיש מרומה לחלוטין. אני לא מתיימר לחשוב שמבחני ביצועים נותנים אינדיקציה לגבי ביצועי המכשיר בעולם האמיתי, הרי 90% מהזמן רובנו לא מנצלים את מקסימום היכולת מהמכשיר. אבל כן הסתמכתי על מבחני הביצועים בתור ממד אחיד, פרמטר קבוע אשר ייתן חיווי אובייקטיבי לשימוש מסוג מסויים ויחווה תוצאה חד משמעית איזו מכשיר מבצע אותה בצורה הטובה ביותר. ההנחה הזאת יכולה ללכת לפח אם המכשיר פועל במצב מיוחד בזמן הבדיקה הזו, כי ההנחה היא ששימוש רגיל במכשיר והרצת בדיקת ביצועים משתמשים באותו סט יכולות של המכשיר. אם המצב הוא לא כזה (ומסתבר שהוא אכן לא כזה) אז תוצאות הבדיקה מחוות לי תוצאה לא רלוונטית בעליל.
מצד שני, זה היה כמעט צפוי. ההתעקשות שלנו בתור בני אדם למדוד שוני בין מוצרים ע"י ערך מספרי כבר הוכיח את עצמו כמזיק בהרבה מקרים בעבר. נתונים מגה פיקסל של חיישן מצלמה, תדר מהירות השעון של מעבדים, מספר ליבות במכשיר מסויים, פלטפורמות עיבוד של 32 או 64 ביט ועוד. כולם מייצגים הנחת יסוד שגויה שמספר יותר גבוה שוה ערך יותר גבוה לצרכן וזה לרוב לא נכון. כמעט תמיד מספרים גבוהים יותר מייצגים פוטנציאל לערך יותר גבוה ללקוח אבל ברוב המקרים מדובר באמצעי שיווקי נטו ולא בערך מוסף.
אז מה חדש?
זה נכון לכל שוק המיחשוב
אין כאן שום חדש. מי ששולט בשוק מנסה לשלוט גם בתודעה ובמיתוג ואחת הדרכים היא לשלוט או להטות את תוכנות הבדיקה. אין חדש תחת השמש.
ל-2 – תוריד את כובע נייר-הכסף מהראש
כולם יודעים בתוך הפורום ומחוצה לו על היותך פאנבוי נאלך של AMD, עד לרמה כזאת של עלבון ברמה האישית כאשר מישהו חלילה מאז לפגוע בכבודם של מעבדי ה-FX הנחותים. במבחנים רשמיים ולא רשמיים בשלל משחקים המעבדים הבינוניים שאתה כה מעריץ נמצאים באמצע הטבלא לכל היותר.
סתכל על עצמך במראה, הערצה טכנולוגית ואהדה לחברה שאכפת לה רק מהכסף שלך כשאתה הופך לקטגור שלה, פשוט מגעיל ובזיוני. שלא לאמר ילדותי וחסר השכלתי.
ניתוח פשטני
בתור אחד שבודק רומים שונים, בשביל להשיג תוצאות עקביות והשוואתיות יש צורך לנעול את תצורת וסת המעבד (SCHEDULER).
אם לפני הרצת המבחן, אפלקציה "קלה" היתה בשימוש, אז יקח זמן לוסת המעבד להדליק את כל הליבות בתדר מירבי. אך אם לפני המבחן כל הליבות כבר היו דלוקות, אז תוצאות המבחן יהיו גבוהות יותר בגלל שלא היה צורך לחכות להדלקת כל הליבות.
anandtech
עדיף שישתקו ולהרבה שנים, מלכי המניפולציות
השורה האחרונה נכונה ממש
כמו טלפונים מרובעי ליבות ב-80 דולר, עם שבב MSM8225Q. מה שלא טורחים לציין, שמגובר בליבות Cortex A5, שכל כפול ליבה נומאלי אפילו חד ליבה חזק עוקף בסיבוב.
ל-3
אבל הוא צודק.
גם אינטל וגם AMD כשמפתחים מעבדים, חלק מאמצעי הפיתוח שלהם נוגעים והתאמות ואופטימיזציות לבנצ'מרקים שונים. לכן גם הבנצ'מרקים צריכים להתפתח.
איך שאני רואה את זה המכשירים עובדים בדיוק כמו שהם צריכים
הרי תחשבו על זה, כל הקטע של כיבוי ליבות נועד כדי לחסוך סוללה כשהמכשיר לא מתאמץ…
ומכיוון שבנצ'מארקים בכוונה מעמיסים מאוד על המערכת (הרי הם דוחפים אותה לקצה גבול היכולת) זה ברור שהמכשיר יפעיל את כל עתודות הכח שיש לו.
מה ציפיתם? שהמכשיר יריץ בנצ'מרק על ליבה אחת בתדר מינימלי? זה לא משקף את המציאות בכלל.