בדיקה מעמיקה מגלה שלא רק סמסונג, אלא כמעט כל היצרניות השונות גורמות לתוצאות גבוהות באופן "לא טבעי" כאשר הן מזהות שתוכנות בדיקה שונות פועלות
כשיצא מכשיר הגלקסי S4 לשוק, נתגלה כי סמסונג "מרמה" במבחני ביצועים ע"י העלאה תדר העבודה של המעבד או המעבד הגרפי אל המקסימום בצרוה מיידית (לעומת בצורה הדרגתית בשימוש רגיל), העלאת התדרים מעבר למקסימום הנורמלי, הפעלת כל הליבות באותו זמן או באמצעים נוספים אשר לא יכולים לקרות בשימוש רגיל של המכשיר. כלומר, המכשיר פעל במצב "טורבו", כזה שלעולם לא תיתקלו בו בשימוש בכל אפליקציה אחרת מלבד אלו שסמסונג סימנה בתור אפליקציות בדיקה.
המניפולציה מתבצעת באמצעות התאמות שנעשו על הרום של היצרנית, הטאצ'וויז. בדיקות על מכשיר הנוט 3 ששוחרר לאחרונה מגלה תמונה דומה, אם לא יותר גרועה. סמסונג עדיין מנפחת באופן מלאכותי את תוצאות מבחני הביצועים ובשיעור לא מועט. אתר Arstechnica הצליח לנטרל את השפעת ניפוח התוצאות ע"י קימפול מחדש של תכנת הבדיקה Geekbench בשם חבילה אחר. התוצאות מולכם:
| ניתן לראות שבמצב הרגיל (משמאל) כל ארבעת הליבות פועלות בתדר המקסימלי. במצב המוסווה (מימין), רק ליבה אחת דולקת ובתדר המינימלי |
כעת מסתבר שלא רק סמסונג אשמה. אתר Anandtech פירסם בדיקה מקיפה ומסתבר שרוב היצרניות משתמשות באמצעים כאלו או אחרים כדי להקפיץ את התוצאות של מבחני הביצועים. בין החברות האשמות ניתן למצוא את סמסונג כאמור, אסוס ו-LG. מכשיר ה-Xperia Z של סוני לא נבדק (כנראה בגלל זמינות נמוכה בארה"ב ותאריך שחרור מאוחר מאוד שם). חשוב לציין שמכשירי הנקסוס של גוגל, הנקסוס 4 שיוצר ע"י LG והנקסוס 7 שיוצר ע"י אסוס, לא שותפים למחדל הנ"ל מהסיבה הפשוטה שהם מריצים גרסה נקייה של אנדרואיד ולא גרסה מותאמת של היצרניות. ציון לשבח מקבל גם ה-Shield של NVIDIA.
| כנראה פחות חזקים ממה שחשבתם |
סמסונג בזמנו הגיבה להאשמות עם ניסוח מיתתמם, כאשר אמרה שכאשר אפליקציות כבדות כמו אפליקציות בדיקה רצות על המכשיר, היא רוצה לתת את הפוקוס לביצועים לעומת חיי הסוללה, "ולשחרר" את מיטב הביצועים האפשריים. טיעון זה היה יכול להתקבל בהחלט אלמלא היה מדובר בעובדה שהמכשיר ייתן את הביצועים הנ"ל רק כאשר ירוצו אפליקציות בדיקה ולא בשום מצב אחר. תחשבו שהייתם קונים רכב שמסוגל להגיע למהירות המירבית שלו רק בכביש מסויים. זוהי רמאות לשמה.
| טבלה שמתארת אילו מכשירים מנפחים תוצאות |
זה (לא) רק באשמתנו
באופן אישי, בתור צרכן אני מרגיש מרומה לחלוטין. אני לא מתיימר לחשוב שמבחני ביצועים נותנים אינדיקציה לגבי ביצועי המכשיר בעולם האמיתי, הרי 90% מהזמן רובנו לא מנצלים את מקסימום היכולת מהמכשיר. אבל כן הסתמכתי על מבחני הביצועים בתור ממד אחיד, פרמטר קבוע אשר ייתן חיווי אובייקטיבי לשימוש מסוג מסויים ויחווה תוצאה חד משמעית איזו מכשיר מבצע אותה בצורה הטובה ביותר. ההנחה הזאת יכולה ללכת לפח אם המכשיר פועל במצב מיוחד בזמן הבדיקה הזו, כי ההנחה היא ששימוש רגיל במכשיר והרצת בדיקת ביצועים משתמשים באותו סט יכולות של המכשיר. אם המצב הוא לא כזה (ומסתבר שהוא אכן לא כזה) אז תוצאות הבדיקה מחוות לי תוצאה לא רלוונטית בעליל.
מצד שני, זה היה כמעט צפוי. ההתעקשות שלנו בתור בני אדם למדוד שוני בין מוצרים ע"י ערך מספרי כבר הוכיח את עצמו כמזיק בהרבה מקרים בעבר. נתונים מגה פיקסל של חיישן מצלמה, תדר מהירות השעון של מעבדים, מספר ליבות במכשיר מסויים, פלטפורמות עיבוד של 32 או 64 ביט ועוד. כולם מייצגים הנחת יסוד שגויה שמספר יותר גבוה שוה ערך יותר גבוה לצרכן וזה לרוב לא נכון. כמעט תמיד מספרים גבוהים יותר מייצגים פוטנציאל לערך יותר גבוה ללקוח אבל ברוב המקרים מדובר באמצעי שיווקי נטו ולא בערך מוסף.
