Was bedeuten Benchmark-Zahlen im Jahr 2017 überhaupt?

Update, März 2017: Dieser Beitrag wurde mit Informationen zu den neuesten Handys und Benchmark-Techniken aktualisiert.

Wenn Samsung uns ein neues Handy vorstellt, werden in Bezug auf die Hardware unweigerlich Benchmarks angesprochen. Das Galaxy S8, Samsungs Vorzeigetelefon für 2017, ist nicht anders. Und wie erwartet haben gerade diese Zahlen dazu geführt, dass viele Leute darüber gesprochen haben.

Die Zahlen sind in, aber was bedeuten sie?

Einige Konversationen über Benchmarks sind nur ein Geschwätz. "Oh, cool! Das Snapdragon berechnet das" Zeug "in einer Benchmark-Anwendung und über das Exynos" macht Spaß. Es ist ein interessantes Gespräch, in dem darüber gesprochen wird, wie ein neues Telefon unsere Erwartungen erfüllen oder übertreffen kann, da es modernste Hardware verwendet, um coole Dinge zu tun. Deshalb sind die meisten von uns hier, um über Dinge zu sprechen, die auf Android laufen, und wie wir sie verwenden können, um unser Leben zu bereichern.

Aber einige Leute nehmen die Benchmark-Zahlen ernst und betrachten sie als wichtigen Teil einer Kaufentscheidung. Wir alle sollten dies fördern, da es immer toll ist, wenn sich die Leute für etwas begeistern, aber wir sollten auch darüber sprechen, was Benchmark-Zahlen im großen Schema der Dinge wirklich bedeuten. Eine Möglichkeit, die Dinge ins rechte Licht zu rücken, besteht darin, die Benchmarks zweier neuer Prozessoren, die Android-Hersteller kaufen werden, mit denen der neuesten von Apple zu vergleichen.

Für alle, die sich überlegen, welche CPU für das Galaxy S8 besser ist. pic.twitter.com/28TTXdIDhW

- Jerry Hildenbrand (@gbhil), 17. März 2017

Dies bedeutet nicht, dass ein iPhone mit dem A10 automatisch ein besseres Erlebnis ist als ein Galaxy S8. Es gibt so viel mehr, das entscheidet, was besser ist, und der Großteil davon hängt von den Vorlieben der Benutzer ab. du magst was du magst und ich mag was ich mag. Zahlen in einem Tweet werden das nicht ändern und die Zahlen bedeuten nicht, was Sie denken, dass sie bedeuten.

Wie diese Zahlen entstanden sind

Benchmarks auf Mobiltelefonen sind keine wirklichen Benchmarks für Hardware, zumindest nicht so, wie wir glauben. Sie haben keinen Zugriff auf die Hardware selbst, da sie die Anwendungsschicht des Betriebssystems verwenden. Sie haben eine Wäscheliste mit Dingen, die das Telefon über die vom Betriebssystem bereitgestellten APIs erledigt, und berechnen dann, wie gut es sie erledigt hat. Es gibt eine Art Zwischenschicht, die durchlaufen werden muss, um zu den "Gehirnen" hinter dem Betriebssystem zu gelangen, das der Teil ist, der die Hardware direkt steuert. Eine Benchmark-App vergleicht also die Hardware mit einer Software.

Möglicherweise haben iOS-Leute über Metal oder Android-Leute über ein NDK gesprochen. Auf diese Weise können Anwendungen über diese Zwischenschicht mit der Hardware kommunizieren, ohne den gesamten Softwarestapel durchlaufen zu müssen. Beachten Sie, dass die Benchmark-Zahlen für das Samsung Exynos 8895 und das Qualcomm Snapdragon 835 sehr nahe beieinander liegen. Beide verwenden dieselbe Software, und die Leistungsunterschiede zwischen ihnen werden dadurch minimiert.

Wenn Sie ein Telefon kaufen, weil Sie Benchmarks ausführen möchten, sollten Sie wahrscheinlich ein iPhone kaufen.

Apples "Zwischenschicht" ist besser. Werfen wir das da raus, wo wir es alle sehen können. Apple baut einen eigenen Prozessor mit dem Schwerpunkt, bestimmte Dinge wirklich gut zu machen, und erstellt dann eine Software, die diese Vorteile nutzt. Google muss eine Software entwickeln, die an alle Anforderungen angepasst werden kann. Es hat einen tollen Job gemacht und die Software, die ein Android-Handy antreibt, ist eine wunderbare Sache, die unglaublich kompliziert ist. So etwas wie eine Benchmarking-App, die die Apple-Schnittstelle zur Hardware verwendet, hat automatisch einen Vorteil gegenüber Android, unabhängig davon, wer sie erstellt hat, da die Schnittstelle selbst mit iOS rationalisierter und "schneller" ist. Das liegt daran, dass die Hardware und die Software so konzipiert wurden, dass sie zusammenarbeiten und sonst nichts.

Sie messen das Telefon als Ganzes, nicht nur den Prozessor. Wenn es darum geht, auf jedem CPU-Kern die richtigen Zahlen zu finden, schlägt sich das iPhone 7 Plus deutlich besser.

Schauen wir uns diese Kerne im A10-Prozessor von Apple an. Das Ding ist zweifellos der beste Consumer-ARM-Chip, der jemals entwickelt wurde, wenn es um die Rohleistung pro Kern geht. Das liegt daran, dass die Hardware genau dafür ausgelegt ist und die Software dafür ausgelegt ist. Wir haben bereits zuvor über die ARM-Architektur gesprochen, und der A10 ist ein großartiges Beispiel dafür, wie Sie ARM skalieren können, um so gut wie alles zu tun, was Sie wollen. Genau wie der Qualcomm 835 und der Exynos 8895 wurden sie nur nach unterschiedlichen Kriterien entwickelt.

Der Unterschied bei den Benchmark-Zahlen ist kein Zufall

Wir vergleichen sie, weil sie sich alle in einem Telefon befinden. Apple möchte jedoch unbedingt einen ARM-Prozessor bauen, mit dem ein iPhone, ein iPad und ein MacBook betrieben werden können. Qualcomm und Samsung bauen Prozessoren, um sie für kleine Mobilgeräte an andere Unternehmen zu verkaufen. Qualcomm und Samsung könnten einen Prozessor bauen, der sich in den gleichen Bereichen wie der A10 auszeichnet und hervorragend für einen Windows-Laptop geeignet ist. Qualcomm ist tatsächlich daran interessiert und der Snapdragon 835 ist der erste Schritt des Unternehmens in diese Richtung.

In ein paar Jahren wird es einen Snapdragon-Chip geben, der hart genug ist, um einen ausgewachsenen Laptop zu betreiben, und der dennoch effizient genug ist, um in einem Mobilgerät mit einem winzigen Akku verwendet zu werden. Wir werden auch feststellen, dass mehr Chips, die nicht so leistungsstark sind, noch effizienter im Umgang mit Batterien sind und viel billiger sind. Dies sind die CPUs, die Unternehmen, die Telefone herstellen, kaufen werden.

Wenn Sie ein Werkzeug nehmen, das nur für bestimmte Aufgaben in einer bestimmten Reihenfolge entwickelt wurde und sehen, wie "schnell" sie ausgeführt werden können, gewinnt der A10 immer. Es sollte immer gewinnen und wir sollten wollen, dass es immer gewinnt. Eine für ein 13-Zoll-MacBook entwickelte CPU muss Single-Core-Berechnungen schneller ausführen als ein Exynos 8895. Der A10 ist nicht diese CPU, aber es ist ein Schritt in diese Richtung. Und Apple ist ein Technologieunternehmen, das wirklich coole Dinge tun sollte, um die Technologie voranzutreiben, so wie wir es von Samsung, Google oder Microsoft erwarten.

Qualcomm oder Samsung könnten einen ARM-Prozessor bauen, der so leistungsstark ist wie der A10, aber sie haben keinen Grund, dies zu tun.

Der kleine Ausschnitt eines Benchmark-Scoreboards, der keinen Zusammenhang aufweist, den Sie oben sehen, zeigt das Wichtigste: Diese Zahlen haben wenig Einfluss darauf, wie großartig so etwas wie ein Telefon ist. Die Benutzererfahrung hat wenig mit der Hardware zu tun, da die Hardware bereits seit einiger Zeit gut genug ist. Die Innereien eines Galaxy S5 oder Nexus 7 oder Note 4 sind mehr als genug, um die Dinge zu tun, die wir von einem Telefon erwarten, solange die Software auf dem neuesten Stand ist. Sie müssen nicht mein Wort dazu nehmen, sondern einfach zu XDA stolpern, wo Leute, die sich etwas Neues nicht leisten können oder wollen, für jedes Produkt eine eigene Software entwickelt haben. Wir bitten ein Telefon nicht, etwas zu tun, das kompliziert genug ist, um mehr Rechenleistung zu benötigen, als diese Geräte liefern können.

Ich bin davon überzeugt, dass sogar mobile VR in Ordnung wäre, wenn Unternehmen Vulkan auf ihren älteren Prozessoren richtig unterstützen würden. Wir werden es nie erfahren, weil die beteiligten Unternehmen existieren, um neue Dinge zu machen und sie an uns zu verkaufen, und dort konzentrieren sie ihre Zeit und ihr Geld. Neue Chips sollen nicht nur neu sein. Sie alle bieten geringfügige Zuwächse bei Leistung, Sicherheit und Effizienz, die sich mit der Zeit summieren. Derzeit konzentriert sich Moores Gesetz nicht auf die Vervierfachung der Leistung in jeder Generation, sondern auf die Verwendung besserer Herstellungstechniken, um energieeffizientere Chips bereitzustellen, und Leistungssteigerungen sind nur eine natürliche Entwicklung.

Was wir wirklich von diesen Benchmarks sehen

Was wir aus diesen Benchmark-Ergebnissen herausholen können, ist, dass die Art und Weise, wie ein CPU-Kern Dinge berechnet und mit GPU-Kernen zusammenarbeitet, nicht kaputt ist. Zahlen können mit neuerer Hardware, die energieeffizienter gestaltet wurde, etwas schneller verarbeitet werden. Die Art und Weise, wie ein CPU-Kern eine Zahl knacken kann, ist nicht länger der Engpass. Daher werden diese kleinen Unterschiede und Erhöhungen nicht bemerkt, wenn Sie keine Benchmark-Anwendung ausführen. Neuere Hardware ist möglicherweise besser als im Vorjahr, und ein Prozessor ist möglicherweise besser als ein anderer. Die Leistungssteigerungen sind real, aber sie führen nicht zu einem merklichen Unterschied, wenn Sie sie verwenden, und werden es nicht tun, wenn Sie nicht einige Generationen überspringen. Der Wechsel von einem Qualcomm S4 Pro zu einem Qualcomm 835 bringt eine Leistungssteigerung mit sich, die Sie sofort bemerken werden. Ein Wechsel von einem Qualcomm 821 zu einem Qualcomm 835 ist nicht möglich.

Das Galaxy S8 wird ein Benutzererlebnis bieten, das besser ist als das letztjährige Galaxy S7. Viele von uns hier werden es für eine bessere Erfahrung halten als Apple mit dem iPhone 7, während viele das Gegenteil empfinden werden. Nichts davon ist auf einen Benchmark-Score zurückzuführen.