Kjære Colin:
Les notatet ditt om: statusen til Macworld benchmarks. Ærlig talt, jeg har vært litt motvillig til å svare fordi, når den gamle vitsen begynner, har jeg noen gode nyheter og noen dårlige nyheter.
Først de dårlige nyhetene. Som du vet, har Macworld brukt MacBench som vårt grunnleggende Mac-testverktøy, først og fremst fordi det raskt gir nøyaktige, repeterbare resultater. At våre lesere også kan få en kopi av MacBench og teste hastigheten til sine egne Mac-er er en ekstra fordel.
MacBench var stor i en verden der flere leverandører alle solgte varianter av én Mac-plattform. Dessverre lever vi ikke lenger i den verdenen.
MacBench gikk i stykkerSent i fjor brøt ankomsten av PowerPC G4 MacBench – verktøyets interne algoritmer var ikke designet for å ta Velocity Engine tatt i betraktning, så testverdier som ble returnert så ut akkurat som G3-ene (uten Velocity Engine er G4 i utgangspunktet en G3). Så vi studerte hva som skulle til for å få MacBench til et punkt hvor resultatene ville være relevante for alle Mac-er. Her er hva vi fant:
En fullstendig omskrivning av CPU-testen og alle CPU-avhengige tester vil være nødvendig for å støtte G4. Som en del av oppdateringen må vi bestemme hvor følsom den nye testen skal være for Velocity Engine. Tross alt er ikke alle Mac-applikasjoner for øyeblikket kunnskapsrike om Velocity Engine – og noen nøkkelapplikasjoner vil aldri kunne dra nytte av G4-underprosessoren.
Multiprosessering er også en utfordring for MacBench – en enkeltprosessortest. Dette har ikke vært et problem fordi multiprosesserings-Macer aldri har vært en viktig faktor på plattformen. Det er klart nå at det vil endre seg i år. Utfordringen er derfor å lage en CPU-test som kan måle diskrete G3- og G4-hastigheter og flere G4-hastigheter – alt på ikke ett, men to operativsystemer, Mac OS 9.X og Mac OS X.
På toppen av alt dette, hvis vi går til bryet med å gjøre en ny omskrivning av MacBench, kan vi få det til levere testresultater som gir mening i forhold til ikke bare andre MacBench-numre, men også til en brukers erfaring?
Etter mange samtaler med Apple, og mye forskning og debatt i laboratoriet, var svaret vårt et tydelig nei.
Opplev forskjellenSå kom det til oss. Speedmark, først utviklet for fire år siden, hadde vært Macworlds pakke med applikasjonsbaserte tester som ga et enkelt tall som representerte ytelsen til et system. Fordi det var basert på applikasjoner, reflekterte resultatene mer nøyaktig en brukers opplevelse med en spesiell Mac-modell – den nye Speedmark 2.0 tester ting alle brukere bryr seg om, inkludert nettverk, Finder og spillhastigheter. Ja, forskjellen mellom en 350MHz iMac og en 400MHz iMac vil ikke se på langt nær så dramatisk ut med Speedmark som det gjør med MacBench, men i den virkelige verden ville sluttbrukere heller ikke se den dramatiske forskjellen.
Og fordi den er basert på vanlige oppgaver, er den uavhengig av prosessor og operativsystem. I den grad applikasjonene og oppgavene den inkluderer fungerer med Velocity Engine, Mac OS X eller flere G4-er, Speedmark vil levere et nøyaktig tall – både i forhold til andre Speedmark-numre og til opplevelsen av bruker.
Testing i den virkelige verdenMed dette i tankene har vi bestemt oss for å droppe videreutvikling av MacBench. I stedet har vi utviklet en ny versjon av Speedmark med en oppdatert pakke med applikasjoner og OS-oppgaver som kan nøyaktig profilere ytelsen til en hvilken som helst Macintosh (supplert med det aktuelle individuelle programmet tester). Følgelig vil vi standardisere all systemtesting på Speedmark 2.0 fra og med august 2000-utgaven.
Med Speedmark 2.0 går Macworld inn i en ny æra av virkelige benchmarks, der resultatene i utskrift gjenspeiler ekte brukeropplevelser.
Tross alt, hvor viktig er prosessorens klokkefrekvens for å måle systemytelse? Det er mange grunner til at en PowerPC klokket med en lavere hastighet enn en Intel-brikke kjører raskere: OS-arkitektur, logikkkortdesign, I/O-hastighet. En rask harddisk vil påvirke den opplevde hastigheten til de fleste datamaskiner mye mer enn en 50MHz delta i klokkefrekvens. Nå har vi en måte å faktorisere alle disse problemene i et enkelt tall. Og det vil være den mest nyttige målestokken for våre lesere.
Det eneste som gjenstår er å finne ut hvordan vi skal forklare dette til våre lesere. En annonsekampanje? Ekspertuttalelser? En «Prøv Speedmark»-paviljong på Macworld Expo? Jeg antar at jeg alltid bare kunne publisere dette notatet i bladet.
Men det ville vært for enkelt, ikke sant?
Benchmark Andys kolonne. Send dine kommentarer til [email protected].august 2000 side: 27