Verktyg

Visuella jämförelsetester – Vad är det och vad är det bra för?

Då vi arbetar nästan uteslutande med WordPress består ofta webbplatserna av ett hopkok av färdiga tredjepartslösningar. Det innebär ofta att det är väldigt svårt att veta om någonting blir fel när man introducerar förändringar, oavsett hur små uppdateringarna är. För funktioner går det att göra automatiserade funktionstester  med till exempel Selenium & Enhetstester. Det är dock mycket tidskrävande (dvs dyrt) och fungerar inte för att säkerställa det som ofta är mycket irriterande för våra kunder – de där små sakerna. Det har tidigare varit mycket svårt att vara pricksäker i leveranserna, och byter man person är det mycket svårt att överföra kunskap från en person till en annan. Vidare har kvalitén i arbetet främst varit baserad på känslor och föraningar snarare än solid kunskap, vilket gjort att det ibland gått jättebra och ibland inte alls lika bra.

wraith-run

Visualiserar skillnader

Teorin bakom visuella jämförelsetester är enkel; I miljön som ligger öppen utåt (Produktionsmiljön) så ser saker ut som de skall, men när vi introducerar förändringar – en uppdatering eller en ny funktion – vet vi inte riktigt om det blir regressionsfel på andra ställen, det vill säga om saker som inte ”borde” gå sönder går sönder. Vi tar därför en kopia av produktionsmiljöns databas i en separat miljö, fast med förändringarna vi vill introducera.

Därifrån låter vi verktyget göra sitt jobb. Verktyget går in på testsidan och går igenom sida för sida, samtidigt som den gör samma sak i Produktionsmiljön. När detta är klart presenterar den ett resultat. Detta resultatet är en uträkning där den har gjort en visuell jämförelse av de bägge miljöerna, och lyfter fram skillnaden.

wraith-result

Resultatet visar dels vilken upplösning som den har testat i (vi testar i 5 olika upplösningar), samt presenterar exakt hur mycket sidorna skiljer sig åt. För detta exemplet har vi inte synkat databaserna, vilket gör att exemplet visar att skillnaden endast är att det är olika poster i ”Senaste posterna” kolumnen till höger.

Vilka problem löser detta?

Problemen som löses är många. För att nämna de främsta;

  • Visar om det visuella intrycket av någonting förändras i olika upplösningar
  • Visar om permalänkar och sidstrukturer fortfarande fungerar
  • Räknar ut och lyfter fram avvikelser snarare än att lita på att personen har tid att lägga timmar på att undersöka sidan i detalj
  • Ger större trygghet då fler sidor kan gås igenom i en mycket hög hastighet.

Nuvarande verktyg är byggt med utgångspunkt i Wraith, men för att nå fram till vår målbild där vi har automatiserat  huvuddelen av verktyget och där verktyget sitter snyggt ihop med samtliga av våra processer inser vi att vi måste göra en total omarbetning. Men; tills dess har vi detta grymma verktyg som hjälper oss och våra kunder att känna trygghet när installationer och uppdateringar utförs.