Datans Dilemma: Hur dålig data kan döda ett projekt

En intervju med Erik Lindblom, Senior Dataarkitekt, HiQ

Data är det nya oljan, som man säger. Men många organisationer möter stora utmaningar i att utnyttja dess värde. Med lång erfarenhet inom olika branscher delar Erik Lindblom, Senior Dataarkitekt på HiQ, vanliga fallgropar i dataprojekt och hur företag kan undvika dem.


Vilken skulle du säga är den största utmaningen
med att hantera data i olika branscher?

– Ett av de största problemen är kvalitetsrelaterat. Min erfarenhet är att dålig datakvalitet är den främsta orsaken till att dataprojekt misslyckas. Jag har sett det hända om och om igen på olika företag och i flera sektorer. Många projekt misslyckas eftersom datan helt enkelt inte är tillräckligt korrekt eller konsekvent för att leverera meningsfulla insikter. Detta är särskilt sant när organisationer ser datakvalitet som något man kan fixa senare istället för att ta itu med det från början.


Hur definierar du datakvalitet, och varför är det så
avgörande för framgång?

– Datakvalitet mäter hur väl data uppfyller sitt avsedda syfte, ofta bedömt genom noggrannhet, fullständighet, aktualitet och konsekvens. Till exempel, även om du har all nödvändig data, förlorar den sitt värde om den inte är aktuell. Saknade nyckeldetaljer, som kunders e-postadresser, kan också hindra projektets resultat. Och vi får inte glömma konsekvens – när olika system inte är i linje med varandra eller när det finns dubbletter skapar det problem.

Datakvalitet är inte bara en IT-fråga. Det är en angelägenhet för hela verksamheten och kräver samarbete mellan tekniska team och affärsenheter. Utan detta reflekterar data ofta inte de verkliga behoven i verksamheten, vilket leder till förseningar och misslyckade projekt.


Kan du ge ett exempel på ett projekt där dålig
datakvalitet ledde till misslyckande?

– Ett särskilt exempel är när jag arbetade med ett prediktivt underhållsprojekt som använde maskininlärning inom tung fordonsindustri. Idén var fantastisk – om man kunde förutse när en del var på väg att gå sönder, kunde man förhindra stillestånd för ett fordon som var ute i fält, vilket är avgörande i sektorer som skogsbruk där stillestånd är dyrt. Men trots att det fanns enorma mängder data, var kvaliteten inte tillräcklig för att göra exakta förutsägelser. Efter flera försök var vi tvungna att lägga ner projektet på grund av otillräcklig datakvalitet.


Vilka steg bör företag ta för att förhindra att
datakvalitet underminerar projekt?

– Först och främst måste man inse att datakvalitet måste prioriteras från början. Identifiera och fokusera på kritiska datapunkter för att bygga en solid grund. Det är också viktigt att kontinuerligt utvärdera datakvaliteten, särskilt med nya projekt eller system.

Dokumentation är också avgörande. Genom att registrera både problem och validerad högkvalitativ data kan framtida projekt dra nytta av redan granskad data istället för att börja från noll.

Först och främst måste man inse att datakvalitet måste prioriteras från början. Identifiera och fokusera på kritiska datapunkter för att bygga en solid grund. Det är också viktigt att kontinuerligt utvärdera datakvaliteten, särskilt med nya projekt eller system.

Erik Lindblom, Senior dataarkitekt, HiQ


Hur kan företag säkerställa datakvalitet när
de hanterar stora mängder data mellan flera system?

– Ett styrningsramverk är nyckeln. Hos en kund implementerade vi processer för regelbundna datakvalitetsbedömningar, inklusive automatiserade nyckeltal för att övervaka noggrannhet, unika värden och aktualitet. Vi kategoriserar också data för att prioritera vad som är kritiskt för verksamheten. Transparens är viktigt; en datakatalog kan visa datavetare och affärsanvändare datakvalitetens status, exempelvis om en datapunkt bara är 80 % korrekt, vilket hjälper dem att avgöra om den är lämplig för specifika användningsområden.


Vad betyder säkerhet för frågan om datakvalitet?

– Säkerhet och datakvalitet går hand i hand. Du kan ha den bästa datan i världen, men den måste skyddas. Säkra data på alla nivåer och säkerställ att känslig information är krypterad och endast åtkomlig för auktoriserade användare. Detta förhindrar obehörig åtkomst och bevarar datans integritet.

Många moderna datasystem, som de som använder datalakes, är ostrukturerade. Då är det särskilt viktigt att säkerställa att sekretessregler följs för att undvika regulatoriska risker och problem med dataintegritet.


Om vi blickar framåt, vilka trender ser du kommer
forma framtiden för dataprojekt?

– En stor trend är övergången till realtidsdata. Många företag går bort från batchbearbetning och vill ha insikter för omedelbart beslutsfattande, men realtidsdata introducerar komplexitet både för kvalitet och säkerhet. Att fatta beslut baserat på felaktig realtidsdata kan få förödande konsekvenser.

En annan trend är att använda AI och maskininlärning för att bedöma datakvalitet. Framväxande verktyg kan automatiskt kontrollera dataseten för noggrannhet och flagga problem innan de eskalerar. Även om detta område fortfarande utvecklas, visar det stor potential.

Finns det något sista du vill tillägga om datakvalitet?

– Datakvalitet behöver vara inbyggd i organisationens kultur. Det handlar inte bara om verktyg eller processer; alla, från datavetare till företagsledare, har en roll i att säkerställa högkvalitativ data som stöder organisationens mål. På HiQ hjälper vi företag att hantera dessa utmaningar så att de kan frigöra datans fulla potential.

Vill du ta del av fler insikter? Besök vår knowledge hub eller kontakta oss!