Hei,
Sain idean tähän blogiin metadata-influenceri Ole Olesen-Bagneux’n LinkedIn-kirjoituksesta, jossa hän toteaa:
“It is obvious that the hectic and creative hype around data mesh (2019–2023) is over.”
Olen huomannut saman: Data Meshin hypetys ei enää ole konferenssien ja webinaarien vakioaihe. Kaikki tietävät, mikä sen on korvannut. tietysti AI mutta ei mennä tässä blogissa siihen.
Data Mesh -hype muistuttaa minua kaikkien datahypejen kantaisästä: Big Datasta.
Big Data – kaikki tekivät sitä
Aiemmin kaikki puhuivat Big Datasta ja halusivat hyödyntää sitä analytiikassa ja raportoinnissa. Erityisesti hajautettu tiedostopohjainen teknologia Hadoop oli kaikkien huulilla.
Se kehitettiin alun perin Yhdysvaltojen big tech -yrityksissä, kuten Facebookissa ja Googlessa. Niiden käyttötapauksia olivat valtavat määrät käyttäytymisdataa (klikit, videoiden katselupituus, hakusanojen syöttö, hakuhistoria jns). Pian muutkin toimialat innostuivat ja väitettiin, ettei tietovarastoilla tee enää mitään, Hadoopilla hoidetaan jatkossa data-asiat.
Haaste oli, että perinteisten toimialojen, kuten pankkien ja teollisuuden, tyypilliset käyttötapaukset ovat talous-, myynti-, HR- ja tuotantodatan raportointi ja analysointi. Nämä ovat hyvin erilaisia käyttötapauksia kuin Facebookilla. Perinteiset tietovarastot oli nimenomaan kehitetty tällaisten datojen analysointiin, kun taas Big Data -teknologiat eivät soveltuneet niihin juuri lainkaan.
Todistin itse paljon rahan ja ajan haaskausta, koska ei ymmärretty – tai ei haluttu huomioida – mihin käyttötarkoituksiin teknologiat oli tehty. Ironista kyllä, jopa Facebook käytti relaatiopohjaista kantaa talousdatan hallintaan, koska sekin ymmärsi, ettei Hadoop ja vastaavat sovi kaikkeen.
Data Mesh – toistaako hype samaa kaavaa?
Data Mesh tuli kuvaan hiljattain ja siitä kohistiin datapiireissä uutena ja kiehtovana lähestymistapana. Sen keskiössä olivat mikropalvelut vs. monoliitti (lue: tietovarastointi), hajautettu vs. keskitetty datanhallinta, datatuotteet, domainit ja API-rajapinnat.
Data Mesh kehitettiin digifirmoille, kuten Netflixille ja Zalandolle. Heidän käyttötapauksensa ja datan käsittelyn kypsyystasonsa eroavat perinteisistä toimialoista.
Data Meshin ydinsanoma on, että datatuotteilla pitää olla tuoteomistaja (product owner). Tekkifirmat ovat R&D-vetoisia ja niissä on tuotepäälliköitä joka lähtöön. Data Meshissä datatuotteella on “kuluttaja”, eli sisäinen asiakas – esimerkiksi Netflixin hakukone on datatuote, jonka vetäjä on datatuotteen kuluttaja ja usein itsekin koodari.
Perinteisillä organisaatioilla ei ole tällaista mallia. Niissä IT on jaettu palveluihin eikä tuoteomistajan rooleja ole lainkaan. Liiketoiminnan vetäjästä ei voi tulla tuoteomistajaa yhdessä yössä.
Tuli deja vu: toistetaanko taas samat virheet kuin Big Datan kanssa?
Älä heitä lasta pesuveden mukana
Kaikissa hypeissä on myös hopeareunus. Big Data toi data-asiat ylimmän johdon pöydälle. Ennen raportointi kuulosti ehkä tylsältä back office -hommalta, mutta yhtäkkiä datan hyödyntäminen olikin johtoryhmien agendalla, ja datan kanssa työskentely tuntui ensimmäistä kertaa coolilta! Data Science julistettiin vuosisadan seksikkäimmäksi alaksi, ja kaikki halusivat muuttua “data-driven”-yrityksiksi.
Mielestäni Data Meshin suurin arvo on datatuoteajattelu: datalla on “kuluttaja” ja “asiakas”, eli liiketoiminta, jonka kanssa pitää keskustella ja varmistaa, että tuote vastaa toiveita. Tämä pätee toimialasta riippumatta. Kuten kaikilla tuotteilla, myös datatuotteilla on oma tuotantoprosessinsa laadunvarmistuksineen päivineen.
Toisin sanoen, datan tuominen lähemmäs liiketoimintaa on erittäin kannatettava ajatus. Tuoteajattelu on edelleen mahdollista – ja sopii myös “normaaleille” yrityksille.
Ota siis Data Meshistä parhaat palat ja sovella niitä omaan toimialaasi!
Tiedon mallinnus (Data Modeling) auttaa tässäkin
Datan tuominen lähemmäs liiketoimintaa on helpommin sanottu kuin tehty. Uuden Snowflaken tai Databricksin hankinta ei siihen auta. Nämä eivät tee päätöksiä liiketoiminnan puolesta, siihen tarvitaan ihmistä ja toisenlaisia työkaluja.
Tiedon mallinnuksen avulla:
- voit haastatella liiketoimintaa ja tuottaa ylätason mallin, eli ikään kuin havainnekuvan datatuotteesta
- voit tekoälyn avulla muuntaa tekstit ja dokumentit tietomalleiksi
- ylätason mallit voidaan muuttaa teknisemmiksi malleiksi automaattisesti aina SQL-lausekkeiksi asti
- nämä voidaan yhteensovittaa olemassa olevien skeemojen kanssa (ei tarvitse aloittaa nollasta) automaattisesti
Näin toimimalla ollaan jo lähellä datatuotteita ja liiketoiminta saadaan mukaan “asiakkaan” rooliin.
Toisen merkittävä etu on, että tällä tavalla voidaan tehdä uudelleenkäytettäviä datatuotteita standardoimalla vaatimusmäärittelyä sekä yhdenmukaistamalla datan mallinnusta yli yksikkörajojen.
Yhteenveto
Hypet tulevat ja menevät, mutta kuten todettua, niistä jää aina jotain arvokasta käteen.
Hyvä ohjenuora on huomioida käyttötapaukset, organisaation osaamisen taso sekä kulttuurinen kypsyys ennen arkkitehtuurin ja lähestymistavan valintaa.
Datatuoteajattelu on ehdottomasti kannatettavaa, mutta siihen ei kannata rynnätä suin päin. Lopulta on melko toissijaista, kutsutaanko lopputulosta “datatuotteeksi” ja toteutetaanko puhdasoppista Data Meshiä, tärkeintä on, että ratkaisusta on todellista hyötyä liiketoiminnalle.
Me kaikki tiedämme, mikä hype tällä hetkellä puhuttaa alan konferensseissa: tekoäly. Ja tekoälyn hyödyntäminen edellyttää laadukasta dataa. Kirjoitan aiheesta tarkemmin seuraavassa blogissa, joten pysy kuulolla!
Kehitämme parhaillaan omia palveluitamme vastataksemme tähän tarpeeseen. Panostamme sekä nyt että tulevaisuudessa entistä enemmän konsultointiin ja pitkäaikaisiin toimeksiantoihin.
Olemme konsultoineet ja valmentaneet valtaosan Suomen 30 suurimmasta yrityksestä, joten meiltä saat laajaa näkemystä datan kehittyneestä hyödyntämisestä – näkemyksiä, jotka auttavat organisaatiosi ottamaan seuraavan askeleen.
Julkaisen myös LinkedInissä havaintojani datan ihmeellisestä maailmasta – olet lämpimästi tervetullut verkostooni!
Terveisin,
Johannes Hovi
