Hei,
Kerron tässä blogissa onnistuneesta tietovarastohankkeesta joka kuvaa mielestäni viimeisintä kehitysastetta laajan tietoalustaratkaisun rakentamiseksi mahdollisimman liiketoimintalähtöisesti.
Case-esimerkkinä on tässä Helsingin ja Uudenmaan sairaanhoitopiiri eli HUS.
Kuten tiedetään, HUS on erittäin laaja ympäristö ja tietoa on runsaasti eri IT-järjestelmissä. Lisäksi tulossa on uusi iso järjestelmä, Apotti.
Nyt siis on tuotava dataa nykyjärjestelmistä ja jatkossa jatkaa nykytiedon täydentämistä uudesta järjestelmästä.
Kerron tässä HUS:in soveltamasta lähestymistavasta tarkemmin, se on nimittäin mielestäni todella hyvä.
Suurin etu tässä mallissa on toteutuksen nopeus ja sitä kautta kustannustehokkuus. HUS on säästänyt valtavasti aikaa, kun prosessit on automatisoitu hyvin pitkälle ja väärinkäsityksiltä on säästytty.
Toinen etu on liiketoimintalähtöisyys, eli malli palvelee tiedon kuluttajia äärimmäisen hyvin.
Tietovarastojen rakentamisen hitaus, kankeus ja liiallinen riippuvuus toimittajista ovat olleet tietovarastoprojektien suurimmat haasteet. HUS:ssä ne ovat selätetty nyt erinomaisen hyvin.
Tyypilliset ongelmat
Yksi palveluistamme on tietovarastojen auditointi. Olemme nähneet runsaasti ratkaisuja, joiden rakentaminen koetaan tosi hitaaksi ja kalliiksi, ja jotka eivät tunnu pääsevän kunnolla tuotantoon.
Pienetkin laajennukset tulevat kalliiksi. Koko tietovaraston olemassaoloa aletaan kyseenalaistaa.
Tietovaraston piti integroida eri järjestelmiin siiloutunut data ja tehdä kyselyt, raportit ja analytiikka helpoksi. Ehkä teemme sen Excelillä tai Qlikillä…
Mitkä ovat yleisimmät ongelmat?
Keskeinen perusongelma on, että tietovarasto mielletään tavanomaiseksi tietojärjestelmäksi, jonka tekeminen voidaan ulkoistaa ja sitten vaan odottaa toteutusta.
Tietovarastointi on keskeisen tärkeä data-assetin hoitamista. Pitää olla omaa osaamista tai ulkoisia asiantuntijoita mukana ohjausryhmässä ja keskustelemassa toimittajan kanssa. Omaa tiedonhallinnan kulttuuria pitää kehittää.
Tietovarastohankkeet ovat usein liian teknologiavetoisia. Liiketoiminta ei koe, että heidän näkemyksensä toteutuvat. Toiseksi tietovaraston rakentajalla ei ole kuvauksia eikä käsitemalleja tiedoista.
Tietovaraston rakentaminen ulkoistetaan liian laajasti toimittalle eli systeemi-integraattorille. Yritysten datavarannot ovat yritysten kilpailuetua tuottavaa pääomaa, sen ymmärrystä ja kontrollia ei pidä ulkoistaa missään olosuhteissa!
Nykyisin tietovarastot toteutetaan yleisesti Data Vault -mallinnusmenetelmällä, joka tukee tietovaraston laajennettavuutta.
Ongelmana on, että Data Vault -tietomallit ovat liian teknisiä – niiden kanssa ei voi keskustella liiketoiminnan kanssa.
Usein yrityksen tietovarastostrategia ja -arkkitehtuuri ovat puutteellisia. Mennään siis toimittajan ehdoilla näissäkin asioissa. Lopputuloksena on liiallinen toimittajalukko.
Pahimmillaan kukaan muu ei kysele ja käytä tietovarastoa kuin toimittaja. Siitä on siis tullut uusi musta laatikko perusjärjestelmien tietokantojen lisäksi! Raportointia tehdään edelleen Excelillä tai ehkä suoraan järjestelmistä BI-välineellä.
Onnistumisen lähtökohtia
Hyvä tietoalusta-arkkitehtuuri on kaiken perusta. Laadimme kollegan Karri Pulkkisen kanssa HUS:lle arkkitehtuurin nimellä Big Data Platform, jossa määriteltiin mm. tietoaltaan (eng data lake) ja tietovaraston käytön periaatteet.
Mallinnusmentelmäksi valittiin Data Vault, jonka tukee hyvin laajennettavuutta. Suositeltiin myös ns. tietovaraston automaatiota, josta tulikin tärkeä osa toteutusta.
Tietovarastointi onnistuu parhaiten, kun sen määritys tehdään yhdessä liiketoiminnan kanssa ns käsitemallinnusta (eng conceptual or logical data modeling) hyödyntäen.
Olen huomannut, että suurin osa epäonnistuneista tietovarastoratkaisuista johtuu siitä, että tämä vaihe on tehty huonosti tai siihen ei ole ollut kunnon työkaluja (tai osaamista).
HUS on todella hyvin sisäistänyt käsitemallilähtöisen toteutuksen. Tässä vielä käytetään mallinnusta selkiyttävää ja nopeuttavaa Hovi Data Framework -menetelmää.
Käsite- ja tietomallit toimivat hyvänä kommunikoinnin välineenä liiketoimintaihmisten, arkkitehtien, IT-henkilöiden ja toimittajan välillä.
Ilman malleja toimittaja joutuu rakentamaan tietovarastoa oman näkemyksensä mukaan, joka helposti sisältää väärinymmärryksiä.
Ongelmana käsite- ja tiedonmallinnuksessa on usein, että malleja on hankala piirtää ja tehdyt käsitemallit hukkuvat; ei myöskään saada tärkeitä käsitemäärityksiä talteen ja jaettavaksi. Lue eteenpäin, tähänkin löytyy hyvä ratkaisu.
Hyödynnä kuvaukset
HUS käyttää yrityksemme kehittämää pilvipohjaista Ellie-työkalua käsite- ja tietomallinnukseen. Malleja on nyt helppo laatia ja määritykset jäävät talteen.
Liiketoiminnan asiantuntijat ovat nyt tärkeässä roolissa, mallinnuskonsultit tekevät käsitemallit heidän kanssaan ja tulokset dokumentoituvat pilvipalvelu Ellieen kaikkien asianomaisten katsottaviksi.
Näin saadaan asiantuntijoiden näkemykset datamaailmasta selkeästi kuvattua ja määriteltyä.
Oikein tehtynä käsite- ja tietomallit kuvaavat tietoja ja niiden rakenteita hyvin ymmärrettävästi. Kuten jo totesin, Data Vault -mallit ovat hyviä tietovaraston toteuttajille, mutta eivät ole ymmärrettäviä muille kuin Data Vault-asiantuntijoille.
Mutta kun käsitemallit on tehty selkeinä kaavioina ja tietovaraston Data Vault on generoitu suoraan näistä, äsken mainittu ongelma häviää. Liiketoiminta näkee selkeistä käsitemalleista suoraan, mitä tietovarastoon on viety!
Vauhtia tietovarastointiin
Vaikka jokainen organisaatio on erilainen, on tietovarastojen suunnittelussa ja lataamisessa paljon samankaltaisuutta.
Niinpä tähän on kehitetty ns. tietovaraston automatisointiohjelmistoja, jotka hallitsevat määrittelyjen ohjaamana tietovaraston rakentamista aina sen rakenteiden luomisesta tietovaraston lataukseen ja testaamiseen.
Tavoitteena on nopeuttaa huomattavasti tietovaraston rakentamista ja ennen kaikkea ylläpitoa, manuaalisen toteutustyön vähentyessä. Tämä tuo ryhtiä ja selkeyttä usein vaikeaksi koettuun tietovarastojen rakennustyöhön.
Samalla vähentäen liiallista toteutustapojen henkilöitymistä ja toimittajariippuvuutta. Myös dokumentointi tulee hoidetuksi.
HUS:iin valittiin tietovaraston automaatioon WhereScape, joka on toiminut tässä tarkoituksessa hyvin.
Työn eteneminen
Konsultit laativat alue kerrallaan kaikki käsitemallit Ellieen, liiketoiminnan kanssa tehtävissä työpajoissa.
Ellie tukee yritystasoista mallinnusta. Kerran määritelty potilas -käsite on käytettävissä muissa malleissa. Elliestä näkee kertaheitolla, mitä muita käsitteitä liittyy potilaaseen (niitä on muuten aika monta!).
Elliestä on konekielinen siirto WhereScapeen, joka sitten generoi tietovaraston sekä Data Vault -rakenteet että latausohjelmat. Kehittämämme HDF -mallinnustyyli tukee erityisen hyvin WhereScapen tekemää Data Vault -rakenteiden muodostamista.
Menettelyssä on etuna, että liiketoiminnan näkemykset käsitemallin muodossa heijastuvat suoraan tietovarastoon, jonka monimutkaiset Data Vault -rakenteet generoidaan WhereScapen avulla.
Latausohjelmat, jotka ovat yleensä työläitä, muodostuvat nekin automaattisesti WhereScapen avulla.
Tämä työ etenee HUS:n projektipäällikön Jussi Siebenbergin mukaan erittäin hyvin. Mainittkoon myös, että mallintamassa ja toteuttamassa on todella asiantunteva tiimi.
Yhteenveto
Tietovarastointi on kahden kerroksen hommaa. On tekninen taso, jossa puhutaan esim. Data Vaultista, se on tietovarastoasiantuntijoiden maailmaa.
Toinen on liiketoiminta-taso, jossa tarvitaan selkeät käsitemallit tietovarastosta ja jossa ohjataan työtä. Tämä jälkimmäinen jää usein liian ohueksi, kun on ajateltu että ulkoistetaan kaikki.
Tietoalustan ja tietovaraston onnistumisessa on keskeistä se, että datan kontrolli pysyy riittävästi omassa organisaatiossa.
Näin siitä ei tule toimittajan hallinnoima black box, johon itsellä ei ole kunnolla pääsyä. Toimittaja-yhteistyö nostetaan uudelle tasolle, jossa oma kontrolli on isommassa roolissa.
Tarvittaessa omaa osaamista ja tiedonhallinnan kulttuuria kehitetään koulutuksen avulla sekä käyttämällä sopivasti asiantuntijakonsultteja.
Yllä kuvattu etenemistapa on nykyisin ehkä kehittynein versio data-alustan tai tietovaraston rakentamisesta, tätä mieltä on myös moni kansainvälinen alan asiantuja.
Vielä kun otamme tietovaraston tietokannaksi Snowflaken tai muun pilvipohjaisen ratkaisun, alamme olla lähellä todellista state-of-the-art -ratkaisua.
Mikäli haluat säästää aikaa ja saada toimivan tietovaraston tai data-alustan, suosittelen yllä kuvattua toimintatapaa nyt erittäin lämpimästi.
Yllä kuvattu esimerkki kuvaa Suomen mittakaavassa erittäin laajaa toteutusta. Perusperiaatteet ovat kuitenkin samat pienemmillekin hankkeille, etenkin liiketoiminta- ja mallinnuslähtöisyys.
Ystävällisin terveisin,
Ari Hovi
Ps. Järjestämme uutena DataOps-koulutuksen, joka liittyy myös yllä olevaan blogiin. Suosittelen tätä erittäin lämpimösti!
Enterprise DataOps – Curating Trusted Data as a Service from Data Lake to Data Marketplace
Kaikki yritykset ja organisaatiot kamppailevat sen tosiasian kanssa, että liiketoimintadataa säilytetään hyvin monessa eri paikassa.
Käytössä on pilvi-, sekä on-premise ratkaisuja, monia tietovarastoja sekä erillisiä datamartteja. Näiden lisäksi käytössä on MDM-, ECM sekä Big Data -alustoja.
Miten hallitsen kokonaisuutta? Onko tähän olemassa lääkettä?
Meillä on ilo tarjota ensimmäisenä Suomessa DataOps-valmennus, joka tuo sinulle uuden tavan hallita eri tiedon talletus-, hallinta-, sekä analysointiratkaisuja.
Lue lisää koulutuksesta tästä
