Tietovarasto: paikallinen vai Enterprise Data Warehouse?

Konsultointityössäni kohtaan usein tämän kysymyksen. Tarkennan ensin mitä tarkoitan näillä termeillä.

Paikallinen tietovarasto on yleensä yhden tietojärjestelmän tietoja sisältävä, rajallisessa käytössä oleva tietovarasto. Kun tietolähteitä on vähän, on tietovarasto melko nopeasti rakennettavissa. Isommassa organisaatiossa käy kuitenkin helposti niin, että näitä paikallisia tietovarastoja syntyy useita eri puolelle taloa. Pahimmillaan niissä on samoja asiakkaita, organisaatiotietoja ja muita yhteiskäyttöisiä tietoja. On vaikea saada näistä kokonaiskuvaa, tätä kuuluisaa 360 asteen näkymää asiakkaaseen. Teknisellä tasolla huonoin skenaario on se, että eri osastoille on hankittu eri tuotteita lataukseen, tietovarastoon ja raportointiin. Maksetaan siis päällekkäisiä lisenssi- ja osaamiskustannuksia.

ENTERPRISE DATA WAREHOUSE

EDW on lyhenne käsitteelle Enterprise Data Warehouse. Laajimmillaan organisaatiossa on vain yksi, yhteiskäytössä oleva tietovarasto. Suppeamman, esim. Gartnerin käyttämän määritelmän mukaan tietovarasto on EDW, jos on vähintään kaksi lähtöjärjestelmää. EDW:n avulla eri lähtöjärjestelmissä olevat tiedot voidaan integroida.  Nyt saadaan se asiakkaan kokonaiskuva. Voidaan myös yhdistää taloushallinnosta saatuja kustannuksia tomintatietoihin, mikä on usein tavoite julkishallinnossa. Jotta saadaan selville mitä terveyskeskuskäynti maksaa, tarvitaan tietoja terveyskeskusjärjestelmästä (käynnit), taloushallinnasta (kustannukset) ja henkilöstöjärjestelmästä (työajat ja palkat). Tämä työ tehdään yleensä Excelillä, mutta tietovaraston avulla saataisiin lähes ajantasainen, koko ajan seurattavissa oleva mittari (sekä tietysti satoja muita mittareita).

EDW mahdollistaa sekä kokonaisnäkemyksen tiedoista että paikallisen näkymän. Se on siis siinä mielessä monipuolisempi kun paikallisiin tietovarastoihin perustuva , josta ei kokonaiskuvaa saa. EDW:n ongelmana puolestaan on, että sen tekeminen on vaikeampaa. On osattava tehdä yhteistyötä organisaation tasolla. On oltava sellainen tiedonhallinnan kulttuuri, että tiedot ovat organsaation tietoja, eivät pelkästään meidän osaston tietoja. Integrointi vaatii panostusta ja osaamista. Ennen kaikkea on osattava laatia hyvä tietomalli. Tiedon mallinnus on aivan keskeisessä asemassa tietovaraston onnistumisen kannalta. Jos on kyseessä Enterprise Data Warehouse, kannattaa tutustua Data Vault -suunnittelumenetelmään.

Konsulttityössäni  ollut arvioimassa tai osallisena kymmenissä eri tietovarastoratkaisuissa. Hyvin suunnitellut tietovarastot ovat yleensä edenneet hyvin. Huonosti suunniteltujen tietovarastojen kanssa eläminen on vaikeaa. Niitä on vaikea laajentaa, esiintyy tiedon laatuongelmia ja käyttö voi jäädä vähäiseksi.

Isommat organisaatiot ovat usein käyneet ensin paikalisten tietovarastojen vaiheen läpi ja suuntaavat sitten kohti keskitetympää EDW-ratkaisua. Koska EDW on monimutkaisempi  toteuttaa, se vaatii  kuitenkin enemmän panostusta. Silti hyvin toteutettuna kokonaiskulut ovat lopulta pienemmät kuin hajanaisilla, eri tekniikoilla toteutetuilla paikallisvarastoilla.

Huolellisesti  ns. tasoittaisella tietomallinnuksella suunniteltu tietovarasto voidaan yleensä toteuttaa osaavien asiantuntijoiden toimesta hämmästyttävän nopeasti ja pienellä henkilötyömäärällä. Pienemmätkin tietovarastot epäonnistuvat helposti, jos tietomallinnukseen ei ole panostettu ja vielä toteuttajat ovat kokemattomia. Kannattaa siis panostaa mallinnukseen ja osaamiseen. Jos vain dimensionaalinen tähtimallinnus on tuttua, on hyvä tutustua Enterprise Data Warehouse -suunnitteluun ja Data Vault -menetelmään.