17.11.2016

Olipa kerran tietovarasto

Olipa kerran yritys, jossa toimitusjohtaja sanoi, että tiedonhallinta on yrityksemme ydinliiketoimintaa.

Yrityksessä oli n. 25 järjestelmää, jotka kaikki olivat hyviä, monet alansa parhaita. Ongelmana oli, että ne olivat erillisiä, monen eri toimittajan tuotteita. Jostain tuli ajatus kokeilla tietovarastointia. SQL Server –tietokantaan tuotiin aluksi kahdesta järjestelmästä tietoja ja saatiin ensimmäistä kertaa yhdistettyä asiakkaan eri järjestelmissä olevia tietoja helposti yhteen. Tämän koeasetelman tulokset olivat niin vakuuttavia, että toimitusjohtaja julisti tiedonhallinnan ydinliiketoiminnaksi.

Tietovarasto perustui hyvään mallinnukseen.  Ensin oli laadittu kokonaiskäsitemalli ylätason asemakaavamalli koko liiketoiminnan alueesta. Kun piti tuoda uuden lähdejärjestelmän tiedot tietovarastoon, laadittiin ensin ko. alueen tarkka käsitemalli liiketoiminnan asiantuntijoiden kanssa. Se sitten käytiin läpi ko. sovelluksen toimittajan kanssa ja tarkennettiin. Toimittajalta tilattiin tarkasti määritellyt siirtotiedostot. Huomionarvoista on, että lähes kaikki lähdejärjestelmien tiedot tuotiin tietovarastoon. Tämä itse asiassa nopeutti alkuvaihetta, kun ei tarvinnut tehdä usein turhauttavaa tietotarvekartoitusta, tuotiin kaikki tiedot. Tietojen lataus tietovarastoon oli suoraviivaista ja nopeaa, koska tietoja ei juurikaan käsitelty, ne siis tuotiin raakana. Tärkeintä oli noudattaa tietomallia.

Kun toimittajat olivat toimittaneet siirtotiedot, heidän roolinsa jäi aika vähäiseksi. Lähes kaikki uudet raportit ja muu datan käyttö tehtiinkin tietovarastosta.  Tiedot olivat ”omissa käsissä”, heti saatavilla.

Kun raakatiedot oli saatu tietovarastoon, liiketoiminnan käyttäjiltä kysyttiin tietotarpeet. Ne osoittautuivat usein päällekkäiseksi, esimerkiksi haluttiin tiettyjä kuukausisummia. Niinpä rakensimme summataulumuotoisia, leveitä tauluja johdettuihin datamartteihin. Johdettujen taulujen teko oli nopeaa, koska kaikki lähtödatahan oli valmiiksi integroituna hyvin suunnitellussa relaatiokannassa. Käyttäjät tekivät täysin omatoimisesti helppokäyttöisellä, yksinkertaisella kyselyvälineillä paljon raportteja datamartteihinsa. Osalle käyttäjistä hankittiin parhaita BI-työkaluja.

Sovellusten väliset liittymät olivat kiellettyjä. Sitä varten rakensimme ODS –kannan (operational data store). Jos sovelluksen A piti siirtää tietoa sovellukseen B, A kirjoitti dataa ODS-kantaan ja B kävi tyhjentämässä minuutin välein postilaatikkonsa. Myös asiakas -masterdatajärjestelmän tiedot välitettiin ODS:n kautta muille tietojärjestelmille. Koska sovelluksilla ei ollut riippuvuuksia keskenään, ainoastaan poiminnat ja liittymät ODS- ja tietovarastokantoihin, oli sovelluksen vaihtaminen helppoa. Ei tarvinnut koskea muihin sovelluksiin ja koko raportointi ja analyysi jatkuivat saumattomasti.

Tietovarastosta tuli kaiken raportoinnin ja analysoinnin ydin. Sieltä tehtiin viranomaisraportit ja muut aineistot talon ulkopuolelle. Tietovaraston päälle rakennettiin muutamassa päivässä helppokäyttöinen sovellus, josta sai asiakkaan 360 asteen näkymän. Kun piti tutkia organisaation tehokkuutta ja prosessien läpimenoaikoja suhteessa eri toimipisteiden henkilömääriin, kaikki tiedot löytyivät tietovarastosta. Kaikki kehitys tapahtui data science-tyyppisesti tekemällä nopeita koeasetelmia ja protoilemalla.

Liiketoiminnan ja IT:n vuorovaikutus toimi hyvin. Liiketoiminnan puolelle nimitettiin aihealuekohtaiset vastuuhenkilöt, joita aloimme kutsua termillä data steward, suomennos voisi olla tietovastaava. He tarkistivat tietojen laatua ja ohjasivat oman alueensa kannalta tietovaraston kehitystä. Kullakin tietovastaavalla oli IT-osastolta nimetty työpari, joka teki hänelle tarvittavia SQL-kyselyjä tietovarastoon, joko laadun tarkastamista varten tai liiketoiminnan pikaisia ad hoc –tarpeita varten.  Molempia osapuolia koulutettiin relaatiokanta-ajatteluun, SQL-kieleen sekä tarvittaviin työkaluihin. Tietovastaavilla oli oma ”kerho”, jossa he jakoivat kokemuksiaan.

Koska hyvää metatietojärjestelmää ei oikein ollut, sellainen koodattiin itse noin viikon työllä. SQL Serverin kylkeen toteutettiin aktiivinen tietohakemisto, johon tietovastaavat syöttivät helppokäyttöisen web-käyttöliittymän kautta alueiden, taulujen ja sarakkeiden metatietomääritelmät.

Koska yhteistyökumppaneiden tiedonhallinta ei ollut samalla tasolla, heille tarjottiin benchmark-palvelua. He toimittivat taloushallintatietonsa ladattavaksi tietovarastoon, ja saivat vastineeksi raportteja ja keskinäisiä vertailutietoja. Lisäksi tuotiin ulkoiselta palveluntuottajalta joka päivä valuuuttakurssitiedot.  Tietovaraston lähdetiedot eivät siis rajoittuneet vain yrityksen omiin tietoihin. Toteutus oli nopeaa, olihan koko tietovarastoinfrastruktuuri jo valmiina.

Kyseinen yritys myytiin myöhemmin. Kauppaneuvotteluissa myyjä oli vahvoilla, koska kaikkiin kohtiin ja väitteisiin oli nopeasti esitettävissä faktaa, esimerkiksi yrityksen asiakkaiden luonteesta ja tilanteista.

Tarinassamme on paljon komponentteja, joita kutsun laajennetun tietovaraston käytöksi. Idea on, että tietovarastoa käytetään paljon laajemminkin kuin vain talon sisäiseen raportointiin ja analysointiin. Tietoja tuodaan omista ja ulkoisista tietolähteistä. Tietovarastoa käyttävät sekä omat henkilöt että ulkoiset osapuolet. Sen päälle rakennetaan nopeita kevytsovelluksia. Tietovarastoympäristö voi toimia myös sovellusten välisessä integraatiossa. Uusia tutkimustyyppisiä tarpeita, kuten em.  henkilöstötehokkuus, saadaan nopeasti hoidettua.  Tämä kaikki edellyttää hyvää mallinnusta ja laajaa tietovaraston sisältöä. Tähtimallitoteutus ei ole tarpeeksi kattava.

Vaikka tarina alkaa sanoilla ”Olipa kerran…”  tämä ei ollut satu vaan tositarina. Moni saattaa nyt ajatella, että yllä kuvattu on ihan ”peruskauraa” ja miksi missään ei mainita Hadoopia, Data Vaultia tai vaikkapa moderneja pilvipohjaisia BI-työkaluja.  Uudet teknologiat, menetelmät ja välineet tehostavat toimintaa, mutta eivät ne yksin ratkaise mitään, jos perusasiat eivät ole kunnossa.

Uudet välineet auttavat paljon, mutta menetelmillä, arkkitehtuurilla, osaamisella ja etenkin organisaation kypsyydellä on suuri rooli. Tiedonhallinta on yrityksen ydinliiketoimintaa.

Saattaisit olla kiinnostunut myös näistä

Datanlukutaitoa voi kehittää

Lue lisää
Datan hallinta

Tietojen mallintaminen – Data Modeling

Lue lisää
Ketterä kehitys

SQL perusteet

Lue lisää
Datan hallinta

Data Vault 2.0 Bootcamp + Certification

Lue lisää