13.09.2022

Mahdollisimman helppoa datan kyselyä 

Hei,

Tämän blogin aihealue on tiivistetysti: Käyttäjien pitää päästä mahdollisimman helposti itse kyselemään omia datojaan!

 

Miten tietoja katsellaan

Jos organisaatiossasi on tietovarasto, suurin osa tietojen katselusta tapahtuu siten, että käyttäjät avaavat erilaisia valmisraportteja. IT-asiantuntijat siis ohjelmoivat valmiiksi käyttöliittymiä, joissa toki voi tehdä rajauksia ja valintoja.

On kuitenkin jatkuvasti tarpeita, jotka eivät toteudu näistä raporteista. Liiketoiminta joutuu pyytämään jo valmiiksi kuormitetuilta IT-henkilöiltä uusia raportteja tai kyselyjä. Omien tarpeiden ilmaisu ei aina ole helppoa ja väärinymmärryksiä tapahtuu molemmin puolin. Kiire olisi, mutta usein tehdään muutama kierros kunnes oikeat tiedot saadaan.

Entä jos tiedot voisi hakea itse?

 

Itsepalvelukäyttö

Puhutaan itsepalvelu -tyyppisistä kyselystä. Liiketoimintaihmiset tekevät itse kyselyjä vaihteleviin tarpeisiin ja saavat samantien ensimmäiset tulokset ja voivat sitten tarkentaa kyselyään.

Alkaa syntyä voimaannuttava tunne, että tiedot ovat omissa käsissä ja liiketoiminta oikeasti hyötyy nopeista tuloksista.

Tavanomaiset tietovarastorakenteet ja työkalut ovat kuitenkin liian monimutkaisia ei-IT ihmisille.

Miten madaltaa kynnystä liiketoimintaihmisten oma ehtoisille kyselyille?

Esittelemme summataulu-tekniikan, joka tekee kyselyt mahdollisimman helpoiksi, jopa ilman uusia investointeja.

 

Tyypilliset tietojen esittämisen rakenteet

Tavanomaisin tapa järjestellä tiedot käyttäjille esittämistä varten on käyttää ns. dimensionaalista suunnitteluja eli tähtimalleja. Tähtimalli toteutetaan relaatiokantaan tauluina, joita on pääosin kahden tyyppisiä: dimensio- ja faktatauluja.

Dimensiotauluihin laitetaan ns. mastertietoja, kuten asiakkaat, organisaatioyksiköt, henkilöt ja tuotteet. Faktatauluun puolestaan talletetaan tapahtumatyyppisiä datoja, kuten myyntejä, kirjanpidon vientejä tai tilauksia. Tämän rakenteen päälle IT-asiantuntijat voivat suhteellisen helposti rakentaa monenlaisia raportteja käyttänen Business Intelligence-välineitä.

Liiketoimintaihmisille tähtimallirakenne on kuitenkin aika vaikea kyselyalusta. On osattava tehdä liitoksia dimensio- ja faktataulujen välillä. On ymmärrettävä vielä dimensiotaulujen historiointimekanismi, joka toimii hyvin, mutta ole ei maailman yksinkertaisin.

Tarvitaan yksinkertaisempi ratkaisu.

 

Summataulut

Esittelemme kyselyjä varten taulurakennetta, jota kutsumme summatauluiksi (tai leveiksi tauluiksi). Summatauluun tiedot jalostetaan valmiiksi muotoon, joka on helpoin mahdollinen kyselyjen kannalta. Käytämme esimerkkinä tässä organisaation henkilöstön raportointia.

Itse asiassa hyvin suuri osa tietotarpeista ei ole detaljitasolla, vaan ylemmällä, kuten kuukausi- tai osastotasolla tai vaikkapa jonkin ryhmittelytekijän tasolla. Näin etenkin johdon kohdalla.

Summatauluissa kaikki tarvittavat tiedot on valmiiksi yhdistettynä samaan tauluun. Tauluja ei siis tarvitse liittää toisiinsa. Henkilön perustiedot, hänen organisaationsa tarpeelliset tiedot, luokittelutiedot sekä joukko tunnuslukuja kuten esim.  palkka, työpäivät ja poissaolopäivät ovat kaikki valmiina.

Toiseksi, historiointi on toteutettu ns. snapshot -menetelmällä. Esimerkkimme tauluun tulee joka kuukauden lopun tilanne. Joka rivillä on vuosi-kk -kenttä. Pekka Virtasen perustiedot, organisaatiotiedot sekä palkka-. työpäivä yms tiedot 22 tammikuussa (202201), 22 helmikuussa (202202)  jne.  On helppo seurata Pekan tietojen muutoksia eri kuukausina. Tai vaikka summata tietyn osaston henkilöiden tietoja.

Toinen tyypillinen esimerkki on asiakastiedot. Kustakin asiakkaasta on kaikki tärkeät tunnusluvut laskettu valmiiksi kuun lopun tasalle.

Summatauluihin on siis valmiiksi laskettu sovituilla säännöillä erilaisia tunnuslukuja. Niiden muodostaminen vaatii tietysti esivalmisteluja ja hakemista tietovaraston eri paikoista. Tästä kerromme myöhemmin lisää.

 

Summataulurakenteen taustaa

Tähtimallieksperteille pari taustatietoa – jos ei ole tuttua, voit huoleti ohittaa tämän kohdan.

Summataulut rakennetaan periaatteessa tähtimalli ”taustalla”. Dimensiot liitetään faktaan valmiiksi. Dimensioiden tietoja toistetaan nyt turhaan, kuulen monien ihmettelevän, mutta levytila on halpaa ja etuna on verraton yksinkertaisuus. Dimensioiden versiointimenettely (alku- ja loppupäivät) puretaan snaphotiksi, eli vuosi-kk -sarakkeeksi.

Faktoista summataan ja lasketaan tarvittavat tunnusluvut. Huomaa, että yhteen summatauluun voi tulla monesta eri faktasta vierekkäisiä tunnuslukuja, kuten juuri palkka, työtunnit ja lomapäivät. Näin saadaan kattava kokonaisnäkemys henkilöihin kerralla.

Summatauluja ei toki tarvitse muodostaa tähtimallista, ne voi rakentaa vaikka suoraan tietovaraston Data Vault -rakenteista.

Mainittakoon vielä, että summataulut eivät syrjäytä tähtimalleja, niillä on edelleen tärkeä roolinsa. Summataulut tulevat tähän täydennyksenä.

 

Summataulujen käyttäminen

Koska summataulut ovat niin yksinkertaisia, on niiden kysely myös yksinkertaista. Käyttäjän tarvitsee vain tehdä filtteröintiä, eli valita esim. mitä kuukautta, henkilöä, osastoa tai ammattiryhmää hän nyt kyselee.

Lisäksi hän tekee yksinkertaisia summauksia, kuten palkat ja lomapäivät yhteensä vuoden alusta; ja laittaa tiedot oikeaan järjestykseen.

Tyypillisesti käyttäjä kopioi tiedot kyselyvälineestä suoraan Exceliin jatkoja varten.

Näin yksinkertaisiin kyselyihin voi käyttää monenlaisia työkaluja. Jopa SQL-kieli on tällaista käyttöä varten varsin helppo oppia. Kerromme välineestä alempana.

Yksinkertaisuudesta huolimatta liiketoimintaihminen saa todella monipuolista tietoa nopeasti ja helposti ymmärrettävässä muodossa.

 

Summataulujen vaatimukset

Kokemuksiemme perusteella kaikista tärkeintä on kehittää summatauluja käyttäjien toiveita kuunnellen. Summataulut kannattaa pitää melko yksinkertaisina, ja ottaa mukaan vain kaikista tärkeimmät mittarit. Hyvä tapa mittarien valintaan on käyttäjien kanssa yhdessä suunnittelu.

Organisaation tuki on myös erittäin tärkeää. Summataulujen idea on kuitenkin tuoda suurella joukolla tapa päästä helposti käsiksi dataan, joten jos käyttäjät eivät tue summataulujen ideaa, on niiden rakentaminen melko turhaa.

Aiemmin mainitsimme, että summataulut voi rakentaa tähtimallien pohjalta. Tämä ei kuitenkaan ole vaatimus, sillä niitä voi tehdä myös suoraan lähdetauluista. Summataulujen rakentaminen on kuitenkin helpompaa, jos taustalla on tähtimallin mukaiset taulut.

Yksi tärkeä päätös summataulujen kanssa on se, käyttääkö näkymiä vai fyysisiä tauluja. Fyysisten taulujen kyseleminen on huomattavasti nopeampaa kuin näkymien, varsinkin jos summataulun rakentamiseen käytetty SQL on hyvin monimutkainen. Yksi summataulujen etu on tehokkaampi kyseleminen, ja parhaimman nopeuden saa käyttämällä fyysisiä tauluja. Näkymät ovat taas tilan käytön sekä tietojen päivittämisen kannalta parempia. Päivitysajoja ei tarvitse tehdä, eivätkä näkymät vie samalla tavalla tilaa.

 

Työkalut summataulujen käyttöön

Summatauluja voi kysellä monella tapaa. Erilaisia visualisointi- ja BI- työkaluja on monia, mutta oman kokemuksemme mukaan parhaimmat ovat Power BI, Tableau tai Excel. Tuotteet kuten Power BI ja Tableau ovat huomattavasti helpompia käyttää, kun data on valmiiksi jalostettu summatauluihin.

Ja kuten jo mainitsimme, jopa SQL on aika helppoa summatauluihin.

Power BI ja Tableau ovat tämän hetken suosituimmat ja käyttäjämääriltään isoimmat BI-työkalut, joilla molemmilla ovat hyvät puolensa. Molemmilla voi tehdä monipuolisia visualisointeja ja analyysejä erittäin helposti. Näiden käyttäminen vaatii hieman harjoitusta, mutta ovat melko intuitiivisia ja perusteiden oppimiseen ei kauaa mene.

Käyttäjille, jotka eivät ole niin teknisesti valveutuneita suosittelemme vanhaa kunnon Exceliä. Excelin avulla voi noutaa tietoa eri tietolähteistä erittäin helposti.  Nouda tiedot (Power Query) avulla voi filtteröidä dataa, tehdä pienempiä otantoja Pivot-taulukkojen avulla, luoda visualisointeja tai tuoda koko datan Excelin välilehdelle. Tämä on todella matalan kynnyksen tapa kysellä, ja helppo opettaa kenelle tahansa taustasta riippumatta.

 

Summataulujen haasteet

Summataulujen suurin haaste on niiden joustamattomuus. Jos data on summattu tietylle tasolle, porautuminen syvemmälle tasoille ei enää onnistu jossain vaiheessa. Raakadataa kyseltäessä voi tutkia dataa laajemmin ja joustavammin – mikä on sitten puolestaan monimutkaisempaa.

Summataulut vievät myös huomattavasti enemmän tilaa, kuin esimerkiksi tähtimallin mukaiset rakenteet. Summatauluja rakentaessa eri mittarit tulevat yleensä monista eri tauluista. Mitä enemmän dimensioita halutaan mukaan, sitä enemmän tilaa käytetään. Summataulut eivät siis skaalaudu yhtä hyvin kuin tähtimallit. Ongelma korostuu varsinkin silloin, kun on käytetty fyysisiä tauluja näkymien sijaan.

Toisaalta levytilan kustannukset ovat huomattavasti halventuneet, joten useinkaan tämä ei ole ongelma.

Käyttöoikeuksien jakaminen summatauluihin voi olla myöskin haastavaa. Summataulut sisältävät monia eri mittareita ja tilannetta, jossa osa käyttäjistä saa nähdä jotkut mittarit ja osa toiset, kannattaa välttää. Siksi summatauluissa kannattaa käyttää sellaista tasoa, jossa ei ole salaisia tietoja ja mitä voi jakaa isommallekin joukolle.

Kaikkiaan haasteet eivät kuitenkaan ole suuria saavutettuihin etuihin suhteutettuna.

 

Lopuksi

Esittelemämme summataulumenetelmä on yksi ratkaisu siihen ongelmaan, että liiketoimintaihmisillä ei ole suoraa pääsyä oman alueensa tärkeisiin tietoihin.

Tavoitteena on tehdä kyselyt mahdollisimman helpoiksi ja näin rohkaista käyttäjiä tekemään omat kyselynsä itse.

Kokemuksemme mukaan käyttäjät saattavat innostua valtavasti, kun saavat omatoimisesti tutkia datojaan. Todellinen voimaantumisen tunne.

IT-henkilöiltä säästyy myös aikaa keskittyä itse tietovaraston rakentamiseen, kun suuri osa kyselyistä tehdään itsepalveluna.

Bill Gates esitti jo vuonna 1994 ajatuksen ”Information at your fingertips”. Emme taida vieläkään olla perillä, mutta summataulut ovat yksi askel tähän suuntaan.

 

Ystävällisin terveisin,

Roope Rantanen & Ari Hovi

Ps. Mikäli sinun pitää valita yksi data-alan alan koulutus, johon tänä vuonna osallistut, valitse tämä. Moni pitää sitä parhaana kurssina, johon ovat ikinä osallistuneet!

Business-Oriented Data Modelling Masterclass, 26.-28.9.2022

Kyseessä on Live-koulutus pitkästä aikaa! Tämä Alec Sharpin koulutus on alan klassikko, joka täyttää luokkahuoneen kerta toisensa jälkeen. Kurssilla opit miten mallinnat dataa yhdessä liiketoiminnan kanssa parhaiden käytäntöjen mukaisesti. Monet pitävät Alecin kursseja parhaina, joissa ovat olleet. Pidä siis varasi  – tapa jolla katsot dataa voi muuttua lopullisesti!

Katso lisätiedot ja ilmoittautuminen tästä.

Saattaisit olla kiinnostunut myös näistä

Datan hallinta

Business-Oriented Data Modelling Masterclass

Lue lisää
Datan hallinta

Data Vault 2.0 Bootcamp + Certification

Lue lisää
Ketterä kehitys

SQL perusteet

Lue lisää