Hei,
Kirjoitan tällä kertaa tietynlaisesta paradoksista, joka liittyy tekoälyn hyödyntämiseen data-alalla.
En ollut itse tänä vuonna Big Data LDN:ssä, mutta olen seurannut tapahtuman jälkipuintia mielenkiinnolla. Ari Hoville marraskuussa kouluttamaan tuleva Winfried Etzel kirjoitti tapahtuman jälkeen hyvän yhteenvedon otsikolla Agents Everywhere and the Quest for Context.
Otsikko kuvaa aika hyvin sitä, mihin data-ala tällä hetkellä menee. AI ja agentit eivät enää sinänsä ole uusi juttu. Nyt puhutaan siitä, mitä niiden ympärille tarvitaan: liiketoimintakontekstia (contextual layer), semanttista kerrosta (semantic layer), ontologioita, governanssia ja luottamusta.
Ja melkein saman tien saatiin tästä aika konkreettinen esimerkki.
Anthropic julkaisi hiljattain Claude Dashboardsin, joka käynnisti aikamoisen polemiikin LinkedInissä.
Voit yhdistää Clauden esimerkiksi Snowflakeen tai Databricksiin, kysyä luonnollisella kielellä jotain yrityksen datasta, ja Claude kirjoittaa tarvittavat kyselyt ja rakentaa niiden ympärille päivittyvän dashboardin. Anthropic itse asemoi ominaisuuden erityisesti nopeisiin ja eksploratiivisiin kysymyksiin.
Tämä on minusta iso juttu, mutta ehkä eri tavalla kuin ensimmäisenä ajattelisi.
Dashboard ei välttämättä katoa mihinkään. Vakiintuneisiin ja toistuviin kysymyksiin dashboard on edelleen erittäin hyvä käyttöliittymä. Mutta jokaista uutta liiketoiminnan kysymystä varten ei välttämättä tarvitse enää pyytää datatiimiä kirjoittamaan SQL:ää ja rakentamaan uutta näkymää. Dashboardistakin voi tulla jotain, joka syntyy tarpeen mukaan kysymyksen ympärille.
Silloin vaikea osa siirtyy muualle.
Jos pyydän Claudea tekemään asiakaspoistumasta dashboardin, mistä Claude tietää, mitä asiakaspoistuma juuri meidän yrityksessämme tarkoittaa? Ja jos määritelmä muuttuu ensi kuussa, mistä se tietää, että jatkossa pitää käyttää uutta määritelmää?
Syyn tiedämme tässä vaiheessa. Jos haluamme hyödyntää AI:ta data-analytiikassa, pelkkä pääsy dataan ei riitä. AI:n pitää tietää, mitä data tarkoittaa. Kutsutaan sitä sitten metadataksi, kontekstiksi, semanttiseksi kerrokseksi tai miksi tahansa.
Ja mitä helpommaksi itse kyselyiden, visualisointien ja teknisten toteutusten tekeminen muuttuu, sitä tärkeämmäksi tämä taustalla oleva konteksti voi muuttua.
Mutta tässä tullaan vielä kiinnostavampaan asiaan. Kontekstikaan ei lopulta ole vain tekninen ongelma. Jotta AI tietää, mitä yrityksen data tarkoittaa, jonkun pitää määritellä se, ylläpitää sitä ja huolehtia siitä, että liiketoiminnassa tapahtuvat muutokset päätyvät myös dataan.
Ja juuri tässä piilee data-alan AI-paradoksi.
Kaksi tapaa hyödyntää tekoälyä data-alalla
Näen tällä hetkellä kaksi aika erilaista tapaa, joilla tekoälyä voidaan hyödyntää data-analytiikassa.
Ensimmäinen on nykyisen tekemisen tehostaminen. AI kirjoittaa SQL:ää, tekee dbt-malleja, auttaa rakentamaan pipelineja, kirjoittaa dokumentaatiota, etsii virheitä ja generoi koodia.
Tätä tehdään jo nyt, ja työkalut kehittyvät todella nopeasti. Claude Dashboards on jälleen yksi esimerkki siitä, kuinka nopeasti asioita, joihin aikaisemmin tarvittiin teknistä osaamista ja käsityötä, voidaan automatisoida.
Lopputulos on aika ilmeinen: jos yhden data engineerin tai BI-kehittäjän työstä merkittävä osa voidaan automatisoida, saman lopputuloksen tuottamiseen tarvitaan vähemmän manuaalista työtä. Se on tietysti hyvä asia. Mutta yrityksen näkökulmasta kyse on ennen kaikkea tehokkuudesta ja kustannuksista.
Monessa yrityksessä data- ja raportointitiimi nähdään edelleen ainakin osittain pakollisena kuluna. Raportit pitää tehdä, luvut pitää saada johdolle ja viranomaisille, dashboardit pitää pitää hengissä ja datan pitää liikkua järjestelmästä toiseen.
Kysymys kuuluu silloin helposti: miten tämä kaikki tehdään mahdollisimman kustannustehokkaasti?
Työkalujakin ostetaan usein sillä ajatuksella, että saman työn voisi tehdä pienemmällä määrällä koodareita tai konsultteja.
Jos tässä on koko datatiimin AI-strategia, AI vahvistaa juuri tätä ajattelua. Sama tuotanto saadaan aikaan nopeammin, halvemmalla ja mahdollisesti pienemmällä porukalla.
Datatiimi pysyy kustannuksena. Kustannus vain pienenee.
Toinen vaihtoehto on kiinnostavampi
Toinen tapa hyödyntää AI:ta on mielestäni paljon kiinnostavampi.
Siinä datatiimiä ei nähdä vain raportoinnin ja datatuotannon kustannuksena, vaan liiketoiminnan lisäarvon tuottajana ja strategisena assettina.
Rakennetaan ympäristö, jossa liiketoiminta voi keskustella oman datansa kanssa. Tätä olen kutsunut Conversational BI:ksi.
Tämä ei tarkoita, että dashboardit katoaisivat. Vakiintuneisiin ja toistuviin kysymyksiin ne ovat edelleen erinomainen käyttöliittymä. Muutos on ennemminkin siinä, ettei jokaista uutta liiketoiminnan kysymystä tarvitse enää ratkaista rakentamalla uusi dashboard.
Käyttäjä voi kysyä esimerkiksi: “Miksi asiakaspoistuma kasvoi viime kuussa?”, “Missä asiakasryhmissä muutos tapahtui?”, “Miten tilanne vertautuu viime vuoteen?” tai “Mitkä tekijät selittävät muutosta?”
Ja ehkä AI rakentaa vastaukseksi jopa dashboardin juuri sitä kysymystä varten.
Tässä AI ei enää vain tehosta datatiimin omaa tuotantoa. Se mahdollistaa liiketoiminnalle jotain, mitä aikaisemmin ei ollut samalla tavalla mahdollista tehdä.
Ja juuri siinä on aivan eri kokoluokan mahdollisuus datatiimille.
Tähän on nyt olemassa paljon hyviä teknologioita. Snowflake tarjoaa Semantic Views -objekteja, Databricks rakentaa omaa semanttista kerrostaan Unity Catalogin ympärille ja Microsoft on mennyt Fabric IQ:n kanssa vielä selkeämmin siihen suuntaan, että liiketoiminnan käsitteet, suhteet ja säännöt pystytään kuvaamaan AI:n käytettäväksi.
Ja nyt Claude pystyy rakentamaan itse myös käyttöliittymän datan päälle.
Tekninen ketju alkaa siis olla aika vaikuttava.
Tässä on kuitenkin pieni mutta.
Mistä AI tietää, mitä asiakaspoistuma tarkoittaa?
Otetaan yksinkertainen esimerkki. Yrityksessä asiakas on määritelty “poistumassa olevaksi”, jos hän ei ole ostanut mitään kuuteen kuukauteen. Sitten markkinointi päättää, että määritelmää muutetaan. Jatkossa raja onkin 12 kuukautta.
Teknologisesti tämä ei ole erityisen vaikea muutos.
Mutta miten päätös päätyy tuotantoon? Ottaako markkinointi välittömästi yhteyttä datatiimiin? Kuka hyväksyy uuden määritelmän? Mihin se kirjataan? Kuka tietää, ettei vanhaa kuuden kuukauden määritelmää enää saa käyttää?
Ja miten varmistetaan, että sama muutos näkyy dashboardeissa, analyyseissä ja AI-agentille annetussa semanttisessa kontekstissa?
Claude voi kirjoittaa SQL:n. Fabric IQ voi tallentaa määritelmän. Databricks voi tarjota semanttisen kerroksen.
Mutta jonkun pitää ensin tietää, mikä oikea määritelmä on.
Ja vielä tärkeämpää: jonkun pitää huomata, kun se muuttuu.
Semanttinen kerros on myös organisaatiomalli
Tässä tullaan asiaan, jonka huomaan jatkuvasti keskustellessani datatiimien kanssa. Monessa organisaatiossa ei ole kovin selvää, kuka omistaa minkäkin datan, käsitteen tai mittarin. Tätä omistajuusasiaa kutsutaan tietysti data governanceksi.
Kuka omistaa asiakkaan määritelmän? Kuka omistaa churnin? Kuka saa muuttaa määritelmää? Ja ennen kaikkea: mikä on prosessi, jolla muutos viedään liiketoiminnasta data-alustalle?
Mielestäni isoin haaste on tässä lopulta johtamisjärjestelmässä ja toimintamallissa. Onko olemassa prosessia, jossa datatiimi keskustelee jatkuvasti liiketoiminnan kanssa? Kuka määrittelee tämän prosessin? Kuka huolehtii siitä, että liiketoiminnassa tapahtuvat muutokset päätyvät myös dataan ja sen määritelmiin?
Tämän osalta yritykset eroavat toisistaan melkoisesti. Osalla tilanne on parempi, mutta osalla on selviä haasteita. Olen kuullut datatiimeiltä esimerkiksi kommentteja: “Liiketoimintaa ei haluta häiritä”, “Niitä on vaikea saada palavereihin” tai “Bisnes peruu kuitenkin tapaamiset”.
Minusta nämä ovat oireita paljon suuremmasta ongelmasta. Jos liiketoiminta ei koe keskustelua datatiimin kanssa hyödylliseksi, ongelmaa ei välttämättä ratkaista kutsumalla heitä useampaan governance-palaveriin. Silloin pitäisi ennemmin kysyä, miksi keskustelu ei tuota heille arvoa.
Data-alan rooli on rakennettu teknisten ongelmien ympärille
Tämä on toki ymmärrettävää. Data- ja IT-funktiot on monessa organisaatiossa rakennettu pitkälti teknisten ongelmien ratkaisemista varten. Datatiimi ei päätä yrityksen johtamisrakenteista, liiketoiminnan ja IT:n välisistä kommunikaatiokanavista tai siitä, millainen mandaatti sillä on mennä keskustelemaan liiketoiminnan kanssa.
Siksi olisi väärin vierittää tätä ongelmaa yksittäisten dataihmisten syyksi.
Jos datatiimille annetaan tehtäväksi rakentaa pipeline, raportti tai dashboard, on aika luonnollista, että se optimoi juuri sitä tekemistä. Jos taas datatiimiltä odotetaan strategisempaa roolia, sille pitää myös antaa siihen mandaatti, aikaa ja pääsy liiketoiminnan keskusteluihin.
Tästä huolimatta uskon, että datatiimien kannattaa itsekin tarttua tähän mahdollisuuteen aktiivisesti.
Jos olet data engineer, on luonnollista, että teknisten ongelmien ratkaiseminen kiinnostaa. Pipeline voidaan rakentaa paremmin, koodia voidaan refaktoroida ja uusi työkalu voidaan ottaa käyttöön. Näitä osaajia tarvitaan jatkossakin.
Mutta datatiimissä tarvitaan myös ihmisiä, joita kiinnostaa kysyä: mitä ongelmaa me oikeastaan ratkaisemme? Mihin tätä dataa käytetään? Kuka tästä hyötyy? Mitä tämä mittari liiketoiminnassa tarkoittaa?
Kyse ei siis ole siitä, että dataihmisten pitäisi lopettaa teknisten ongelmien ratkaiseminen.
Kyse on siitä, että datatiimillä on mahdollisuus tuottaa paljon enemmän arvoa, jos se pystyy liikkumaan teknologian ja liiketoiminnan välissä.
Ja juuri sitä roolia kannattaa tavoitella.
Tässä on paradoksi
Lähes jokaisessa AI-puheenvuorossa toistetaan nykyään samaa asiaa: AI-transformaatio ei ole teknologiahanke. Prosesseja, toimintatapoja ja organisaation rakennetta pitää muuttaa, jos AI halutaan saada enemmän irti.
Conversational BI on tästä minusta hyvä esimerkki. Ilman prosessien muuttamista sitä ei oikeasti pystytä tekemään.
Silti AI:ta lähestytään helposti ensisijaisesti uutena teknologiana. Ajatellaan esimerkiksi, että Fabric IQ, Claude Dashboards tai joku muu uusi teknologia ratkaisee asian. Ja demossa se näyttää hienolta.
Juuri tässä on paradoksi.
Datatiimillä on budjetti, työkalut, osaaminen ja ennen kaikkea mandaatti kehittää data-alustaa, infrastruktuuria ja teknologiaa. Samalla siltä odotetaan yhä enemmän strategista liiketoiminta-arvoa, esimerkiksi juuri Conversational BI:n kaltaisia uusia tapoja hyödyntää dataa.
Mutta niiden rakentamiseen ei riitä pelkkä teknologia. Tarvitaan muutoksia prosesseihin, vastuisiin, omistajuuksiin ja siihen, miten liiketoiminta ja datatiimi työskentelevät yhdessä.
Ja juuri näihin asioihin IT:llä tai datatiimillä ei välttämättä ole mandaattia vaikuttaa.
Jos AI:lla halutaan luoda liiketoiminnalle kokonaan uudenlainen tapa käyttää dataa, datatiimin pitää siis päästä paljon syvemmälle liiketoiminnan prosesseihin.
Mutta samalla organisaation pitää antaa sille siihen myös mahdollisuus ja mandaatti.
Datatiimi tarvitsee ihmisiä, jotka puhuvat bisnestä
En tarkoita, että kaikkien data engineerien pitäisi muuttua liiketoimintakonsulteiksi. Koodiosaamista tarvitaan jatkossakin. Mutta datatiimissä pitää olla ihmisiä, jotka osaavat liikkua teknologian ja liiketoiminnan välissä.
Data-alalla on viime vuosina käynyt niin, että yhä enemmän tehtäviä on siirtynyt data engineerien harteille. Ennen datamallintaja oli usein oma roolinsa. Data-analyytikon ja arkkitehdin tehtäviä tehdään nykyään usein osana muita teknisiä rooleja.
Ohjelmistopuolella puhutaan nykyään esimerkiksi commercial engineer -rooleista: teknisistä ihmisistä, jotka ymmärtävät tuotteen, asiakkaan ja liiketoiminnan niin hyvin, että heidän tehtävänsä ei ole vain kirjoittaa koodia vaan tuottaa mahdollisimman paljon kaupallista arvoa.
Data-alalla tarvitaan mielestäni jotain hyvin samanlaista.
Ihmisiä, jotka ymmärtävät data-alustan, mutta pystyvät samalla keskustelemaan liiketoiminnan kanssa siitä, mitä data tarkoittaa ja miten sitä pitäisi käyttää.
Koska Conversational BI:tä ei rakenneta pelkästään SQL:llä. Se rakennetaan myös sopimalla, mitä organisaation käsitteet ja mittarit tarkoittavat ja miten niiden muutoksia hallitaan.
Kysymys on lopulta datatiimin relevanssista
Jos datatiimin AI-strategia on vain pipelinejen, SQL:n, dashboardien ja koodauksen nopeuttaminen, se kannattaa ehdottomasti tehdä.
Mutta siinä on myös riski.
Jos datatiimi nähdään ennen kaikkea kustannuksena, AI:ta käytetään luontevasti siihen, että kustannusta pienennetään. Sama raportointi ja datatuotanto tehdään pienemmällä määrällä käsityötä.
Se on täysin rationaalista.
Mutta siinä datatiimin rooli ei muutu.
Conversational BI tarjoaa datatiimille toisen vaihtoehdon: mahdollisuuden siirtyä kustannuksesta liiketoiminnan lisäarvon tuottajaksi ja strategiseksi assetiksi.
Sen avulla data-alusta voi muuttua järjestelmästä, jonka päälle rakennetaan raportteja, ympäristöksi, jonka kanssa koko liiketoiminta pystyy keskustelemaan.
Ja Claude Dashboardsin kaltaiset julkaisut näyttävät, kuinka nopeasti käyttöliittymäkerros voi muuttua. Dashboardiakin voidaan jo generoida kysymyksen perusteella.
Siksi ehkä juuri nyt kannattaa miettiä, mikä on se osa datatiimin tekemisestä, josta yritys saa pitkäkestoista arvoa.
Minusta yksi vastaus on konteksti: yhteinen ymmärrys siitä, mitä yrityksen data tarkoittaa ja miten sitä käytetään päätöksenteossa.
Samalla kannattaa ehkä yrittää välttää liikaa semantic layer -terminologiaa, kun asiasta puhutaan liiketoiminnalle. Bisnes ei lähtökohtaisesti tarvitse semanttista kerrosta.
Se tarvitsee luotettavia vastauksia omiin kysymyksiinsä.
Miksi kirjoitan tästä?
Yksi syy, miksi kirjoitan näitä blogeja, on se, että välitän tästä alasta ja datayhteisöstä. Haluan, että datan merkitys yrityksissä kasvaa ja että datatiimejä ei nähdä vain kustannuksina tai raportointipalveluna, jota yritetään jatkuvasti tehdä pienemmällä porukalla.
Uskon, että data-alalla on nyt mahdollisuus ottaa paljon nykyistä strategisempi rooli. Mutta se ei tapahdu itsestään. Se vaatii sitä, että uskallamme mennä teknologian ulkopuolelle, keskustella liiketoiminnan kanssa ja ottaa vastuuta siitä, miten dataa oikeasti hyödynnetään.
Tavallaan yritän näillä kirjoituksilla myös vähän ravistella omaa alaamme. En siksi, että haluaisin kritisoida datatiimejä, vaan juuri päinvastoin: haluan, että meidän merkityksemme kasvaa.
Jos jokin asia on vaikea, se ei ole syy jättää sitä tekemättä.
Ei kuuhunkaan menty siksi, että se oli helppoa.
Tässä mekin voimme auttaa
Tässä on myös aika paljon sitä aluetta, jossa me Ari Hovilla autamme organisaatioita. Teknologia on yksi osa kokonaisuutta, mutta usein vaikeammat kysymykset liittyvät siihen, miten käsitteet ja mittarit määritellään, miten omistajuudet ja vastuut toimivat ja miten datatiimi ja liiketoiminta saadaan työskentelemään yhdessä.
Jos Conversational BI:tä tai semanttista kerrosta halutaan oikeasti hyödyntää, juuri nämä asiat pitää saada kuntoon.
Ja jos juuri nämä ei-tekniset asiat kiinnostavat, miten Data Governancesta, omistajuuksista, vastuista ja datan merkityksestä puhutaan liiketoiminnan kanssa, meillä on marraskuussa tähän loistava kouluttaja tulossa.
Winfried Etzel on erikoistunut Data Governanceen, datastrategiaan ja dataorganisaatioiden toimintamalleihin. Hänen Data Management Fundamentals & DAMA Certification Preparation -koulutuksensa antaa hyvän kokonaiskuvan siitä, miten datan hallintaa pitäisi ajatella teknologiaa laajemmin ja miten näistä asioista keskustellaan liiketoiminnan kanssa.
Data Management Fundamentals & DAMA Certification Preparation – koulutuksen tiedot
Ystävällisin terveisin,
Johannes Hovi
Lähteitä ja lisälukemista
- Winfried Etzel: Agents Everywhere and the Quest for Context
- Anthropic: Build live dashboards and animate explainers with Claude
- Snowflake: Semantic Views
- Databricks: Unity Catalog semantics
- Microsoft: Fabric IQ
