Kategoriat
blog Digitalisaatio

Miten Kuntakortti tehtiin?

Robonomist tuottaa joka aamu yli 3000 sivua raporttia kunnille päätöksenteon tueksi. Kerron, miten se on mahdollista.

Kuntakortti-palvelu on monessa suhteessa täysin uudenlainen palvelu, jolle ei juurikaan löydy esikuvia. Olemmekin yrittäneet etsiä Suomesta ja maailmalta vastaavia tuotteita, mutta emme ole sellaisia löytäneet.

Kuntakortti-palvelu on työkalu kuntien tiedolla johtamisen tueksi, jonka Robonomist on rakentanut yhdessä aluekehittämisen konsulttitoimisto MDI:n kanssa. Kuntakortti on saatavilla kaikille Suomen 310 kunnalle, ja kortteihin on koottu kaikki keskeisimmät kunnan kehitystä kuvaavat mittarit. Kortteja päivitetään joka päivä niin, että tiedot ovat aina ajan tasalla. Tavoitteena on tarjota kuntalaisille ja kuntapäättäjille kokonaisvaltainen tilannekuva yhdellä silmäyksellä valmiiksi paketoituna. Kuntakortteihin voi tutustua lisää täällä.

Palvelun toteuttaminen on edellyttänyt monenlaista uutta teknologiaa, ja Robonomistilla olemme kehittäneet työkaluja, jotta vastaavien palveluiden toteuttaminen olisi mahdollista kustannustehokkaasti.

Miksi vastaavaa palvelua ei ole kyetty rakentamaan aiemmin ja miten me olemme onnistuneet? Varsinaisesti kyse ei ole mistään rakettitieteestä, mutta kokonaisuuden valmistaminen on edellyttänyt lukuisia pieniä innovaatioita sekä laaja-alaista tietoteknistä ja asiaosaamista, jotta homma on saatu toimimaan.

Matkan varrella on ilmennyt lukuisia haasteita, joihin olemme joutuneet kehittämään ratkaisuja itse. Haasteiden laaja-alaisuus ja kirjo lienevätkin syitä, miksi Kuntakortti-palvelu on ensimmäinen lajissaan. Seuraavassa kerron, millaisista osasista se koostuu.

Kaikki lähtee asiantuntijasta

Kun tuotetaan tietoa päätöksenteon tueksi, kaiken A ja O on olennainen ja merkityksellinen tieto. Siksi halusimme tehdä Kuntakortin yhteistyössä Suomen johtavan aluekehittämisen asiantuntijan MDI:n kanssa. He tuntevat hyvin kuntien tilanteen ja kehitysnäkymät ja tietävät, mikä on kuntapäättäjille relevanttia tietoa. Heidän asiantuntemukseen nojaten valitsimme kuntakorttiin kaikkein keskeisimmät mittarit.

Dataa on nykyään valtavasti saatavilla. Ongelma ei ole tiedon puute, vaan sen saattaminen oikeaan aikaan, oikeaan paikkaan ja oikeassa muodossa.

Kunnissa tehdään isoja päätöksiä, jotka vaikuttavat kaikkien suomalaisten arkeen ja elämään. Siksi on erittäin tärkeää, että tieto on luotettavaa ja siitä kyetään tekemään oikeita johtopäätöksiä.

Tosiasioihin perustuva ja jaettu tilannekuva ovat viisaan poliittisen päätöksenteon edellytyksiä, ja kuntakorttien tarkoitus on auttaa kokonaiskuvan muodostuksessa. Koronaepidemian, väestörakenteen muutoksen ja muiden haasteiden vuoksi kunnilla on edessä vaikeita päätöksiä.

Jotta päättäjät pystyvät toteuttamaan arvojensa mukaista politiikkaa, heidän on tunnettava toimintaympäristö, jossa päätöksiä tehdään. Relevantti ja luotettava tieto auttaa paremmin tavoittelemaan sitä, mitä pidetään arvokkaimpana.

Dataa monesta lähteestä

Kun keskeisimmät mittarit on valittu, on niistä kerättävä dataa. Kuntia koskeva dataa on saatavilla lukuisista eri lähteistä, ja haaste on tuoda ne automatisoidusti yhteen. Perinteisesti asiantuntijat ovat keränneet dataa manuaalisesti sieltä täältä, mutta tämä useimmille tylsä työvaihe on mahdollista siirtää robottien tehtäväksi.

Tätä varten Robonomist on kehittänyt oman tietoalustan, joka on yhteydessä tilastoviranomaisten ja muiden tiedontuottajien datoihin. Alustan robotit hakevat tilastoja Tilastokeskukselta, Verohallinnolta, THL:ltä ja Kelalta. Lisäksi saamme kuntakortteihin Telialta matkapuhelindataa ihmisten liikkuvuudesta sekä MDI:n omista tietokannoista jalostettua kuntatietoa. Robotit kokoavat bitit yhdenmukaiseen muotoon, jotta dataa olisi helppo jatkojalostaa. Alusta pitää huolen siitä, että käytössä on aina tuoreimmat tiedot.

Kun tiedonhaku on automatisoitu, asiantuntijoilta säästyy valtavasti aikaa, jonka he voivat käyttää varsinaiseen ydinosaamiseensa.

Ihmisten vahvuutena on monimutkaisten kokonaisuuksien hahmottaminen ja viestiminen. Robotit puolestaan osaavat hyvin siirtää tietoa pilkuntarkasti paikasta toiseen. Automatisoinnilla säästytään kustannusten lisäksi myös monilta inhimillisiltä virheiltä. Automaation ansiosta erilaisten laskelmien ja raporttien päivittäminen uusilla datoilla ei ole enää kynnyskysymys.

Jokaisen luvun pitää olla oikein

Datan pohjalta tehdään isoja päätöksiä, joten on ehdottoman tärkeää, että numeroihin voi luottaa. Jokaisen luvun on oltava pilkulleen oikein, ja lukujahan kuntakorteissa riittää. Joka päivä robotit tuottavat yhteensä yli 3000 sivua luettavaa. Jotta virheiltä vältyttäisiin, on laadunvalvonnan prosessien oltava kunnossa.

Suomessa tilastot ovat onneksi huippulaadukkaita, joten lähtökohta on hyvä. Tästä huolimatta tilastoissakin on silloin tällöin pieniä virheitä tai outouksia. Joskus esimerkiksi puuttuva tieto on saatettu merkitä tilastotauluihin nollaksi, vaikka paikalla kuuluisi olla puuttuvan tiedon merkki. Koska dataa on niin valtavasti, myös laadunvalvonta on pitänyt automatisoida.

Kuntakortin robotit tekevät tilastoluvuille erilaisia järjellisyystarkistuksia. Esimerkiksi etukäteen tiedetään, että työttömyysasteen on oltava jossain nollan ja 100 prosentin välillä. Jos robotti saa tilastolähteestä mahdottoman luvun, se pysäyttää kuntakortin päivityksen ja hälyttää ihmiset paikalle. Robonomistin tiimi saa välittömästi kännyköihinsä viestin, että jotain outoa on tapahtunut.

Jos robotti ei selviä järjellisyystarkistuksista ja tiedoissa on jotain vikaa, kuntakorttia ei päivitetä. Virheellinen tieto ei päädy kuntakortin käyttäjille, vaan heillä on käytössään eilispäivän kortti, kunnes vika on saatu korjattua. Toimitamme tiedon virheistä aina myös tilastoviranomaisille, jotta ongelmat saadaan korjattua alkulähteellä.

Tietokoneet vain suorittavat täsmällisesti saamiaan ohjeita, eikä niitä voi syyttää virheistä. Lopulta tietojen oikeellisuus on aina ihmisten vastuulla. Automatisoidussa raportoinnissa on kuitenkin perinteiseen tuotantotapaan verrattuna se etu, että samat virheet eivät toistu: Kun virheellinen koodi on kerran korjattu, jatkossa robotti osaa asian oikein. Näin virheet karsiutuvat ja tuotteen laatu kehittyy jatkuvasti.

Datan jalostaminen tiedoksi

Data sellaisenaan on harvoin merkityksellistä. Usein sitä pitää käsitellä eri tavoin, jotta siitä syntyisi hyödyllistä raaka-ainetta päätöksenteon tueksi.

Yksinkertaisimmillaan käsittely voi olla datan yhdistelemistä ja suhteuttamista. Esimerkiksi Verohallinnon tietoja kunnan verokertymistä voidaan suhteuttaa Tilastokeskuksen tietoihin väkiluvusta. Hieman monimutkaisempaa on esimerkiksi suodattaa kausittainen vaihtelu kunnan työttömyysluvuista käyttämällä kausitasoitusmalleja.

Joissain tapauksissa voi olla perusteltua käyttää myös tekoälyä ja koneoppimista kuntadatan mallintamiseen. Monimutkaisempien menetelmien avulla voidaan esimerkiksi valita kunnille sopivia verrokkeja tai jopa muodostaa niin sanottuja synteettisiä verrokkeja.

Robonomistin erityisenä vahvuutena on avoimeen lähdekoodin perustuvan R-ohjelmointikielen osaaminen. R on kypsä ja monipuolinen ohjelmointikieli, joka on erityisesti tutkijoiden ja datatieteilijöiden suosima, joten siihen saatavilla runsaasti datan mallinnukseen tarvittavia työkaluja. Se myös juttelee sujuvasti muiden ohjelmointikielten ja tietojärjestelmien kanssa.

Tekoäly valitsee verrokkikunnat

Robonomist onkin kehittänyt kuntien vertailuun oman algoritmin, joka käy läpi suuren joukon kuntien ominaisuuksia kuvaavia muuttujia. Se etsii kullekin kunnalle verrokiksi samankaltaisia kuntia, joihin kehitystä on mielekästä verrata.

Suomessa kunnat toimivat hyvin erilaisissa olosuhteissa, ja kehityksen arviointiin on reilua valita verrokkikuntia, joiden haasteet ovat vertailukelpoisia.

Julkaisut taittuvat automaattisesti

Tässä vaiheessa tiedot on kerätty ja jalostettu, mutta ne ovat yhä tietokoneen muistissa. Seuraavaksi tiedot on muotoiltava esityskelpoiseen asuun ja viestittävä selkeästi ja ymmärrettävästi.

Kuntakortin ulkoasu on MDI:n graafikon suunnittelema, ja Robonomistin osana on ollut siirtää visuaalinen ilme julkaisujärjestelmäämme, jolla tiedot muutetaan eläviksi asiakirjoiksi. Julkaisujärjestelmässä erilaiset tietoelementit saavat konkreettisen muodon ja asettuvat omille paikoilleen kuntakortin sivuille.

Kuntakortin toteutus on edellyttänyt myös perinteisesti taittajille kuuluneen työn automatisointia ja tähän tarvittavien työkalujen kehittämistä. Kuvioiden, taulukoiden ja tekstien sijoittaminen kauniisti asiakirjan sivuille vaatii esteettistä silmää, ja tämän opettaminen tietokoneille ei ole ollut helppoa. Asiakirjojen saattaminen julkaisukelpoiseen muotoon automaattisesti onkin ollut yksi kuntakortin työläimpiä kehitysvaiheita.

Laskentaklusterit pilvessä

Edellä kuvattujen työvaiheiden suorittamiseen menee tehokkaalta tietokoneelta noin yksi minuutti per kunta. Tähän pääsemiseksi algoritmeja on joutunut optimoimaan monin tavoin.

Minuutin valmistumisaika kuntaa kohden ei kuitenkaan riitä alkuunkaan reaaliaikaiseen palvelun tuottamiseksi, jos käytössä olisi vain yksi tietokone. Yhdeltä koneelta kuluisi kaikkien 310 kuntakortin valmistamiseen 5 tuntia 10 minuuttia. Osa kunnista saisi siis käsiinsä aamulla julkaistut uudet tiedot vasta iltapäivällä.

Toimitusajan nopeuttamiseksi olemme hyödyntäneet rinnakkaislaskentaa pilvipalvelimilla. Heti, kun uutta dataa tulee saataville, iso joukko palvelintietokoneita pärähtää käyntiin ja alkaa raksuttaa kuntakortteja rinnakkain. Yhdessä ne saavat koko kuntakentän katettua nopeammin ja asiakas saa kuntakortin käyttöön pian tilastojulkistusten jälkeen.

Lopputuote suoraan asiakkaalle

Kun tuote on valmis, se pitää vielä toimittaa asiakkaille. Digitaaliset tuotteet kuten kuntakortit siirtyvät vikkelästi netin yli.

Robonomistilla on oma jakelukanava kuntakorteille, josta asiakkaat löytävät kuntakortin ja kaikki sen oheismateriaalit, kuten kuviot sisältävän PowerPoint-esityksen ja datat sisältävän Excel-tiedoston. Yksinkertaisinta kuntakortti on ladata tutusta nettiosoitteesta, josta löytyy aina tuorein versio. Osoitteen voi myös upottaa omille nettisivuilleen, jolloin kuntakortti on kaikkien kuntalaisten saatavilla. Kuntakortin voi myös tilata MDI:ltä suoraan sähköpostiin kuukausikirjeenä.

Pala kerrallaan

Näin kokonaisuus rakentuu pala kerrallaan. Edellä kuvattujen isompien haasteiden lisäksi kohtasimme toki myös paljon pieniä ongelmia, joita oli hauska ratkoa.

Esimerkiksi automaattisesti suomenkieltä tuotettaessa robotti joutuu taivuttamaan paikannimiä sijamuotoihin, eikä tähän ole kielessämme selkeää kaavaa. Esimerkiksi muuttavatko ihmiset Akaalle vai Akaaseen? Myös teknisen tekstin tavuttaminen, jotta kappaleet sai juoksemaan siististi, vaati tähän soveltuvan ohjelmakirjaston kytkemistä julkaisujärjestelmäämme.

Robotteja koodatessa konkretisoituu myös se, kuinka hurjan monimutkaisia asioita ihmiset osaavat tehdä sen kummemmin ajattelematta. Niin kutsutun Polanyin paradoksin mukaan tiedämme paljon enemmän kuin osaamme kertoa. Asiantuntijatyön automatisointi vaatii työvaiheiden tarkkaa kuvailua tietokoneelle ohjelmointikielen avulla, mikä ei aina ole helppoa.

Uusia tuotteita kehittäessä joutuu aina jännittämään, miten ne otetaan vastaan. Pitkän kehitysurakan jälkeen onkin ollut erittäin mukavaa kuulla asiakkailta kiittävää palautetta. Kuntakortti on löytänyt tiensä osaksi asiantuntijoiden arkirutiineja ja säästänyt aikaa tylsiltä työtehtäviltä. Myös kehitystiimi on saanut aina uutta intoa nähdessään, miten asiakkailla syttyy oivallus siitä, mitä kaikkea uusi teknologiaa mahdollistaa ja mihin suuntaan se voisi kehittyä seuraavaksi.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *