Kirjoittaja: Vectura Solutions Oy · Data-analytiikan ja raportoinnin toteutuksia vuodesta 2018.
Aihe: Koneoppiminen
Oppaan ydinkohdat
- Erottakaa mallin opettaminen ja uuden aineiston käsittely: niitä ei yleensä tarvitse tehdä samalla rytmillä.
- Julkaiskaa tulos vasta aineiston ja ajon tarkistusten jälkeen. Tulos tarvitsee ajankohdan, aineistorajauksen ja malliversion.
- Tekninen onnistuminen, mallin laatu ja liiketoimintahyöty ovat eri seurattavia asioita. Sopikaa myös toiminta häiriöissä.
Mitä pilotista pitää tietää ennen käyttöönottoa?
Pilotista tarvitaan muutakin kuin toimiva esimerkkiajo. Kirjatkaa tehtävä, hyväksytty arviointitulos, tunnetut rajoitukset sekä se, miten käyttäjä hyödyntää tulosta. Määritelkää samalla, kuinka tuoretta aineistoa tarvitaan ja kuinka pitkän häiriön prosessi kestää.
Varmistakaa, että tuotannon lähdetiedot ovat saatavilla siinä muodossa ja siinä vaiheessa, jota arvioinnissa oletettiin. Kerran käsin koottu aineisto voi sisältää tietoja, joita ei saada toistuvaan ajoon ajoissa. Myös henkilöiden tekemät korjaukset ja luokittelut pitää tunnistaa osaksi prosessia.
Vectura voi jatkaa rajatusta koneoppimispilotista integraatioihin, raportointiin ja ylläpitoon tai tukea omaa tiimiä sovitussa osassa kokonaisuutta. Käyttöönoton laajuus määräytyy prosessin ja nykyisen ympäristön perusteella.
Valitkaa eräajo tai vastauksen tuottaminen pyynnöstä
Eräajossa malli käsittelee sovitun aineiston kerralla ja tallentaa tulokset tauluun. Päivittäinen kysyntäennuste, asiakassegmentointi tai yön aikana käsiteltävä dokumenttijono sopii usein tähän. Raportti tai sovellus lukee valmista tulosta.
Pyynnöstä tehtävässä käsittelyssä tulos muodostetaan käyttäjän tai järjestelmän kutsusta. Silloin pitää arvioida vasteaika, samanaikaiset pyynnöt, kuormitusrajat ja toimintatapa tilanteessa, jossa mallipalvelu ei vastaa ajoissa.
Valinta tehdään päätöksen aikataulun perusteella. Viikoittain käytettävän suunnitteluluvun laskeminen jokaisella raportin avauksella lisää kustannuksia ilman välttämätöntä hyötyä. Heti tarvittavassa dokumentin reitityksessä taas pitkä eräajoviive voi estää käyttötarkoituksen.
Erottakaa opetus, arviointi ja tulosten laskenta
Mallin opetus muodostaa uuden malliversion. Tulosten laskenta käyttää hyväksyttyä mallia uuteen aineistoon. Esimerkiksi asiakassegmentit voidaan laskea päivittäin ilman, että ryhmäkeskukset opetetaan joka päivä uudelleen.
BigQuery ML -mallia voidaan käyttää BigQuery-kyselyillä, ja ajastava ohjelma ohjaa tarvittavien vaiheiden suoritusta. Ennustemallin käytössä pitää huomioida mallityypin toiminta: ARIMA_PLUS-ennuste perustuu opetuksessa käytettyyn historiaan ja määriteltyyn horisonttiin. Uusi lähdedata ei päivitä opetettua mallia itsestään.
Valmiiseen kielimalliin perustuvassa luokittelussa vastaava julkaistava kokonaisuus voi sisältää palvelun malliversion, ohjeen ja luokkien määrittelyt. Näiden muuttaminen voi muuttaa tuloksia, vaikka omaa mallia ei opeteta.
Rakentakaa ajoketju tarkistetusta lähteestä julkaisuun
Tuotantoajon vaiheet tarvitsevat selvän järjestyksen. Ajastus käynnistää työn, mutta kellonaika ei yksin takaa, että lähdejärjestelmän tiedot ovat valmiit. Valmius pitää tarkistaa sovituista aineistoista tai latausten tilasta.
Cloud Run Job sopii esimerkiksi rajatun Python-ohjelman suorittamiseen loppuun asti. Sen voi käynnistää aikataululla Cloud Schedulerista. Jos prosessi koostuu useista toisistaan riippuvista töistä, orkestrointi auttaa hallitsemaan niiden järjestystä, tilaa ja uudelleenajoja. Työkalun tarve arvioidaan kokonaisuuden perusteella.
- Google Cloud: Cloud Run Jobs
- Google Cloud: ajastetut Cloud Run -ajot
- Tiedonsiirto, Cloud Run ja orkestroinnin käyttöönotto
- Varmista lähde: aineisto on saapunut ja tarkistukset täsmäytyksistä, avaimista ja tuoreudesta menevät läpi.
- Valmistele mallin syöte: käytä sovittuja laskentasääntöjä, rajauksia ja piirremuunnoksia.
- Laske tulokset hyväksytyllä mallilla tai arvioi uusi malliversio erillisessä vaiheessa.
- Tarkista tulokset: odotettu määrä rivejä, tarvittavat kentät, päivämäärät ja tehtävään sopivat rajat.
- Julkaise hyväksytty tulos raportille tai sovellukselle ja tallenna ajon tiedot.
- Kirjaa epäonnistuminen ja ohjaa se nimetylle vastuulle. Näytä käyttäjälle tuloksen vanheneminen.
Suunnitelkaa uudelleenajot ja tulosten julkaisu
Katkennut ajo pitää voida käynnistää uudelleen ilman kaksoiskappaleita tai jo tehdyn ulkoisen toimenpiteen tahatonta toistoa. Määritelkää käsittelyn avain, esimerkiksi dokumentti ja malliversio tai ennusteen muodostuskerta ja kohdepäivä. Samojen tietojen uusintakäsittelyn merkitys sovitaan käyttötapauksen mukaan.
Ajastus voi käynnistää uuden työn, vaikka vanha ajo olisi vielä kesken. Hallitkaa päällekkäisyys, jotta hitaasti valmistuva vanha tulos ei korvaa uudempaa. Mallipalvelujen ja lähderajapintojen kapasiteetti huomioidaan rinnakkaisuuden ja uusintojen määrässä.
Raportille voidaan julkaista vasta tarkistettu tuloserä. Jos uusi erä epäonnistuu, aiempi hyväksytty versio voidaan säilyttää silloin, kun sen käyttö on tehtävässä edelleen sallittua. Näyttäkää sen ajankohta selvästi; joissakin prosesseissa vanhentuneen tuloksen käyttö pitää estää kokonaan.
Seuratkaa toimintaa kolmella tasolla
Tekninen seuranta kertoo, valmistuiko ajo ja päätyikö tulos oikeaan paikkaan. Mallin seuranta kertoo, vastaavatko tulokset havaittua todellisuutta. Liiketoiminnan seuranta kertoo, auttaako järjestelmän käyttö sovittua prosessia.
Lähdeaineiston jakauman muuttuminen voi kertoa uudesta tilanteesta, mittausmuutoksesta tai virheestä. Se ei yksin todista mallin laadun heikkenemistä. Todellisen ennustevirheen laskentaan tarvitaan toteumat, ja luokittelun arviointi tarvitsee tarkistettuja vastauksia. Niiden kertymiseen voi liittyä viive.
- Tekniikka: ajon kesto ja onnistuminen, aineiston tuoreus, virheet, puuttuvat tulokset sekä laskenta- ja palvelukulut.
- Malli: ennustevirhe tai luokittelun laatu, poikkeamat eri asiakas- ja tuoteryhmissä sekä epävarmojen tapausten osuus.
- Käyttö: hyödyntävätkö käyttäjät tulosta, miten käsittelyaika muuttuu ja syntyykö uutta korjaustyötä?
Hälytyksen pitää kertoa, mikä on vaikutus ja kenen tulee toimia. Kerätkää tulosten jäljitettävyyteen tarvittavat tiedot, mutta rajatkaa lokien sisältö ja näkyvyys käyttötarpeeseen.
Versioikaa kokonaisuus ja arvioikaa muutokset
Tallentakaa mallin lisäksi koodin ja laskentasääntöjen versiot, aineiston aikarajaus, käytetyt asetukset ja arviointitulos. Myös tietojen valmistelun on vastattava mallin oletuksia. Esimerkiksi eri aikavyöhykkeellä laskettu päivä tai muuttunut rahamäärän yksikkö voi tehdä syötteestä väärän, vaikka sarakkeen nimi pysyy samana.
Uusi malli vertaillaan hyväksyttyyn vertailukohtaan ennen julkaisua. Automaattinen uudelleenopetus ei takaa parempaa tulosta: lähteessä voi olla virhe tai uusi aineisto voi kuvata poikkeuksellista jaksoa. Hyväksymiskriteerit määritellään ennen muutosta.
Säilyttäkää palautukseen tarvittava aiempi kokonaisuus ja kokeilkaa palautustapa. Sovelluksen, mallin ja tietorakenteen pitää sopia yhteen myös palautuksen jälkeen. Merkittävä muutos voidaan ottaa ensin rinnakkaiseen seurantaan tai rajattuun käyttöön ennen laajentamista.
Sopikaa vastuut ja ylläpidon laajuus
Liiketoiminnan omistaja vastaa siitä, että käyttötarkoitus ja tulkinta pysyvät ajantasaisina. Tekninen vastuu kattaa aineiston kulun, ajot ja häiriöiden selvityksen sovitussa laajuudessa. Mallin laadun arvioinnille ja muutosten hyväksymiselle nimetään omat vastuunsa.
Dokumentoikaa käyttöympäristö, käyttöoikeudet, riippuvuudet ja tavalliset häiriötilanteet. Sopikaa myös, milloin seurannan havainto johtaa korjaukseen, uuden mallin arviointiin tai koko käyttötapauksen uudelleentarkasteluun.
Vecturan data engineering-, Google Cloud-, BI- ja ohjelmistokehityspalvelut voidaan yhdistää mallin tuotantokäyttöön. Toimitus voi kattaa ajastetun ennustetaulun ja raportin tai integraation olemassa olevaan sovellukseen. Oma tiiminne saa sovitun dokumentaation ja perehdytyksen jatkokäyttöä varten.
Tarvitsetteko pilotin osaksi jatkuvaa käyttöä?
Vectura auttaa suunnittelemaan ja toteuttamaan datan päivitykset, mallin käytön, integraatiot ja sovitun seurannan. Ensimmäinen keskustelu on maksuton.
Keskustellaan toteutuksesta