Data engineering -palvelu kattaa tiedon keräämisen, käsittelyn ja mallintamisen sovittuun käyttötarkoitukseen. Toimeksianto voi olla yksi rajapintaintegraatio, dbt-mallien kehitys tai datainsinöörin työpanos osana omaa tiimiänne.
Vectura Solutions Oy:llä on kokemusta dataputkien ja raportoinnin toteutuksesta vuodesta 2018. Työ on kattanut tuhansia datamalleja sekä tuotannossa olevien ratkaisujen ylläpitoa. Kokemukseen kuuluu suomalaisten mediatalojen dataympäristöjen kehittämistä, GA4-migraatioita ja BigQueryyn rakennettuja datamalleja.
Keskustellaan datainsinööritarpeestaRajapintaintegraatiot ja dataputket tuotantokäyttöön
Selvitämme lähdejärjestelmien tarjoamat tiedot, tunnisteet ja päivitysmahdollisuudet. Toteutamme esimerkiksi Pythonilla tiedonsiirron rajapinnasta BigQueryyn ja sovimme, miten sen onnistumista seurataan.
- Tietojen keruu rajapinnoista, tietokannoista ja tiedostoista
- Ensimmäinen lataus ja myöhempien muutosten käsittely
- Rajapintojen käyttörajat, sivutus ja tunnistautuminen
- Uudelleenyritykset ja uudelleenajot ilman tahattomia kaksoiskappaleita
- Ajastukset, riippuvuudet ja tarvittaessa orkestrointi
- Lokitus, poikkeamien seuranta ja ylläpidon dokumentaatio
dbt-mallinnus ja tiedon laadun tarkistukset
Muutamme lähdeaineistot datamalleiksi, joita raportit ja analyysit voivat käyttää. Sovimme laskentasäännöt liiketoiminnan kanssa ja pidämme mallien muutokset versionhallinnassa. dbt auttaa hallitsemaan mallien riippuvuuksia, testejä ja dokumentaatiota.
Tarkistukset suunnitellaan aineiston mukaan: esimerkiksi tunnisteiden yksikäsitteisyys, puuttuvat tiedot, aineiston tuoreus ja täsmäytykset lähteisiin. Sovimme myös, miten havaittuun poikkeamaan reagoidaan ennen seuraavia käsittelyvaiheita.
Luotettavat lähtöaineistot koneoppimiselle
Valmistelemme tietoa ennustemallien, asiakassegmentoinnin ja tekstien luokittelun käyttöön. Työ voi sisältää esimerkiksi kattavan päivittäisen aikasarjan, asiakaskohtaiset osto- ja käyttötiedot tai luokitteluun rajatun tekstiaineiston. Sovimme tunnisteet, laskentasäännöt ja ajankohdan, jota kukin aineisto kuvaa.
Tarkistamme puuttuvat tiedot, kaksoiskappaleet ja aineiston tuoreuden ennen mallin ajoa. Mallin arvioinnissa estämme myöhemmin syntyneiden tietojen päätymisen aiempaa ajankohtaa kuvaavaan lähtöaineistoon. Tuotannossa huolehdimme sovituista riippuvuuksista, uudelleenajoista ja tulosten siirrosta raportointiin tai sovelluksiin.
Datainsinööri rajattuun toteutukseen tai oman tiimin tueksi
Voimme vastata sovitusta integraatiosta tai kehittää nykyistä dataputkea. Jatkuvassa yhteistyössä sovimme työpanoksen ja vastuualueen oman data- tai kehitystiiminne kanssa. Käytämme organisaationne versionhallintaa, katselmointeja ja julkaisukäytäntöjä.
Toimituksen hyväksymiskriteerit, lähdekoodin luovutus ja ylläpidon vastuut sovitaan työn alussa. Dokumentaatio ja perehdytys auttavat omaa tiimiänne jatkamaan kokonaisuuden kehittämistä.
Miten voimme auttaa
Tekninen arviointi
Putkien, mallien ja riippuvuuksien läpikäynti sekä kehityssuunnitelma.
Dataputken toteutus
Tiedonkeruu ja datamallit testauksineen sekä käyttöönottoineen.
Asiantuntijayhteistyö
Sovittu data engineering -vastuualue osana jatkuvaa kehitystä.