Datainsinöörin työ on tehdä datasta luotettavaa: hakea se lähdejärjestelmistä, muuntaa yhtenäiseen muotoon, testata että se on järkevää ja pitää putki käynnissä. Työ näkyy ulospäin vain silloin kun se ei toimi.
Teemme tämän kerroksen kokonaisuutena — suunnittelusta tuotantoon ja ylläpitoon. Emme jätä käyttöön ratkaisuja, joita vain me osaamme ylläpitää.
Mitä data engineering -toimeksianto sisältää
- Datalähteiden kartoitus: mitä dataa on, missä se on ja missä kunnossa
- Latausputket rajapinnoista, tietokannoista ja tiedostoista BigQueryyn
- Muunnokset DBT:llä: mallinnetut taulut, testit ja automaattinen dokumentaatio
- Datan laadun valvonta ja hälytykset poikkeamista
- Versionhallinta ja CI/CD, jotta muutokset ovat jäljitettäviä ja peruttavissa
- Perehdytys ja dokumentaatio, jotta ylläpito on siirrettävissä
Miksi DBT
Käsin ylläpidetyt SQL-skriptit ovat datatyön yleisin velka. Ne toimivat aluksi, kasvavat vähitellen ja päätyvät tilaan, jossa kukaan ei uskalla muuttaa mitään, koska riippuvuudet eivät ole näkyvissä.
DBT tuo mukanaan riippuvuuksien hallinnan, testit ja dokumentaation. Käytännön ero on siinä, että muutoksen vaikutus näkyy etukäteen ja rikkoutunut oletus huomataan ajossa eikä raportissa. Se on myös laajasti käytetty työkalu, joten seuraava tekijä tunnistaa ympäristön.
Datainsinööri projektiin tai jatkuvasti
Osa toimeksiannoista on rajattuja projekteja: rakennetaan putki, siirretään ympäristö tai korjataan rikkoutunut kokonaisuus. Osa on jatkuvaa kumppanuutta, jossa vastaamme dataympäristön kehityksestä sovitulla kuukausipanoksella.
Pisimmät asiakassuhteemme ovat jatkuneet vuosia, mikä on datatyössä olennaista: putket vaativat huoltoa, kun lähdejärjestelmät muuttuvat.
Miten voimme auttaa
Dataympäristön auditointi
Nykyisten putkien ja mallien läpikäynti, riskit ja korjausjärjestys.
Putkien rakentaminen
Lähdejärjestelmistä mallinnettuun dataan asti, testeineen.
Jatkuva data engineering
Sovittu kuukausipanos ympäristön kehittämiseen ja ylläpitoon.