Google Cloud Platform on hyvä alusta datatyölle, koska sen palvelut skaalautuvat pienestä alkuun ilman etukäteisinvestointia. BigQuery maksaa käytön mukaan, Cloud Run pyörii nollassa kun kutsuja ei tule, ja koko ympäristö saadaan pystyyn ilman palvelinhallintaa.
Sama joustavuus tekee myös helpoksi rakentaa ympäristön, jonka lasku yllättää. Mitoitamme ratkaisut todelliseen käyttöön ja rakennamme kustannusseurannan mukaan alusta asti.
BigQuery-datavarasto
BigQuery on useimmiten koko dataratkaisun keskus: kaikki lähdejärjestelmät kirjoittavat sinne, mallinnus tehdään siellä ja raportointi lukee sieltä. Kun tämä kerros on kunnossa, raportointityökalun voi vaihtaa milloin tahansa ilman että perusta murenee.
- Datavaraston rakenne: raakadata, mallinnetut taulut ja raportointikerros erillään
- Partitiointi ja klusterointi, jotta kyselyt eivät lue turhaa dataa
- Käyttöoikeudet ja tietosuoja: kuka näkee mitäkin ja millä perusteella
- Kustannusseuranta ja budjettihälytykset ennen kuin lasku yllättää
Dataputket ja automaatiot
Data ei siirry itsestään. Rakennamme putket, jotka hakevat tiedon lähdejärjestelmistä, muuntavat sen käyttökelpoiseksi ja kertovat jos jokin menee pieleen — hiljainen epäonnistuminen on datatyössä pahin vikatila.
- Ajastetut latausputket rajapinnoista ja tiedostoista
- DBT-muunnokset versionhallinnassa, testeineen ja dokumentaatioineen
- Cloud Run ja Cloud Functions kevyisiin palveluihin ja ajoihin
- Pub/Sub ja Dataflow, kun dataa tulee jatkuvana virtana
- Valvonta ja hälytykset, jotta virhe huomataan ennen kuin raportti on väärässä
Tausta
Yrityksen tausta on Googlen datakeskusmaailmassa, ja infrastruktuurin toimintaperiaatteet ovat tuttuja pintaa syvemmältä. Sen jälkeen olemme rakentaneet GCP-ympäristöjä suomalaisille asiakkaille vuodesta 2018 — mediatalojen suurten datamäärien käsittelystä pk-yritysten ensimmäisiin datavarastoihin.
Miten voimme auttaa
GCP-kartoitus
Nykytilan arviointi, arkkitehtuuriehdotus ja kustannusarvio.
Datavaraston rakentaminen
BigQuery-ympäristö, latausputket ja mallinnus tuotantokuntoon.
Kustannusoptimointi
Olemassa olevan ympäristön läpikäynti ja konkreettiset säästötoimet.