Tuttu kuvio monessa yrityksessä: Talosta löytyy joukko legacy-järjestelmiä, joista datan saaminen ulos on hankalaa. Sinänsä järjestelmät voivat hyvinkin palvella erinomaisesti käyttötarkoituksessaan, mutta bisneksen kannalta olisi hyvä saada eri systeemien datat yhteiselle alustalle, jotta niistä voidaan ottaa kaikki hyödyt irti. Perinteisesti ongelmaa on ratkottu tietovarastojen avulla, joilla tarkoitetaan tietojen keräämistä eri lähteistä yhteiselle alustalle hyödynnettäväksi.
LEGACY-JÄRJESTELMIEN HAASTEET
Yleensä legacy-järjestelmät ovat optimoitu yksittäisiä, vain pientä murto-osaa koko datasta koskevia operaatioita varten. Tällaisia ovat esimerkiksi tilausrivin lisääminen tai asiakkaan puhelinnumeron päivittäminen. Poimintahaut tietovarastoon ovat täysin päinvastaisia, eli ne koskettavat suurta osaa koko tietomassasta ja aiheuttavat siten huomattavan kuorman lähteelle. Siksi poiminnat joudutaan pääsääntöisesti ajamaan yöaikaan ennalta sovituissa aikaikkunoissa. Tämä taas johtaa siihen, että raportoinnissa tuijotellaan pääsääntöisesti eilisen numeroita. Kun päälle leivotaan yleismaailmallinen, yhä enenevissä määrin tapahtuva siirtyminen kohti 24/7-ajattelua ja siitä aiheutuvat kapenevat siirtoaikaikkunat ja kasvavat tietomassat, alkaa soppa olla melkoisen sakeaa.
REAALIAIKAISUUTTA REPLICATELLA
Toki on olemassa liiketoiminnan osa-alueita, joille eilisen data on täysin riittävä tarkkuus, mutta esimerkkejä löytyy myös toisesta ääripäästä: reaaliaikaisuudesta. Qlik hankki viime vuonna Attunityn, jonka tuotepaletista löytyy teknologia nimeltä Replicate. Se on tuote, joka kytkeytyy isoon joukkoon erilaisia lähteitä (mm. Oracle, SQL Server, SAP, DB2 jne.), poimii näiden dataan kohdistuneet muutokset ja vie ne reaaliajassa haluttuun kohteeseen.
Teknologiaa konepellin alla kutsutaan CDC:ksi (Change Data Capture), ja sen ideana on kytkeytyminen suoraan kannan transaktiologiin kantaan kohdistuvien muutosten poimimiseksi. Transaktiologi on relaatiotietokantojen peruskomponentti, jonka tehtävänä on pitää kirjaa kaikista kannassa tapahtuvista muutoksista. Kun ERP:ssä esimerkiksi päivitetään asiakkaan puhelinnumero asiakastietoihin, generoituu tästä alla olevan kannan transaktiologiin päivityskomento. Nimenomaan näitä ja vastaavia muutoskomentoja Replicate “kyttää” ja välittää eteenpäin haluttuun kohteeseen. Mikä tärkeintä: kytkeytymällä suoraan tähän logiin Replicate ei aiheuta kuormaa itse kannalle.
Replicate pystyy lähettämään muutostiedot moneen eri kohteeseen sekä on-premise- että cloud-ympäristöissä. Näitä ovat mm. Snowflake, Azure Synapse, Data laket ja suuri joukko perinteisiä relaatiotietokantoja. Sillä on jopa mahdollista puskea muutostiedot Kafka-viestijonoihin. Kaikki tämä siis reaaliajassa ja lähdettä rasittamatta.
SAP-DATA HALTUUN GOLD CLIENTILLA
Attunity-kaupan mukana tuli muutakin mielenkiintoista, kuten Compose, jolla voidaan rakentaa Replicaten tuottaman datan päälle Data lakeen valmiita datasettejä tai luoda kohdetietovarastoon tietokantamalli automatisoidusti. Toinen mielenkiintoinen tuote on Gold Client, joka pystyy purkamaan SAP:n (eksoottisen) taulurakenteen ymmärrettävään muotoon. Gold Client mahdollistaa mielenkiintoisia skenaarioita Replicateen yhdistettynä. Mietitäänpä vaikkapa käyttötapausta, jossa Gold Clientin ideologialla toimiva Replicate poimii SAP:n transaktiotauluista dataa reaaliajassa ja puskee ne saman tien Azure Databricksiin. Tässä ympäristössä datatieteilijä voi rakentaa esimerkiksi koneoppimismallin ja kytkeä sen pisteyttämään saapuvaa dataa reaaliajassa. Rinnalle voidaan valjastaa raportti, johon pisteytetty data viedään heti eli käppyrät ns. päivittyvät lennossa.
Mainituilla tuotteilla on helppo mahdollistaa täysin uusia ja erityisesti reaaliaikaisia käyttötapauksia, vaikka itse lähdejärjestelmä olisi luokkaa museotavara. Ei siis ole välttämätöntä ryhtyä kalliisiin migraatioprojekteihin vaan jo olemassa olevista järjestelmistä voidaan ottaa huomattavasti nykyistä enemmän irti ja saavuttaa sitä kautta kustannussäästöjä.
Jos kiinnostuit, ota rohkeasti yhteyttä. Puristetaan yhdessä enemmän irti legacystä!
