Cloud Data Platform

Data Infrastructure

Data Platform

Data Strategy

Creare una piattaforma cloud native per l’analisi dei dati

Industries:

Finance & Insurance - Retail & GDO - Transportation - Energy & Utility - Life Science - Industrial

Solutions:

Data Infrastructure - Data Platform - Data Strategy

Technologies:

Aws - Azure - Blindata - Confluent - Databricks - Google Cloud Platform - Open Data Mesh - Snowflake

Contesto

La possibilità di scalare in modo elastico risorse di storage e computazione unitamente al modello di tariffazione a consumo rende il Cloud l’ambiente ideale per progettare moderne data platform capaci di superare i limiti tradizionali di data warehouse e data lake on premises.

Per questo motivo i workload di integrazione, storage a analisi dati sono tra i primi use case attivati nei percorsi di cloud transformation di molte aziende.

E’ tuttavia necessario, per poter sfruttare a pieno il Cloud al fine di aumentare l’agilità dello sviluppo riducendo al contempo i costi di gestione, ripensare l’architettura delle data platform.

Punti critici

I problemi principali delle data platform on prem sono:

Impossibilità di scalare le risorse in modo elastico. Nei momenti di elevato carico la piattaforma è spesso in difficoltà mentre nei momenti basso carico si paga per risorse idle
Impossibilità di scalare storage e computazione in modo indipendente. Dovendo incrementare uno dei due bisogna aumentare anche l’altro. L’unità di scaling è il server all’interno del cluster
Elevati costi operativi per configurare e gestire architetture complesse, distribuite e spesso composte da molteplici tecnologie sviluppate da differenti vendor

75% of all databases

will be deployed or migrated to a cloud by 2022

Gartner

50% of new system deployments in cloud

ill be based on a cloud data management ecosystem by 2023

Gartner

Soluzione

La cloud data platform sfrutta le peculiarità del cloud per acquisire, trasformare, memorizzare e rendere accessibile una quantità potenzialmente illimitata di dati riducendo i costi operativi e aumentando l’agilità di sviluppo.

Una volta acquisiti in modalità batch o real time i dati vengono memorizzati e consolidati all’interno del data lake per mezzo di processi di integrazione on demand.

Al di sopra del data lake costituito da un sistema di storage scalabile ed economico (i.e. object storage) vengono innestati i motori di interrogazione che permettono di accedere al dato. A seconda del tipo di pattern di accesso è possibile avere differenti tipologie di motore di interrogazione.

E’ possibile dotarsi inoltre di uno strumento di data virtualization per fornire ai consumatori analitici un unico layer semantico di accesso al dato mascherando così la frammentazione sottostante in più motori di interrogazione.

Integrate

Acquisizione e consolidamento dei dati provenienti dai sistemi sia in modalità batch che real time

Store

Memorizzazione dei dati grezzi e di tutti i layer successivi di consolidamento in sistemi di storage a basso costo e con possibilità di storage potenzialmente illimitate

Query

Accesso ai dati memorizzati con diversi motori di interrogazione in funzione del tipo di query e workload sottostante

Percorso completo

1. Setup

Definizione dell’infrastruttura tecnologica e dell’architettura dati. Connessione con le sorgenti dati.

2. Land

Primo data product completo con pipeline di acquisizione e consolidamento del dato. Esposizione ai consumatori analitici attraverso un layer semantico centralizzato.

3. Expand

Aggiunta di nuovi data product e copertura di nuovi domini dati.

Vantaggi

Capacità di memorizzazione e computazione potenzialmente infinite

Scaling elastico delle risorse

Possibilità di scalare storage e computazione separatamente

Modello di tariffazione a consumo

Riduzione dei costi di integrazione tra data lake e data warehouse

Riduzione dei costi operativi

Accessi al dato semplificati e controllati grazie al layer semantico unificato

Maggior agilità di sviluppo

Success stories

Selex – Retail Analytics in Cloud

Selex realizza la nuova piattaforma di retail analytics in Cloud...

Arcese – Velocity

Arcese S.p.A. investe in tecnologie che abilitano il real time...

Events

Online Webinar

Cloud Data Fabric 2021

Data e ora: 20/10/2021

Temi principali In questo webinar abbiamo parlato di come sia possibile realizzare una Data Fabric in cloud e moderna. Abbiamo parlato delle caratteristiche di questo tipo di architettura, dei suoi vantaggi...

Scopri

Online Webinar

Digital Integration Hub 2021

Data e ora: 07/07/2021

Temi principali In questo webinar verrà presentato il DIH come pattern architetturale in grado di disaccoppiare i sistemi legacy dai consumatori e, allo stesso tempo, rendere disponibili i dati ai...

Scopri

Hybrid Event

IKN Forum Retail 2021 – Capitolo 1

Data e ora: 24/06/2021

Process Mining for Custmer Journey Analysis: Ricostruire ed analizzare il reale comportamento del cliente in un ecosistema complesso Quantyca ha partecipato a Forum Retail 2021, l’evento di IKN Italy pensato...

Scopri

Hybrid Event

IKN Forum Retail 2021 – Capitolo 2

Data e ora: 28/10/2021

Quantyca ha partecipato a IKN – Forum Retail 2021, l’evento di IKN Italy pensato per la sua community #onforumretail. Francesco Gianferrari Pini, Co-Founder di Quantyca e Matteo Gabanini, Business Intelligence IT...

Scopri

Video Talk

Snowflake, una Data Platform coi fiocchi 2020

Data e ora: 13/03/2020

Quantyca, società di consulenza tecnologica specializzata in Data Management e partner di Snowflake, ha raccontato quali sono le principali sfide nel mercato di oggi e quali sono i vantaggi competitivi nell’utilizzare...

Scopri