Arcese - Velocity

Arcese S.p.A. investe in tecnologie che abilitano il real time come paradigma della propria Data Platform al fine di creare nuovi servizi e rispondere alla necessità del mercato di “real time visibility”.

Solutions:

Data Platform - Data Products

Technologies:

Confluent - Azure - Debezium

Overview

ll Gruppo Arcese è un operatore logistico globale in grado di fornire soluzioni a copertura dell’intera supply chain: dal trasporto terrestre e intermodale, spedizioni mare e aereo, gestione magazzini e logistica integrata. Arcese unisce la conoscenza dei mercati locali a decenni di esperienza e competenza nel commercio globale.

Grazie ad una presenza globale diretta e a collaborazioni con partner specializzati nei 5 continenti, il Gruppo è la scelta strategica per migliaia di aziende che operano nei principali settori industriali.

Sfide e obiettivi

→ Velocity: la disponibilità del dato come facilitatore nella costruzione di servizi real time di altissimo valore

→ Dati come Asset a sostegno dei processi decisionali e allo sviluppo di soluzioni Innovative

Per rimanere competitivi nel settore della logistica è necessario sempre più fornire ai propri clienti servizi integrati e veloci, possibilmente real time, sfruttando le nuove tecnologie per garantire un controllo della movimentazione delle merci preciso e puntuale. La digitalizzazione e l’adozione delle nuove tecnologie sono due pilastri fondamentali nella strategia di business di Arcese. Per questo motivo, abbiamo collaborato prima ad uno specifico caso d’uso, ovvero quello dei trasporti terrestri o stradali in ambito LTL, e successivamente ad un modello architetturale che permettesse di estendere le funzionalità e le tecnologie impiegate in modo sempre più esteso.

Soluzione

In particolare, come Quantyca abbiamo supportato Arcese nel raggiungimento dei seguenti obiettivi:

Sviluppo di una piattaforma di Event Streaming per l’integrazione in real time degli Ordini di Trasporto

Sfruttando strumenti tecnologici come il CDC Debezium e la piattaforma streaming Confluent Cloud, è stato possibile elaborare le informazioni delle spedizioni eseguite via terra in modalità real time, riducendo notevolmente la latenza necessaria per ottenere gli eventi di tracking forniti da Arcese ai propri clienti. Sono state realizzate delle applicazioni Kafka Streams in grado di ricostruire le transazioni avvenute sul sistema gestionale sorgente, in modo da generare eventi di dominio in un formato standard definito.

Data Strategy

Per raggiungere gli obiettivi di democratizzazione e centralizzazione dei dati, riducendo i tempi ed i costi di integrazione, è stata svolta un’attività di Data Strategy Assessment. É stata dunque ideata un’architettura Event Driven, con una strategia di storage poliglotta basata sul concetto di Data Fabric. É stato inoltre introdotto uno strumento di Data Governance per la definizione di un Business Glossary e l’integrazione con i diversi processi di data management aziendali.

Architettura

Per raggiungere gli obiettivi prefissati sono state svolte diverse attività di progettazione e di sviluppo:

Configurazione della piattaforma Confluent Cloud, definendo le modalità di connessione con il Cloud Arcese
Sviluppo e monitoraggio dei connettori source e sink necessari
Sviluppo di applicazioni Kafka Streams utilizzando il framework Sping Boot
Sviluppo di applicazioni di micro-batching utilizzando il framework Spring Boot e Spring Batch
Definizione ed adozione delle pipeline di CI/CD per la gestione del ciclo di vita del codice
Definizione ed implementazione di Integration Test end-to-end per tutte le applicazioni coinvolte, per verificare la bontà degli sviluppi
Implementazione di applicazioni di Data Quality per eseguire test automatizzati a campione sull’ampio volume di dati prodotto
Definire le regole e le politiche di Scalabilità e elasticity
Adozione del paradigma di architettura riproducibile (IaC)

Risultati

Arcese ha raggiunto diversi obiettivi:

Il monitoraggio dell’Ordine di Trasporto e la sua esecuzione nell’ambito LTL è passato da decine di minuti a pochi secondi
I dati elaborati in real time sono stati definiti seguendo uno Unified Data Model che rispecchia al meglio i concetti di business
L’architettura introdotta può gestire alti volumi di dati, compresi casi di picchi, grazie all’estesa distribuzione di calcolo
I costi di integrazione si riducono notevolmente, il dato prodotto al fine di essere condiviso è uniforme, non ambiguo e di qualità certificata, rendendolo facilmente estendibile e scalabile
A tutti i livelli dell’architettura è possibile raccogliere metadati sempre più necessari ai fini dei processi di governance