Data Engineering

La natura trasversale ed eterogenea di questa disciplina ne implica la criticità e complessità per le organizzazioni. Richiede infatti un’ampia varietà di conoscenze su strumenti molto diversi tra loro, tipicamente in rapida e continua evoluzione.

Tra gli aspetti da coprire spiccano:

• Il movimento dei dati da una sorgente a una destinazione
• Il controllo degli accessi e la segregazione delle informazioni
• L’elaborazione, la trasformazione e l’arricchimento dei dati
• L’orchestrazione e automazione di flussi dati
• La governance, dal censimento del significato dei dati alla loro localizzazione fisica, dal mapping tra forma fisica e semantica al lineage per tracciarne la diffusione, dalla data quality alla gestione dei consensi

Per il successo della data strategy è inoltre cruciale la capacità di disegnare architetture dati scalabili e affidabili, privilegiare il poliglottismo e ridurre il lock-in.