Information Architecture

Data Governance

Rappresentare dati, informazioni e conoscenza a supporto di utenti e agenti AI.

Industries:

Finance & Insurance - Retail & GDO - Energy & Utility - Life Science - Transportation - Industrial

Solutions:

AI - Data Governance

Technologies:

Blindata - Open Data Mesh

Contesto

Aumentare l’usabilità dei dati per ottenere maggior valore

I dati diventano asset liquidi solo se sono facilmente utilizzabili e, meglio ancora, riutilizzabili, generando rapidamente valore per l’organizzazione e massimizzando gli investimenti fatti. Pertanto, all’interno dei processi di Data Governance, serve costruire un’architettura informativa che supporti la ricerca e l’interrogazione della base dati aziendale.

Infatti, per essere davvero riutilizzabili, i dati devono essere comprensibili, ovvero arricchiti con il contesto e la semantica di dominio, così da poter essere interpretati e sfruttati efficacemente dagli utenti, che non conoscono gli aspetti tecnici dei sistemi.

La sinergia tra dati e AI

Oggi, con la diffusione dell’intelligenza artificiale generativa, avere un patrimonio di conoscenza condiviso e un’architettura informativa di qualità è fondamentale. Questo permette di rappresentare e interrogare in modo integrato dati strutturati (es: dati tabellari che rispettano un modello E-R), semi-strutturati (dati JSON/YML annidati) e dati non strutturati (documenti, immagini, registrazioni audio).

L’AI può aumentare efficienza, produttività e soddisfazione degli utenti solo se i dati sono completi e affidabili, e può anche supportare l’uomo, in una certa misura, nella costruzione e manutenzione dell’architettura informativa stessa.

L’AI usa lo stack informativo aziendale per dare risposte pertinenti e a sua volta supporta nel costruire l’architettura.

I problemi comuni senza un’architettura informativa

Senza un’architettura informativa integrata, le organizzazioni incontrano frequentemente difficoltà a:

→ Localizzare i data asset
Quando serve rispondere a una necessità di business o esplorare la base dati in cerca di nuove opportunità, può risultare complicato individuare i data asset rilevanti e capire come accedervi.

→ Interpretare il significato dei data asset
Molti dataset diventano difficili da usare e mantenere nel tempo perché è difficile comprenderne il contenuto e il contesto, soprattutto per dati legacy il cui presidio si è perso progressivamente.

→ Condividere una semantica di dominio comune
In aziende con domini di business complessi, le unità organizzative spesso sviluppano conoscenze e terminologie divergenti. Senza elementi semantici condivisi, si rischia la formazione di data silos.

→ Allineare linguaggio di business e terminologia dei dati
Per scalare la gestione dei dati e accelerare la delivery, i modelli operativi moderni puntano a creare team cross-funzionali allineati ai domini di business. Tuttavia, la costituzione di questi gruppi spesso è complessa, perché tradizionalmente business e IT hanno lavorato separati, con processi, termini e obiettivi distinti.

→ Difficoltà a riutilizzare i dati in modo versatile
Anche con architetture modulari e un approccio alla gestione dei dati come prodotti, senza una semantica condivisa e definita in modo esplicito, non è semplice sfruttare gli asset dati già esistenti in modo componibile e flessibile per diversi casi d’uso.

→ Difficoltà a estrarre contenuto informativo rilevante da dati non strutturati
Un’organizzazione quotidianamente produce contenuti in forma di procedure, documentazione, minute o registrazioni di riunioni. Se non si integra questo patrimonio con i dati strutturati generati dai sistemi attorno ad un modello semantico comune, è difficile estrarre elementi di valore da questi contenuti per migliorare la produttività.

Per valorizzare i dati e renderli realmente utili all’organizzazione, è necessario saper rispondere a domande fondamentali, come:

• Quali sono i data asset principali a disposizione dell’azienda?
• Qual è il significato di un dataset e come può essere interpretato correttamente?
• Quali sono i concetti di dominio più importanti e quali relazioni esistono tra di essi?
• Quali termini facilitano la comprensione dei dati da parte delle figure di business?
• Come capire se è sensato riutilizzare in modo combinato più data asset esistenti per i nuovi caso d’uso, invece di sviluppare soluzioni ad-hoc?
• Come ricondurre i contenuti non strutturati ai dati strutturati correlati e ai concetti di dominio fondamentali?

Un’architettura informativa integrata permette quindi di massimizzare il valore dei dati, favorendo coerenza, riutilizzo e comprensione condivisa all’interno dell’organizzazione.

Punti critici

La costruzione di un’architettura informativa integrata a livello aziendale si fonda su alcuni pilastri essenziali:

La conoscenza del dominio come patrimonio differenziante

La conoscenza del dominio è un patrimonio unico dell’organizzazione, frutto dell’apprendimento e dell’esperienza dei dipendenti. È ciò che distingue l’azienda dai competitor e viene internalizzata, trasmessa e utilizzata dalle persone, non è sostituibile né rigenerabile basandosi solamente sull’intelligenza artificiale.

Collegamento tra la semantica di dominio e i data asset

Formalizzare la conoscenza di dominio non è un esercizio fine a sé stesso: serve a massimizzare il valore per l’azienda favorendo il riuso degli asset informativi. È fondamentale mantenere un collegamento tra concetti di dominio e dati che li rappresentano, lavorando in sinergia e con una comunicazione costante tra tutte le figure coinvolte, sia IT sia business.

Interoperabilità tra dati strutturati e non strutturati

Rappresentare i dati non strutturati in modo che siano utilizzabili a complemento di quelli strutturati e che siano collegati allo stesso modello concettuale di dominio amplia il patrimonio informativo e permette di estendere anche la conoscenza di dominio stessa, sfruttando quanto le persone hanno già prodotto anche se in una forma non organizzata.

Approccio strategico e orientato al valore

Costruire l’architettura informativa comporta investimenti significativi. Serve quindi una strategia integrata di data & AI, che indirizzi gli sforzi verso i casi d’uso prioritari con un approccio incrementale e orientato al valore.

Soluzione

Cos’è un’architettura informativa

L’architettura informativa si costruisce sviluppando alcuni livelli al di sopra di quello dei puri dati, che migliorano la loro comprensione e la possibilità di renderli azionabili, ovvero usarli per prendere decisioni, eseguire azioni e ricavare valore per l’organizzazione. Ogni livello aggiunge elementi di contesto: quest’ultimo aumenta notevolmente la possibilità di usare gli asset dati sia singolarmente sia in combinazione tra di loro.

Costruire i livelli di informazioni, conoscenza e intelligenza migliora l’usabilità dei dati.

Definire una buona base di metadati consente di trasformare i dati in informazioni comprensibili, almeno ad un livello base.
Modellare la semantica di dominio, con le relazioni tra i concetti rilevanti, migliora ulteriormente la comprensibilità delle informazioni e, soprattutto, la versatilità con cui queste possono essere utilizzate.
L’aggiunta di algoritmi implementa l’intelligenza necessaria a tradurre gli insight comunicati dalle informazioni arricchite di conoscenza di dominio in decisioni o azioni di business.

Cos’è l’Enterprise Knowledge Graph

Un modo elegante di rappresentare l’architettura informativa è tramite la costruzione di un Enterprise Knowledge Graph virtuale, che colleghi gli elementi di conoscenza semantica del dominio ai dati presenti in piattaforma e ai metadati necessari ad arricchirne il contesto.

L’architettura informativa in forma di Knowledge Graph offre un contesto condiviso a diversi agenti di AI.

Di seguito sono descritti gli elementi che costituiscono il knowledge graph.

Ontologia Aziendale

È un modello concettuale rappresentato in forma di grafo e interpretabile sia dall’uomo sia dalle applicazioni, che esprime la conoscenza di dominio in termini di:
• Concetti: le entità rilevanti per i processi di business (ad esempio: Cliente, Prodotto, Ordine)
• Attributi: le proprietà rilevanti dei concetti (ad esempio: lo Stato di un cliente, la Descrizione del prodotto, la Data dell’ordine)
• Relazioni: le relazioni semantiche che legano i concetti (o gli attributi), espresse da predicati (ad esempio: Prodotto è comprato da Cliente).

L’ontologia è una forma di modello concettuale più espressiva del tradizionale Business Glossary che è ampiamente noto in ambito di Data Governance.

Un esempio di ontologia di business.

Data Product

I Data Product sono le unità di modularizzazione, ownership e deployment nell’architettura dati che hanno lo scopo di esporre uno o più data asset di dominio in modo facilmente consumabile dagli utilizzatori. Questi possono essere utenti, applicativi o altri data product.
Ciascun data product è gestito sotto la responsabilità di un Data Product Owner, ha un perimetro, un valore riproducibile nel tempo per i suoi utilizzatori, un ciclo di vita indipendente dagli altri e interfacce esplicite governate da data contract.
Per maggiori dettagli sull’anatomia di un Data Product, consultare la pagina Data Mesh.
I data product presenti nell’architettura vengono registrati nel Data Product Catalog e l’accesso ad essi viene governato attraverso il Data Product Marketplace.

Un data product espone:
→ Gli asset dati fisici, sia strutturati sia non strutturati, tramite le porte di output;
→ I metadati necessari ad aggiungere contesto ai dati e renderli a tutti gli effetti informazioni utilizzabili, tramite altri tipi di porte.

Asset Dati Fisici e Semantic Linking

Gli asset dati fisici esposti dai data product possono essere di diverso tipo: tabelle e viste relazionali, topic di una piattaforma di event-streaming, cartelle di un bucket, o di un sistema di condivisione dei contenuti…

Tramite i metadati, si traccia il collegamento semantico (detto anche lineage verticale nella Data Governance tradizionale) tra gli asset dati e i concetti dell’ontologia aziendale. In modo analogo, il collegamento viene tracciato anche a livello di singolo campo fisico all’interno degli asset, indicando a quale attributo concettuale i dati contenuti nel campo fisico fanno riferimento. Questa mappatura lega il piano fisico con il modello di dominio, permettendo di disambiguare le relazioni che sussistono tra gli asset.

Uno dei casi più comuni che dimostra l’utilità del collegamento semantico è la presenza, all’interno di una stessa tabella, di due chiavi esterne che fanno riferimento alla stessa tabella target, ma che esprimono relazioni differenti. In assenza di un collegamento semantico, non è immediato interpretare come utilizzare correttamente le due chiavi nelle operazioni di join tra le tabelle.

Un altro esempio pratico è il collegamento sia di tabelle di dati strutturati sia di istanze di dati estratte da contenuti non strutturati tramite applicazioni di AI agli stessi concetti e attributi dell’ontologia. Questo permette di capire un concetto di dominio (ad esempio: i contratti) possono essere analizzati mettendo insieme i dati tabellari generati dai sistemi con documenti allegati conservati nel sistema di gestione dei contenuti.

Gli asset dati fisici con i rispettivi metadati sono registrati nel Data Catalog, anch’esso uno degli strumenti comuni utilizzati ai fini di Data Governance.

L’Enteprise Knowledge Graph virtuale implementa così i livelli di dati, informazioni e conoscenza dell’architettura informativa e pone le fondamenta di gestione dei metadati che ha costituito da sempre uno degli elementi principali della Data Governance.

L’Enterprise Knowledge Graph come contesto per gli agenti di AI

Il Knowledge Graph costituisce il contesto comune che può essere utilizzato tramite i processi di retrieval da diversi agenti di intelligenza artificiale per migliorare l’esperienza di ricerca, interrogazione dei dati e supporto agli utenti nell’estrazione di insight.

Gli agenti possono inoltre contribuire a estendere l’architettura informativa alla base tramite i processi di learning, con cui vanno a persistere nel Knowledge Graph nuovi elementi di conoscenza, informazioni e dati che hanno appreso dall’interazioni conversazionali con gli esperti di dominio o ricavato elaborando contenuto non strutturato già presente in azienda.

Il percorso completo

Quantyca supporta i clienti nel percorso necessario per impostare con successo la costruzione di un’architettura informativa, che prevede le seguenti fasi:

1 Assessment stato AS-IS

Mappatura dello stato corrente relativo a diffusione della cultura dei dati, maturità dei processi di metadata management esistenti e strumenti utilizzati.

2 Definizione strategia

Definizione di una strategia dati & AI integrata in funzione delle necessità aziendali

3 Implementazione modello operativo

Avvio dei programmi per lo sviluppo dell’architettura informativa in funzione dei casi d’uso.

4 Implementazione piattaforma

Progettazione e implementazione della piattaforma tecnologica necessaria per la costruzione dell’architettura informativa.

5 Progetti pilota

Sviluppo dei data product (comprensivo di gestione dei metadati) e supporto alle figure di business per la modellazione dell’ontologia aziendale.

6 Enabling

Diffusione di principi, buone pratiche, competenze metodologiche e tecnologiche ai gruppi aziendali per abilitare l’estensione dell’architettura informativa su larga scala.

Vantaggi

Costruire un’architettura informativa integrata in forma di Knowledge Graph virtuale consente di:

Favorire il riuso dei dati

Un design modulare basato sui Data Product e il collegamento semantico con l’ontologia aziendale migliora le possibilità di comporre i Data Product in modo versatile per soddisfare più casi d’uso e ridurre i costi per l’azienda nel medio-lungo periodo.

Condividere la semantica di dominio

La formalizzazione della conoscenza aziendale permette di identificare i concetti di dominio di significato condiviso all’interno dell’organizzazione, riducendo ambiguità e frizioni nella condivisione dei dati tra le diverse unità di business.

Ridurre il gap tra le figure di business e l’IT

La collaborazione di figure cross-funzionali nella costruzione dell’architettura informativa e il focus sulla semantica permettono di avvicinare il linguaggio del business alla terminologia usata dall’IT, migliorando l’efficienza operativa e favorendo la diffusione di una cultura dei dati condivisa in azienda.