Amazon OpenSearch Service

La visual search consente agli utenti di effettuare query di ricerca utilizzando contenuti multimediali ricchi di informazioni, come le immagini. La sua implementazione è simile alla ricerca semantica: si creano embedding vettoriali dalle immagini presenti nella knowledge base e si interroga il servizio OpenSearch con un vettore (codifica della query di ricerca). La differenza rispetto alla ricerca semantica sta nell’utilizzo di un modello di embedding esterno (ad esempio, una Convolutional Neural Network (CNN) hostata su Amazon SageMaker oppure un modello di Amazon Titan) per convertire le immagini in vettori. 

Amazon OpenSearch ha introdotto il supporto multimediale per la Neural Search, alleggerendo la necessità di integrazione con modelli di embedding esterni e prediligendo l’utilizzo delle API multimodali per testo e immagini fornite da Amazon Bedrock. Con il supporto multimodale, si possono effettuare interrogazioni su OpenSearch utilizzando immagini, testo o entrambi. Questa funzionalità consente di ricercare immagini descrivendone le caratteristiche visive, scoprire altre immagini simili utilizzando una knowledge base visiva, oppure combinare una ricerca ibrida di testo e immagini per trovare corrispondenze sia dal punto di vista semantico che visivo. 

La Retrieval Augmented Generation (RAG) è un metodo di AI generativa che sfrutta gli LLM per sviluppare esperienze conversazionali per gli utenti. Tuttavia, i modelli linguistici generativi, quando utilizzati in modo isolato, possono incorrere in allucinazioni, ossia situazioni in cui il modello genera risposte credibili ma fattualmente errate. Il servizio di database vettoriale fornito da Amazon OpenSearch emerge come la soluzione ideale per risolvere questa sfida, agendo come base di conoscenza esterna: mette a disposizione degli LLM una fonte di conoscenza derivata dalla trasformazione di documenti testuali in embedding, mirando a migliorare significativamente la precisione e la coerenza delle risposte.