AI

Come creare prodotti AI realmente efficaci, fase 4: valutazione online o monitoraggio

14/9/2021
Read in ENGLISH

Adattarsi al cambiamento per resistere nel tempo: ecco la vera sfida del Machine Learning

Un modello di ML ideato e sviluppato attraverso le tre fasi descritte nei post precedenti, magari utilizzando tutti gli accorgimenti e gli strumenti indicati, risulterà molto accurato e, soprattutto, efficace. Certo, ma fino a quando? Il mondo cambia continuamente nel tempo, e con esso i dati che lo esprimono. Ecco perché ogni sistema di Machine Learning è esposto al degrado delle proprie prestazioni nel tempo, dovendo confrontarsi con dati reali, dunque mutevoli. È dunque il monitoraggio - o valutazione online - che permette di far adattare il modello ai cambiamenti del mondo, per mantenerlo accurato e consistente.

Blog post precedente

Il banco di prova AKA monitorare le prestazioni del modello su dati reali

Come anticipato qualche riga fa, il monitoraggio delle prestazioni del modello di ML su dati reali è l’ultimo passaggio del processo made in Aptus.AI per la creazione di soluzioni AI davvero efficaci. A questo punto è utile - soprattutto per chi si è perso le altre tappe - fare un riepilogo e dare i riferimenti delle puntate precedenti.

  • Intro: cosa succede davvero quando i modelli di Machine Learning devono affrontare i bisogni del mercato.
  • Definizione del problema (fase 1): perché il successo nasce sempre da una chiara identificazione del bisogno a cui si vuole rispondere e come fare per definirlo.
  • Preparazione dei dati (fase 2): la predisposizione di set di dati specifici per il training è essenziale per realizzare un modello efficace.
  • Design del modello e valutazione offline (fase 3): gli accorgimenti da seguire per ottimizzare la fase più standardizzata, ma allo stesso tempo delicata, dello sviluppo di prodotti basati sul ML.

Una volta costruito un modello soddisfacente, il focus deve dunque spostarsi sul degrado delle prestazioni causato da dati e concetti che, nel contesto del business, inevitabilmente cambiano nel tempo. Come già osservato, il mondo della ricerca universitaria fa invece eccezione, dato che spesso prevede l’utilizzo di set di dati predefiniti - statici e normalizzati -, allo scopo di confrontare come diversi modelli si comportino rispetto agli stessi dati, appunto. In un contesto commerciale, però, dati e concetti sono in costante evoluzione, dunque da monitorare con attenzione per salvaguardare le prestazioni del modello nel tempo - e non siamo i soli a sostenerlo.

Catturare il drift: come adattarsi al cambiamento calibrando dati e concetti 

Il termine anglosassone utilizzato per esprimere l’evoluzione temporale di dati e concetti è drift. Letteralmente si dovrebbe parlare di slittamento o deriva, ma, più semplicemente, quello che è in gioco è il cambiamento. Un modello di ML non può essere efficace se non tiene conto di data e concept drift, come evidenziato anche in questo interessante articolo Medium su Towards Data Science. Partendo dallo slittamento dei dati, la loro distribuzione può cambiare sia a livello di input, a seguito di cambiamenti nel mondo reale (ad esempio, l’evoluzione tecnologica di un servizio sul cui uso il sistema di ML fa predizioni), sia a livello di output, ovvero di risultati che il modello stesso offre. In entrambi i casi, muta la distribuzione dei dati e, con essa, le prestazioni del sistema di Machine Learning. Oltre ai dati, però, anche i concetti si evolvono nel tempo. Il cambiamento di significato degli elementi su cui lavora il modello deve essere così monitorato a livello semantico, per evitare errori di interpretazione. Ad esempio, sviluppando Daitomic - la nostra piattaforma di Intelligenza Artificiale creata per il mercato RegTech -, abbiamo avuto la necessità di aggiornare l’archivio dei testi legali che alimenta il modello e, con esso, i concetti contenuti. Dunque, sia rispetto ai dati che ai concetti, la risposta al mutamento sono il monitoraggio del loro spostamento e il relativo adeguamento del modello, ovvero un intervento volto a mantenerne la consistenza.

Il successo della macchina nasce dall’elemento umano: il caso di Daitomic

In Aptus.AI lavoriamo costantemente per ottimizzare le nostre operazioni di monitoraggio delle prestazioni delle nostre soluzioni AI su dati reali. Per farlo, sfruttiamo anche lo strumento più potente a nostra disposizione: l’elemento umano. Sì, perché i feedback umani sono certamente i più affidabili, soprattutto quando si tratta di concetti, dunque di semantica. Inoltre, come abbiamo già rilevato nell’episodio precedente di questa serie, il livello medio di prestazione umana (o HLP, Human Level Performance) è il migliori dei metri paragone. Infine, l’approccio cosiddetto human-in-the-loop - che abbiamo utilizzato anche nello sviluppo di Daitomic, e che usiamo tuttora per migliorarlo continuamente - è indispensabile per valutare la reale efficacia di un prodotto di ML, dato che l’utente finale è sempre e comunque un essere umano. Chi ha seguito tutta questa la serie di post sul nostro metodo di lavoro in Aptus.AI avrà ormai pochi dubbi sulla qualità dei nostre soluzioni AI. E a chi lavora nel settore della compliance finanziaria, non resta che scoprire Daitomic, per provare in prima persona come l’Intelligenza Artificiale sia in grado di rivoluzionare le attività tipiche di questo segmento di mercato. Siete pronti?

DAITOMICMANIFESTOTEAMCAREERSBLOGCONTATTI
ENG
SEGUICI