U-ProBE: a graphical Python interface to handle uncertainties in deep learning models

Bandini L., Bacciu D., Del Corso G., Caudai C.

Uncertainty Quantification  Bayesian Neural Networks  Probabilistic Modelling 

La piattaforma U-Probe mira ad essere un supporto ad un crescente numero di utilizzatori che hanno necessità di valutare le performances di un modello e soprat- tutto la sua incertezza. Per questo motivo la piattaforma è dotata di una intuitiva interfaccia grafica semplice da utilizzare anche per i non addetti ai lavori. L’analisi dell’incertezza delle predizioni di un modello di Machine Learning o Deep Learning può essere effettuata utilizzando varie tecniche. Alcune di queste sono intrusive (anche dette by design), tali tecniche vanno a modificare l’architettura in- troducendo strumenti probabilistici che possono fornire importanti indicazioni sulle caratteristiche delle predizioni, a livello di affidabilità e incertezza. Tali tecniche comprendono ad esempio le Bayesian Neural Networks, i Variational Autoencoders ed i Deep Gaussian Processes. Sono tecniche molto performanti, sia nel mitigare l’overfitting che nell’uncertainty quantification, di contro sono però molto costose e richiedono molte risorse di calcolo e di tempo per l’allenamento dei modelli. Esistono poi le tecniche semi-intrusive, i cui più conosciuti rappresentanti sono i Deep En- semble; esse rappresentano una ampia classe di approcci che in generale combinano più modelli secondo criteri specifici in modo da valutare l’efficienza, l’incertezza e l’affidabilità delle predizioni senza interferire troppo con le architetture di partenza, ma richiedendo comunque un ampio dispendio di risorse. In questo lavoro abbiamo deciso di utilizzare per i nostri scopi esclusivamente metodi post-hoc, cioè non intrusivi, come il Trust Score ed il Monte Carlo Dropout, che sono in grado di fare efficaci valutazioni sull’incertezza delle predizioni quando il modello è stato già allenato, senza andare a interferire con le fasi di apprendimento o a modificare i parametri già imparati dal modello durante la back propagation. Tali metodi sono leggermente meno performanti dei metodi intrusivi, ma hanno il vantaggio di essere estremamente più rapidi e meno costosi.

Publisher: Consiglio Nazionale delle Ricerche