8 maggio, ore 16:00
SISSA, Aula Magna "P. Budinich"
Naftali Tishby presenterà una nuova ed esauriente teoria dell'apprendimento su larga scala tramite Deep Neural Networks, basata sulla corrispondenza tra il Deep Learning e lo schema dell'Information Bottleneck.
La nuova teoria presenta le seguenti parti: (1) Il ripensamento della teoria dell'apprendimento; Tishby dimostrerà un nuovo risultato per il limite di generalizzazione, il limite sulla compressione dell'input, che mostra come la compressione della rappresentazione della variabile di input sia molto più importante, ai fini della generalizzazione, della dimensione della classe di ipotesi della rete, che si dimostra essere un concetto non utile nel quadro della teoria del Deep Learning. (2) Proverà che, nel caso di Deep Neural Networks su larga scala, la mutua informazione fra le rappresentazioni nell'ultimo strato nascosto e le variabili di input e output fornisce una completa caratterizzazione sia della complessità campionaria (numero di esempi di input-output necessari per l'apprendimento) che dell'accuratezza della rete. Questo rende il limite, che l'Information Bottleneck fornisce per il problema, ottimale nel compromesso fra numero di esempi necessari e accuratezza per ogni algoritmo di apprendimento concepibile. (3) Mostrerà che l'algoritmo di Stochastic Gradient Descent, così come viene usato nel Deep Learning, raggiunge questo limite ottimale. In questo senso il Deep Learning è un metodo per risolvere il problema dell'Information Bottleneck per problemi di apprendimento supervisionato su larga scala. La teoria offre inoltre una nuova spiegazione computazionale del beneficio apportato dagli strati nascosti e dà predizioni concrete della struttura degli strati di Deep Neural Networks e dei principi per la loro progettazione. Questi principi risultano dipendere soltanto dalla distribuzione di probabilità congiunta di input e output e dal numero di esempi.
I Colloquia fanno parte delle celebrazioni del quarantesimo anniversario della SISSA. Sono un importante momento di scambio interdisciplinare volto a ribadire il senso di appartenenza alla comunità.