Automne 2019

• Introduction aux mathématiques des réseaux de neurones

  18 septembre 2019, de 13h30 à 15h. B-1508
  
  Introduction aux réseaux de neurones. Poids, biais, fonction d'activation, fonction d'erreur.
  Point de vue matriciel: vecteurs et transformations affines.
  Optimisation, descente stochastique de gradient.
  Dérivation des équations de la propagation arrière.

→ La vidéo et les slides de la présentation.

Note: Malheureusement, les diapositives n'apparaîssent pas dans la vidéo, ce pourquoi il est suggéré aux intéressés de les consulter en parallèle au visionnement.

• Universalité des réseaux de neurones: théorèmes de Cybenko et Hornik

  2 octobre 2019, de 13h30 à 15h. B-1510
  
  Universalité: théorèmes de Cybenko, Hornik
  Théorèmes de Hahn-Banach, représentation de Riesz.
  Éléments de théorie de la mesure.
  Preuve du théorème de Cybenko pour les sigmoïdes sur les espaces de fonctions continues.
  

→ La vidéo.
→ Une preuve que les fonctions sigmoïdales bornées sont discriminatoires.

• Le rôle de la profondeur dans la puissance expressive des réseaux de neurones

  16 octobre 2019, de 13h30 à 15h. B-3420.
  
  Retour sur l'universalité pour les réseaux de neurones.
  Heuristique de la densité des réseaux de neurones dans l'espace des fonctions bornées.
  Puissance expressive: profondeur vs. largeur.
  Théorèmes de Telgarsky, Eldan-Shamir.
  

→ La vidéo.


• Introduction à l'apprentissage profond géométrique

  6 novembre 2019, de 13h30 à 15h. B-1510.
  
  Classification d'images et réseaux de convolution.
  Préliminaires: algèbre linéaire, théorie de Fourier, convolution et théorie spectrale du laplacien.
  Théorie spectrale sur les graphes non-orientés.
  SGCNN: Spectral Graph Convolutional Networks.
  

→ La vidéo.


• Réduction spectrale de la dimensionnalité

  20 novembre 2019, de 13h30 à 15h. B-1510.
  
  Hypothèse de la variété.
  Variétés riemanniennes et plongements euclidiens.
  Caractérisation variationnelle des valeurs propres d'opérateurs symétriques.
  Analyse en composantes principales.
  Algorithmes de Belkin-Niyogi pour la réduction spectrale de dimension.
  

→ La vidéo et l'article de Belkin-Niyogi.






Hiver/Printemps 2020

---

• Distribution initiale des hyperparamètres et apprentissage de réseaux de neurones profonds.

  À déterminer.
  
  Propagation des normes et modes d'apprentissage défaillant.
  Réseaux profonds aléatoires.
  Éléments de la théorie des probabilités: mesures, chaînes de Markov, martingales, théorème de convergence de Doob.
  Initialisation des réseaux aléatoires, variance des hyperparamètres: théorèmes de Hanin.
  

• Régularisation et optimisation des réseaux de neurones

  À déterminer.
  
  Fonctions d'activations: sigmoïdales, entropie croisée et softmax.
  Overfitting et techniques de régularisation: diminution des poids, L2 et L1, dropout.
  Descente hessienne, descente de gradient dynamique.




---

Retour à la page d'accueil.