RETROUVAILLES - 5 nov 2025

Évolutivité, robustesse et apprentissage continu dans les modèles fondamentaux : avancées récentes du Laboratoire d'IA Autonome (conférence en anglais)

Conférencière : Irina Rish dirige le Laboratoire d'IA Autonome de l'Université de Montréal et est membre core de MILA.

Au cours des dernières années, notre laboratoire s'est concentré sur la compréhension et l'amélioration des grands modèles pré-entraînés (fondamentaux) selon plusieurs axes : leur évolutivité (en termes de taille, de données, d'architecture), leur robustesse (face aux changements de distribution, aux perturbations adverses ou aux perturbations d'entrées) et la manière dont ils peuvent être adaptés ou étendus de manière continue plutôt que réentraînés à partir de zéro. 

Parmi les principales contributions, citons les "benchmarks" pour les prévisions de séries chronologiques à l'aide de signaux textuels/contextuels ; les lois d'inférence et de mise à l'échelle efficaces pour les architectures spécialisées (par exemple, les modèles linguistiques ternaires et les mélanges d'experts) ; des études sur la prévention de l'effondrement de la représentation dans les couches intermédiaires des transformateurs afin d'améliorer le raisonnement ; des recherches sur les changements de domaine et la généralisation hors distribution ; et des méthodes de pré-entraînement continu, de compression et d'adaptation économe en ressources. Dans cette présentation, je donnerai un aperçu de nos travaux récents sur ces sujets, en vue de créer des modèles d'IA plus efficaces, plus résilients et plus adaptables au fil du temps et à travers les tâches et les domaines.

INSCRIPTION: Vous pouvez vous inscrire sur le site de l’ADDIROUM : Régulier : 30 $ - Étudiant : 10 $. 

“Scaling, Robustness and Continual Learning in Foundation Models: Recent Advances from the Autonomous AI Lab”

Speaker : Irina Rish

Over the past few years, our lab has focused on understanding and improving large, pre-trained (foundation) models along multiple axes: how they scale (in size, data, architecture), how robust they are (to distribution shifts, adversarial or input perturbations), and how they can be adapted or extended continuously rather than retrained from scratch. 

Key contributions include benchmarks for time-series forecasting using textual/contextual signals; efficient inference and scaling laws for specialized architectures (e.g., ternary language models and mixture-of-experts); studies on preventing representation collapse in transformer intermediate layers to enhance reasoning; investigations into domain shifts and out-of-distribution generalization; and methods for continual pre-training, compression, and resource-efficient adaptation. In this talk, I will provide an overview of our recent work on these topics, toward AI models that are more efficient, resilient, and adaptable over time and across tasks and domains.

REGISTRATION: You can register on the ADDIROUM website: Regular: $30 - Student: $10.