Évolutivité, robustesse et apprentissage continu dans les modèles fondamentaux : avancées récentes du Laboratoire d'IA Autonome (conférence en anglais)
Au cours des dernières années, notre laboratoire s'est concentré sur la compréhension et l'amélioration des grands modèles pré-entraînés (fondamentaux) selon plusieurs axes : leur évolutivité (en termes de taille, de données, d'architecture), leur robustesse (face aux changements de distribution, aux perturbations adverses ou aux perturbations d'entrées) et la manière dont ils peuvent être adaptés ou étendus de manière continue plutôt que réentraînés à partir de zéro.
Parmi les principales contributions, citons les "benchmarks" pour les prévisions de séries chronologiques à l'aide de signaux textuels/contextuels ; les lois d'inférence et de mise à l'échelle efficaces pour les architectures spécialisées (par exemple, les modèles linguistiques ternaires et les mélanges d'experts) ; des études sur la prévention de l'effondrement de la représentation dans les couches intermédiaires des transformateurs afin d'améliorer le raisonnement ; des recherches sur les changements de domaine et la généralisation hors distribution ; et des méthodes de pré-entraînement continu, de compression et d'adaptation économe en ressources. Dans cette présentation, je donnerai un aperçu de nos travaux récents sur ces sujets, en vue de créer des modèles d'IA plus efficaces, plus résilients et plus adaptables au fil du temps et à travers les tâches et les domaines.
“Scaling, Robustness and Continual Learning in Foundation Models: Recent Advances from the Autonomous AI Lab”
Over the past few years, our lab has focused on understanding and improving large, pre-trained (foundation) models along multiple axes: how they scale (in size, data, architecture), how robust they are (to distribution shifts, adversarial or input perturbations), and how they can be adapted or extended continuously rather than retrained from scratch.
Key contributions include benchmarks for time-series forecasting using textual/contextual signals; efficient inference and scaling laws for specialized architectures (e.g., ternary language models and mixture-of-experts); studies on preventing representation collapse in transformer intermediate layers to enhance reasoning; investigations into domain shifts and out-of-distribution generalization; and methods for continual pre-training, compression, and resource-efficient adaptation. In this talk, I will provide an overview of our recent work on these topics, toward AI models that are more efficient, resilient, and adaptable over time and across tasks and domains.
| Conférencière : Irina Rish Irina Rish dirige le Laboratoire d'IA Autonome de l'Université de Montréal et est membre core de MILA. Elle est titulaire d'une chaire de recherche d'excellence du Canada (CERC) et d'une chaire CIFAR. Elle a obtenu son doctorat en IA à l'Université de Californie à Irvine, pour ensuite devenir chercheuse à l'intersection des neurosciences et de l'IA à IBM T.J. Watson, où elle a reçu le IBM Eminence & Excellence Award et le IBM Outstanding Innovation Award (2018), le IBM Outstanding Technical Achievement Award (2017) et le IBM Research Accomplishment Award (2009). Ses recherches couvrent de nombreux domaines de l'IA, incluant le raisonnement automatisé, l'inférence probabiliste dans les modèles graphiques, l'apprentissage automatique, la modélisation éparse et l'IA inspirée des neurosciences. Ses travaux récents portent sur l'apprentissage continu, la robustesse, la compression de modèles, la mise à l'échelle dans les modèles fondamentaux pour diverses modalités de données, telles que le langage, la vision et les séries chronologiques. Elle détient 64 brevets, a publié plus de 170 articles scientifiques, édité trois livres et publié une monographie sur la modélisation éparse. |
Déroulement de la soirée
Mercredi 5 novembre 2025
- 17:00 : Accueil
- 18:00 : Assemblée générale, S1-139 du Pavillon Jean-Coutu (diplômés seulement)
- 18:30 : Buffet, Agora du Pavillon Jean-Coutu (inscription obligatoire)
- 19:30 : Début de la conférence qui sera présentée en anglais, S1-151 du Pavillon Jean-Coutu (admission générale)
INSCRIPTION: Vous pouvez vous inscrire sur le site de l’ADDIROUM :
Régulier : 30 $ - Étudiant : 10 $.
La conférence est gratuite - admission générale.
Si vous souhaitez vous impliquer dans l'association et vous présenter comme membre du conseil, veuillez contacter Sylvie Hamel (hamelsyl@iro.umontreal.ca), directrice du DIRO et responsable du comité de nomination.