Programme Court Développer vos projets avec l’IA Générative

Direction pédagogique : Salim NAHLE

 

S'inscrire Télécharger la brochure

Format

Présentiel
Distanciel

Durée

6 Jour(s)

Format

09 Nov 2024

Coût

4200 €

Présentation

L’IA générative ne cesse de gagner en popularité depuis fin 2022 avec la sortie de ChatGPT par OpenAI. Il devrait révolutionner le marché du travail, en créant de nouvelles opportunités et de nouveaux domaines d’application.

Ce programme vous propose une palette complète pour développer vos projets avec l’IA Générative. Nous commencerons par un bref rappel des fondamentaux de l’IA avec le Deep Learning et le Natural Language Processing. Ensuite nous allons explorer les concepts des grands modèles de langages (LLMs), les cas d’utilisations et les
risques de l’IA générative. Nous allons couvrir également des sujets avancés comme le Fine-Tuning et l’Apprentissage par renforcement avec feedback humain. Cette formation comprend également les techniques de prompt engineering, l’in-context tuning et le Retrieval-Augmented Generation . Les stagiaires doivent être en mesure de créer des applications et projets d’IA générative en utilisant des LLM.

Objectifs

  • Élaborer et ajuster des modèles en machine learning et deep learning.
  • Explorer les techniques et les applications du traitement de langage naturel.
  • Acquérir des connaissances sur les grands modèles de langages, leurs applications, leurs limites et les cas d’usage courants.
  • Explorer divers outils d’IA générative.
  • Acquérir des compétences pratiques en prompt engineering pour des résultats plus précis et personnalisés.
  • Comprendre le processus de mise en œuvre des projets d’IA générative : cycle de vie, sélection des modèles et déploiement.
  • Créer des applications avec le prompt engineering, “in-context tuning” and “Retrieval Augmented Generation” (RAG)
  • Personnaliser les LLM avec “Parameter-Efficient Fine-Tuning” (PEFT)
  • Améliorer les LLM grâce à l’apprentissage avec feedback humain (RLHF)

Moyens techniques

En fonction du format, distanciel via l’outil Teams, en présentiel, salle de formation équipée de postes de travail informatiques disposant de tous les logiciels nécessaires au déroulement de la formation, salle moderne climatisée, accès à l’environnement numérique Efrei.

Pédagogie & ressources

La formation s’articule autour d’exposés, de démonstrations techniques, d’ateliers pratiques et de partages de retours d’expérience

Programme

Introduction à l’IA
Plus de détails
  • Definition, histoire, Machine Learning, Deep learning
  • Cas pratique Machine learning : construire et ajuster un modèle
  • Natural Language Processing:
    • Text preprocessing
    • Embeddings
    • Deep learning for text
  • Cas pratique Deep learning :Génération de texte avec apprentissage semi-supervisé
Déployer un projet de LLM
Plus de détails
  • Étapes clés et bonnes pratiques
  • Cycle de vie du projet LLM
  • Identification des cas d’usage
  • Amélioration vs automatisation
  • Estimation de la valeur ajoutée
  • Choisir/Construire le bon modèle
    • Proprietary/opensource
    • Taille des modèles, datasets et budgets
  • Estimation des coûts: prix, coût des logiciels et formation
  • Déploiement de l’application
    • Infrastructure appropriée
    • Suivi des résultats et performances
Amélioration des projets LLM
Plus de détails
  • Collecte & « labeling » de données avec feedback humain
  • Entraîner un « reward model »
  • Proximal Policy Optimization (PPO)
  • Application pratique : Finetuner son LLM avec l’apprentissage par
    renforcement avec feedback humain
Comprendre l’IA Générative
Plus de détails
  • Concepts clés
  • Large Language Models (LLMs)
  • Applications et cas d’utilisation
  • Limites de l’IA générative
  • Quand utiliser les LLMs? Dans quels cas utiliser des solutions moins complexes?
    • Benchmark des outils d’IA générative existants
    • Compréhension approfondie de l’architecture du transformer
  • Encodeurs et décodeurs
  • Mécanismes d’attention.
    • Cas d’utilisation : Construire un modèle de transformer
Mise en œuvre des projets LLM avec le prompt engineering
Plus de détails
  • Prompt engineering et in-context tuning
    • Utilisation pour la génération de contenu spécifique
    • Application pratique : chatbot de support client
  • Retrieval-Augmented Generation (RAG)
    • Sélection d’une source de connaissances
    • Récupération des informations pertinentes
    • Utilisation pour la génération de contenu personnalisé
    • Application pratique : chatbot augmenté pour le service client
Conclusion et évaluation
Plus de détails
  • Impact sur l’emploi et la société
  • Risques et IA responsable
    • Risques liés à l’IA
    • Pyramide des risques de l’IA
    • Risques propres à l’IA générative
    • Intelligence artificielle responsable : principes et implications
  • Evaluation
Prompt Engineering
Plus de détails
  • Overview
  • Techniques pour obtenir la sortie souhaitée
  • Écrire des prompts clairs et précis
  • Prompts interactifs et itératifs
  • Explorer les paramètres de ChatGPT et GPT store
  • Usages et applications de Prompts
  • Pratique : Expérimenter différents prompts
Mise en oeuvre des projets LLM avec le fine tuning
Plus de détails
  • Fine-tuning
    • choisir le bon modèle
    • Collecte et mise en forme de données spécifiques à l’application
    • Tâches uniques et multitâches, fine-Tuning
    • le problème de « catastrophic forgetting »
    • Évaluation des LLMs
    • Parameter-Efficient Fine-Tuning (PEFT)
    • Comment ça marche
    • Reparameterization vs additive Fine-Tuning
    • Low-rank adapation (LoRA)
Introduction à l’IA
Plus de détails
  • Definition, histoire, Machine Learning, Deep learning
  • Cas pratique Machine learning : construire et ajuster un modèle
  • Natural Language Processing:
    • Text preprocessing
    • Embeddings
    • Deep learning for text
  • Cas pratique Deep learning :Génération de texte avec apprentissage semi-supervisé
Comprendre l’IA Générative
Plus de détails
  • Concepts clés
  • Large Language Models (LLMs)
  • Applications et cas d’utilisation
  • Limites de l’IA générative
  • Quand utiliser les LLMs? Dans quels cas utiliser des solutions moins complexes?
    • Benchmark des outils d’IA générative existants
    • Compréhension approfondie de l’architecture du transformer
  • Encodeurs et décodeurs
  • Mécanismes d’attention.
    • Cas d’utilisation : Construire un modèle de transformer
Prompt Engineering
Plus de détails
  • Overview
  • Techniques pour obtenir la sortie souhaitée
  • Écrire des prompts clairs et précis
  • Prompts interactifs et itératifs
  • Explorer les paramètres de ChatGPT et GPT store
  • Usages et applications de Prompts
  • Pratique : Expérimenter différents prompts
Déployer un projet de LLM
Plus de détails
  • Étapes clés et bonnes pratiques
  • Cycle de vie du projet LLM
  • Identification des cas d’usage
  • Amélioration vs automatisation
  • Estimation de la valeur ajoutée
  • Choisir/Construire le bon modèle
    • Proprietary/opensource
    • Taille des modèles, datasets et budgets
  • Estimation des coûts: prix, coût des logiciels et formation
  • Déploiement de l’application
    • Infrastructure appropriée
    • Suivi des résultats et performances
Mise en œuvre des projets LLM avec le prompt engineering
Plus de détails
  • Prompt engineering et in-context tuning
    • Utilisation pour la génération de contenu spécifique
    • Application pratique : chatbot de support client
  • Retrieval-Augmented Generation (RAG)
    • Sélection d’une source de connaissances
    • Récupération des informations pertinentes
    • Utilisation pour la génération de contenu personnalisé
    • Application pratique : chatbot augmenté pour le service client
Mise en oeuvre des projets LLM avec le fine tuning
Plus de détails
  • Fine-tuning
    • choisir le bon modèle
    • Collecte et mise en forme de données spécifiques à l’application
    • Tâches uniques et multitâches, fine-Tuning
    • le problème de « catastrophic forgetting »
    • Évaluation des LLMs
    • Parameter-Efficient Fine-Tuning (PEFT)
    • Comment ça marche
    • Reparameterization vs additive Fine-Tuning
    • Low-rank adapation (LoRA)
Amélioration des projets LLM
Plus de détails
  • Collecte & « labeling » de données avec feedback humain
  • Entraîner un « reward model »
  • Proximal Policy Optimization (PPO)
  • Application pratique : Finetuner son LLM avec l’apprentissage par
    renforcement avec feedback humain
Conclusion et évaluation
Plus de détails
  • Impact sur l’emploi et la société
  • Risques et IA responsable
    • Risques liés à l’IA
    • Pyramide des risques de l’IA
    • Risques propres à l’IA générative
    • Intelligence artificielle responsable : principes et implications
  • Evaluation

Informations pratiques

  • Prérequis
    • Solides compétences en développement
    • Solide expérience en Python
    • Bonne connaissance du machine learning et du deep learning
  • Profil du participant

    Toute personne souhaitant comprendre le fonctionnement et implémenter des projets avec l’intelligence artificielle générative.

  • Modalités d'évaluation

    Évaluation des acquis tout au long de la session par des travaux pratiques. Questionnaire de validation des compétences acquises en fin de formation.

  • Sanction de la formation

    Une attestation de fin de formation résumant les objectifs visés par la formation est remise au participant à l’issue de la formation.

Intra-entreprise

Vous souhaitez adapter cette formation aux besoins spécifiques de votre organisation et pour vos collaborateurs ?

Nous pouvons décliner ce programme au format intra-entreprise pour vos équipes.

En savoir plus

Rejoindre Efrei Executive Education

Cette formation vous intéresse ?

S'inscrire Télécharger la brochure