4.3ControlNet, IP-Adapter, LoRA
L'essentiel en 30 secondes
- ControlNet impose la structure : pose (OpenPose), contours (Canny, Lineart), profondeur (Depth) depuis une image de contrôle — fin du hasard sur la composition.
- IP-Adapter transfère, LoRA apprend : visage ou style d'une référence vers de nouvelles images ; petit entraînement additionnel sur un concept précis (personnage, style de marque).
- Réflexe de Sonia : un seul ControlNet et des LoRA existants d'abord — et licence vérifiée avant tout usage commercial, droits d'auteur respectés pour tout entraînement.
Mini-cas filé — Sonia et la pose imposée du catalogue
Sonia, graphiste freelance à Alger, doit décliner son catalogue en dix visuels : même mannequin dans des poses précises imposées par la direction artistique, avec le style graphique de la marque. Le prompt seul n'y arrive pas — les poses tombent au hasard. Elle fournit une image de pose à ControlNet (OpenPose) : le personnage respecte enfin la posture demandée. Elle transfère le visage de référence avec IP-Adapter pour garder le même mannequin, puis active un LoRA du style de la marque téléchargé depuis une source reconnue, licence vérifiée. En combinant les trois, elle obtient une série dirigée au lieu d'une loterie. Troisième jalon du fil rouge : Sonia ne suggère plus — elle pilote.
Suite des cas 4.1-4.2 — Sonia passe du studio local à la génération pilotée.
1. ControlNet et IP-Adapter : imposer et transférer
ControlNet est le plus spectaculaire : il permet d'imposer une structure à l'image à partir d'une image de contrôle. Selon le modèle de contrôle choisi, vous imposez une pose humaine (OpenPose, à partir d'un squelette), des contours (Canny, Lineart — idéal pour coloriser un croquis ou respecter une silhouette précise), une profondeur (Depth, pour conserver l'agencement spatial d'une scène), une segmentation, ou encore un gribouillis (Scribble). Comme les poses du catalogue de Sonia, c'est la réponse au problème le plus frustrant : obtenir exactement la composition voulue plutôt que d'espérer que le hasard la produise.
IP-Adapter répond à un autre besoin : transférer le contenu visuel d'une image de référence — un visage, un style, une ambiance — vers de nouvelles générations. C'est l'équivalent, en plus puissant et plus paramétrable, des références --cref / --sref de Midjourney (section 3.5).
2. LoRA : apprendre un concept à un modèle
LoRA (Low-Rank Adaptation) va encore plus loin : un petit fichier d'entraînement additionnel qui apprend au modèle un concept précis — votre personnage, votre style graphique, votre produit, un type de vêtement. On peut télécharger des milliers de LoRA existants, ou entraîner le sien à partir d'une vingtaine d'images bien choisies : c'est la solution la plus robuste pour une identité visuelle de marque ou un personnage récurrent (sections 3.5 et 5.1).
Entraîner son propre LoRA suit une méthode : jeu d'images cohérent (variées sur ce qui doit changer, constantes sur ce qui doit être appris), légendes avec un mot-déclencheur unique, lancement avec les valeurs recommandées, puis tests à différents poids. Et la règle d'or : n'entraîner que sur des images dont on a les droits — jamais sur les œuvres d'un artiste sans accord.
3. Combiner en pipelines — au prix de la complexité
Ces outils se combinent : un LoRA pour le style de votre marque, un ControlNet pour imposer la composition, un IP-Adapter pour le visage — c'est ainsi que travaillent les pipelines professionnels, et c'est ce que fait Sonia pour son catalogue. Bonne nouvelle : aucune programmation n'est nécessaire — dans A1111, ControlNet s'installe comme une extension et s'utilise en panneau ; un LoRA s'appelle depuis le prompt ; dans ComfyUI, on relie des nœuds.
Le prix à payer : de la complexité (compatibilité des versions), une consommation mémoire accrue (cumuler les extensions sature une carte modeste), et une vraie courbe d'apprentissage. Commencez par utiliser des LoRA existants et un seul ControlNet à la fois. Et vérifiez la licence des LoRA téléchargés avant tout usage commercial.
🔎 Exemple concret — 🔎 Exemple concret — Fin du hasard sur la composition
Dix visuels, mêmes poses, même mannequin, même style. La combinaison de Sonia :
1. Image de pose (squelette) → ControlNet OpenPose : le personnage respecte la posture.
2. Photo de référence → IP-Adapter : même visage sur toute la série.
3. LoRA du style de la marque (licence vérifiée) à poids modéré.
→ LoRA de style + ControlNet de composition = contrôle pro.Lecture : structure imposée, visage transféré, style appris — trois leviers cumulés.
Leçon : une série dirigée au lieu d'une loterie ; commencer par un seul ControlNet.
Vocabulaire de la section
- ControlNet
- Extension imposant une structure à l'image depuis une image de contrôle (pose, contours, profondeur, segmentation).
Exemple simple : Sonia impose les postures de son catalogue avec OpenPose au lieu de les espérer.
Ce que ce n'est pas : un embellissement automatique qui ne contrôle rien.
Réflexe : composition précise exigée : d'abord l'image de contrôle.
- OpenPose / Canny / Depth
- Types de contrôle : squelette de pose, détection de contours, carte de profondeur.
Exemple simple : Sonia choisit OpenPose pour les poses, Canny pour respecter une silhouette produit.
Ce que ce n'est pas : trois réglages interchangeables qu'on empile au hasard.
Réflexe : un besoin = un type de contrôle ; tester un seul à la fois.
- IP-Adapter
- Transfert du contenu visuel d'une image de référence (visage, style, ambiance) vers de nouvelles générations.
Exemple simple : Sonia garde le même mannequin sur dix visuels grâce à la photo de référence.
Ce que ce n'est pas : un copier-coller du visage d'une image à l'autre.
Réflexe : cohérence de personnage : fournir une bonne référence nette et bien éclairée.
- LoRA
- Petit fichier d'entraînement additionnel apprenant un concept précis (personnage, style, produit) à un modèle.
Exemple simple : Sonia active le LoRA du style de la marque, puis envisage d'entraîner le sien sur ses visuels validés.
Ce que ce n'est pas : un modèle complet à télécharger à chaque fois.
Réflexe : concept récurrent de marque : LoRA existant vérifié, puis entraînement maison.
En pratique — En pratique — Piloter précisément la génération
- Installez ControlNet dans votre interface locale, puis testez OpenPose : fournissez une image de pose et générez un personnage la respectant.
- Testez Canny ou Lineart : partez d'un croquis ou d'une silhouette et faites générer une image respectant ces contours.
- Essayez un LoRA existant (téléchargé d'une source fiable, licence vérifiée) et observez son effet sur le style.
- Combinez : un LoRA de style + un ControlNet de composition, et constatez le niveau de contrôle atteint.
Script prêt à dire — expliquer le pilotage à un client (30 s)
« C'est Sonia : pour vos dix visuels, je n'espère plus les bonnes poses — je les impose à partir de vos postures de référence, je garde le même mannequin sur toute la série, et j'applique votre style de marque. C'est plus technique à mettre en place, mais le résultat est dirigé et reproductible. »
À dire pour justifier un devis intégrant ControlNet/LoRA : montrez une planche avant/après pilotage.
Modèle copier-coller — fiche de pipeline piloté
Série : [10 visuels catalogue — même mannequin, poses imposées]
Structure : ControlNet [OpenPose] — image de contrôle [fichier] — intensité [valeur]
Référence : IP-Adapter — visage [fichier] — poids [valeur]
Style : LoRA [nom] — source [reconnue] — licence [vérifiée] — poids [valeur]
Base : modèle [nom] — version figée pour toute la sérieCatalogue à poses imposées
Comme Sonia : OpenPose pour les postures, IP-Adapter pour le mannequin, LoRA pour le style — série dirigée.
Colorisation d'un croquis
Canny ou Lineart sur un dessin : l'IA respecte les contours et habille — idéal pour partir d'un rough.
Personnage de marque récurrent
LoRA entraîné sur une vingtaine d'images maison (droits détenus) : la solution la plus robuste sur la durée.
Petit matériel
Un seul ControlNet à la fois, LoRA existants plutôt qu'entraînement maison : le pilotage reste accessible sans grosse VRAM.
✓ Bonnes pratiques
- Choisissez le type de ControlNet selon le besoin (pose, contours, profondeur) — un seul à la fois pour commencer.
- Commencez avec des LoRA existants avant d'envisager d'entraîner le vôtre.
- Vérifiez les licences (LoRA, modèle de base) avant tout usage commercial.
✗ Pièges fréquents
- Cumuler trop d'extensions : saturation mémoire et résultats incohérents.
- Entraîner un LoRA sur les œuvres d'un artiste sans accord (éthique et droits).
- Espérer une composition précise avec le seul prompt, sans ControlNet.
Points clés à retenir
- CONTROLNET impose une STRUCTURE (pose via OpenPose, contours via Canny/Lineart, profondeur via Depth).
- IP-ADAPTER transfère un contenu visuel de référence (visage, style) — équivalent avancé des --cref/--sref.
- LORA : petit entraînement apprenant un concept précis ; téléchargeable ou entraînable (~20 images).
- PIPELINES pros = combinaison des trois ; contrepartie : complexité, mémoire, apprentissage. Licences à vérifier.
Défi 48h — appliquez demain
Testez 1 ControlNet (OpenPose ou Canny) sur une image de contrôle simple, essayez 1 LoRA existant (source fiable, licence vérifiée), et notez l'écart de contrôle avec le prompt seul.
- Je sais imposer une structure avec ControlNet (pose, contours, profondeur).
- Je sais distinguer IP-Adapter (transférer) et LoRA (apprendre un concept).
- Je vérifie licences et droits avant tout usage commercial ou entraînement.
Questions fréquentes
Faut-il savoir programmer pour utiliser ControlNet et les LoRA ?
Non. Dans A1111, ControlNet s'installe comme une extension puis s'utilise en panneau (image de contrôle, type, curseurs d'intensité). Un LoRA se place dans le bon dossier et s'appelle depuis le prompt, avec un poids. Dans ComfyUI, on relie des nœuds — du branchement, pas du code. L'exigence réelle : installation et compatibilité des versions, compréhension conceptuelle (quel contrôle, quelle intensité), et ressources matérielles. Entraîner son propre LoRA est un cran au-dessus mais reste accessible via des interfaces graphiques.
Comment entraîner un LoRA sur mon propre style ou mon personnage ?
Constituez un jeu d'une vingtaine d'images de bonne qualité : variées sur ce qui doit changer (angles, fonds), constantes sur ce qui doit être appris (le même visage). Légendez avec un mot-déclencheur unique en décrivant ce qui varie. Lancez l'entraînement avec les valeurs recommandées, puis testez à différents poids (trop faible = invisible, trop fort = rigide). Si décevant, corrigez le jeu d'images. Vigilance : uniquement des images dont vous avez les droits, et licence du modèle de base vérifiée pour un usage commercial.
Que permet ControlNet ?