Avec un prompt seul, Stable Diffusion interprète une intention, mais laisse une large part de la composition au hasard. ControlNet ajoute une contrainte visuelle, comme une pose, des contours, une carte de profondeur ou un croquis. L’image peut alors changer de style, de décor et de sujet tout en respectant une structure choisie. C’est une solution adaptée lorsque la génération doit rester créative tout en suivant un cadre précis.
ControlNet : ce qu’il ajoute à Stable Diffusion
ControlNet est un mécanisme de conditionnement supplémentaire. Le prompt décrit ce que vous voulez générer, tandis qu’une image de contrôle indique comment organiser l’image. Cette référence n’est pas forcément reproduite telle quelle. Elle est généralement analysée pour en extraire une information précise, comme le squelette d’un personnage ou les lignes principales d’une scène.
Dans un flux classique de text-to-image, la composition dépend du texte, de la graine et du modèle utilisé. En img2img, l’image source influence davantage le rendu, mais elle entraîne aussi ses textures, ses couleurs et parfois des éléments indésirables. Avec ControlNet, on isole plutôt la donnée utile : la posture, la perspective, les contours ou le volume. Vous pouvez ainsi conserver l’intention graphique d’une référence sans en produire une copie.
Preprocessor et modèle ControlNet : deux rôles distincts
Le preprocessor transforme l’image de référence en annotation exploitable. OpenPose détecte des points articulaires, Canny produit une carte de contours et Depth estime les plans de profondeur. Le modèle ControlNet interprète ensuite cette annotation pendant la génération. Il faut donc associer un preprocessor à un modèle conçu pour le même type de signal. Choisir Canny avec un modèle OpenPose donne généralement un résultat incohérent ou peu contrôlé.
Cette logique ressemble à une image construite par couches. La première fixe l’ossature spatiale, une autre apporte le sujet décrit par le prompt, puis le checkpoint applique son style et ses détails. Si le contrôle est trop fort, la structure domine et le rendu devient rigide. S’il est trop faible, l’image retrouve une part importante de son caractère aléatoire. Cette distinction aide à corriger le bon réglage plutôt qu’à réécrire indéfiniment le prompt.
Installer l’extension dans AUTOMATIC1111 et préparer les modèles
Dans AUTOMATIC1111 WebUI, ControlNet s’utilise avec l’extension sd-webui-controlnet. Ouvrez l’onglet des extensions, utilisez l’option d’installation depuis une adresse de dépôt, renseignez l’adresse du dépôt de l’extension, puis lancez l’installation. Redémarrez ensuite l’interface ou appliquez le redémarrage demandé. Un panneau ControlNet doit alors apparaître dans les réglages de génération de txt2img et img2img.
L’extension seule ne suffit pas. Les fichiers de modèles ControlNet doivent être téléchargés séparément, puis placés dans le dossier models/ControlNet de l’installation WebUI. Après un redémarrage ou un rechargement des modèles, ils deviennent sélectionnables dans la liste du panneau ControlNet. Les collections complètes peuvent représenter environ 18 GB. Pour commencer, téléchargez uniquement les modèles correspondant à vos usages, par exemple OpenPose, Canny et Depth.
Vérifier la compatibilité avant de générer
Le modèle de contrôle doit correspondre à la famille de votre checkpoint. Un modèle prévu pour Stable Diffusion 1.5 ne se remplace pas directement par un modèle conçu pour SDXL. Avant de conclure à un bug, vérifiez la version du checkpoint, la famille du modèle ControlNet et le type de preprocessor utilisé. Une incompatibilité peut provoquer une erreur, produire une image très éloignée de la référence ou empêcher le modèle d’apparaître dans certaines configurations.
- Mettez à jour WebUI et l’extension si le panneau n’apparaît pas.
- Contrôlez le chemin du fichier et relancez l’interface si le modèle reste invisible.
- Vérifiez que l’unité ControlNet est activée avant de lancer la génération.
- Commencez avec une seule unité pour identifier plus facilement l’origine d’un mauvais résultat.
Choisir le bon contrôle selon l’image à produire
Chaque méthode répond à une question différente. Ne sélectionnez pas un modèle parce qu’il est populaire, mais parce qu’il conserve l’information dont votre image a besoin. Le tableau suivant présente les associations les plus utiles pour une première configuration.
| Objectif | Preprocessor | Modèle associé | Ce qui est préservé |
|---|---|---|---|
| Reprendre la posture d’un personnage | OpenPose ou OpenPose full | ControlNet OpenPose | Corps, membres, mains et parfois visage selon la détection |
| Conserver le dessin d’un bâtiment ou d’un objet | Canny | ControlNet Canny | Contours nets et silhouette générale |
| Garder la perspective d’une scène | Depth | ControlNet Depth | Plans, volumes et éloignement relatif |
| Transformer une idée dessinée à la main | Preprocessor de croquis adapté | Modèle Sketch correspondant | Traits directeurs et composition |
OpenPose convient aux personnages, à la mode, aux scènes d’action et aux illustrations éditoriales. Canny est plus pertinent pour une architecture, un produit ou un cadrage aux lignes marquées. Depth est préférable lorsque le relief et la séparation entre le premier plan et l’arrière-plan comptent davantage que le trait exact. Les modèles QR Code Monster ou Illusion répondent à des usages plus spécialisés. Ils ne remplacent pas un contrôle de pose ou de profondeur.
Première génération guidée avec OpenPose
Pour apprendre sans multiplier les variables, partez d’une photo ou d’une illustration où la silhouette est lisible. Dans txt2img, dépliez le panneau ControlNet, activez la première unité et téléversez l’image dans la zone de contrôle. Sélectionnez OpenPose comme preprocessor et le modèle ControlNet OpenPose compatible avec votre checkpoint. Activez la prévisualisation si l’interface le permet. Vous verrez ainsi le squelette détecté avant la génération.
- Écrivez un prompt qui décrit le personnage, le style, le décor et l’éclairage souhaités.
- Générez une première image avec une force de contrôle modérée.
- Observez si la position générale est respectée avant de modifier le prompt ou la graine.
- Augmentez le poids de contrôle si les bras, les jambes ou l’orientation s’éloignent trop de la pose.
- Réduisez-le si la génération paraît figée, si le style peine à s’exprimer ou si les défauts de la référence se répètent.
Corriger une pose mal détectée
Une pose mal lue vient souvent d’un membre masqué, d’une silhouette trop petite, d’un contraste faible ou d’une image trop chargée. Recadrez le sujet, utilisez une référence plus nette ou éditez manuellement le squelette lorsque l’outil le propose. Déplacez les keypoints erronés, puis renvoyez la pose modifiée dans l’unité ControlNet. Cette correction est particulièrement utile pour les mains, les bras croisés et les profils, car la détection automatique peut alors simplifier la posture.
Régler l’influence, combiner les contraintes et résoudre les blocages
Le poids d’influence détermine la fidélité à l’image de contrôle. Le début et la fin du contrôle déterminent le moment de la diffusion où cette contrainte agit. Faire terminer le contrôle avant la fin peut laisser davantage de liberté aux textures et aux détails. Le maintenir plus longtemps renforce la stabilité de la composition. Testez un seul réglage à la fois, avec la même graine, pour comparer réellement les effets.
Plusieurs unités ControlNet peuvent fonctionner simultanément. Une combinaison fréquente consiste à utiliser OpenPose pour le personnage et Depth ou Canny pour le décor. Cette méthode offre un contrôle plus précis, mais elle augmente la consommation de mémoire VRAM et peut créer des injonctions contradictoires. Si la génération ralentit, échoue ou produit des artefacts, baissez la résolution, désactivez les unités superflues et simplifiez l’image de contrôle.
Local, cloud ou interface prête à l’emploi
Une installation locale dans AUTOMATIC1111 offre un contrôle fin des modèles, des fichiers et des réglages. Elle exige toutefois du stockage, un GPU adapté et un peu de maintenance. Une solution cloud ou une interface ControlNet en ligne évite l’installation et facilite les essais sur une machine modeste. En contrepartie, les modèles disponibles et les paramètres peuvent être plus limités. Dans tous les cas, évitez de téléverser des images de référence sensibles sans vérifier les conditions de confidentialité du service.
Une image de référence doit aussi être utilisée dans le respect des droits liés à son auteur, aux personnes représentées et aux licences des modèles téléchargés. ControlNet améliore la maîtrise de la génération, mais ne transforme pas une source protégée en matériau libre de droits.