Température & Sampling

1Objectif et périmètre

Ce document reprend l'ensemble des sections du support fourni et les développe sous forme de documentation pédagogique. Les reproductions des pages du PDF source sont incluses afin de conserver tous les schémas, graphiques et composants visuels. Les tableaux et graphiques ajoutés sont des compléments explicatifs et non des mesures expérimentales.

2La Température : Définition et Principe

La température est un hyperparamètre appliqué aux scores du modèle avant le choix du token suivant. Elle ne modifie pas les connaissances du modèle : elle modifie la forme de la distribution utilisée pour sélectionner la suite du texte. Une température basse concentre davantage la probabilité sur les candidats déjà dominants ; une température plus haute aplatit la distribution et laisse davantage de place aux alternatives.

2.1Lecture Mathématique

Si zᵢ est le logit du token i, une écriture classique est : P(i) = exp(zᵢ / T) / Σⱼ exp(zⱼ / T). Quand T diminue, les écarts entre logits sont amplifiés après normalisation ; quand T augmente, ils sont atténués. Cette formule explique pourquoi le choix devient plus conservateur à basse température et plus divers à haute température.

Le support propose une lecture pratique : température basse pour les contenus techniques et factuels, moyenne pour le dialogue et la pédagogie, élevée pour la création. Les valeurs exactes restent dépendantes du modèle et de l'API.

3Impact de la Température sur le Texte

À basse température, les sorties tendent à être plus stables et prévisibles. Cela convient aux réponses où l'on veut limiter la variation lexicale. À température élevée, le modèle explore davantage de formulations possibles : la diversité augmente, mais aussi le risque de produire une continuation moins cohérente ou moins fidèle au contexte.

4Échantillonnage (Sampling) : Concept Fondamental

Le sampling est le mécanisme de sélection du token suivant à partir d'une distribution de probabilité. À chaque étape, le modèle calcule des scores pour son vocabulaire, les transforme en probabilités, applique éventuellement des filtres (Top-K, Top-P), puis choisit un token selon la stratégie configurée. Le token choisi est ajouté au contexte et le cycle recommence.

1. Calcul des logits pour tous les tokens candidats.
2. Transformation des logits en probabilités, avec effet éventuel de la température.
3. Restriction de l'ensemble candidat selon la méthode de sampling.
4. Sélection du token suivant.
5. Répétition jusqu'à un critère d'arrêt.

5Greedy Sampling

Le Greedy Sampling choisit systématiquement le token de probabilité maximale à chaque étape. Il est simple, rapide et déterministe, mais il optimise localement chaque choix. Un meilleur token à l'instant t ne garantit pas que la séquence complète obtenue soit la meilleure selon une mesure globale.

6Relation entre Température et Sampling

La distinction centrale est utile : la température règle le niveau de dispersion de la distribution ; l'échantillonnage détermine comment on choisit effectivement dans cette distribution. Autrement dit, la température agit en amont sur les probabilités, tandis que Greedy, Top-K ou Top-P définissent la règle de sélection ou de filtrage.

7Top-K Sampling

Top-K trie les candidats par probabilité et ne conserve que les K premiers. Les probabilités restantes sont renormalisées sur ce sous-ensemble, puis le token est tiré. K fixe donc une largeur maximale du vocabulaire candidat à chaque étape.

8Top-P (Nucleus) Sampling

Top-P construit dynamiquement le plus petit ensemble de tokens dont la probabilité cumulée atteint le seuil p. La taille du noyau varie donc selon la forme de la distribution : peu de tokens lorsque le modèle est très confiant, davantage lorsque les probabilités sont plus réparties.

9Comparaison Top-K / Top-P

Top-K coupe la liste après un rang fixé, tandis que Top-P s'arrête lorsque la somme cumulée dépasse le seuil demandé. Ainsi, Top-P adapte automatiquement le nombre de candidats au niveau d'incertitude du modèle.

10Impact des Paramètres sur la Qualité du Texte

La qualité n'est pas un axe unique. Un réglage peut améliorer la précision et la stabilité tout en réduisant l'originalité, ou augmenter la diversité tout en diminuant la reproductibilité. Le bon réglage dépend donc de l'objectif métier : exactitude, naturel conversationnel, exploration créative, diversité, ou format strict.

11Contrôles de Créativité : Lecture Combinée

Trois leviers complémentaires : la température comme « cadran » de créativité, Top-K comme limite de nombre de mots candidats, et Top-P comme seuil probabiliste. Une pratique robuste consiste à ne pas pousser simultanément tous les paramètres vers l'exploration maximale : on garde généralement au moins un mécanisme de contrôle pour éviter une distribution trop ouverte.

12Ajustement pour la Génération Créative

Pour la création, une température de 0,8 à 1,2 et un Top-P de 0,90 à 0,95 sont recommandés. Ces réglages visent à enrichir le vocabulaire et les associations d'idées tout en conservant un noyau de candidats plausibles. Ils sont adaptés au storytelling, aux slogans, à la poésie et au brainstorming.

12.1Méthode de Réglage Progressive

• Commencer par une température modérée et un Top-P assez large.
• Évaluer plusieurs sorties sur les mêmes prompts.
• Si les réponses sont trop prévisibles, augmenter légèrement la température.
• Si elles deviennent incohérentes, réduire la température ou resserrer Top-P.
• Conserver les paramètres qui donnent le meilleur compromis sur un corpus de test représentatif.

13Ajustement pour Texte Factuel et Dialogue

Pour le texte factuel, on privilégie une température très basse (0,0–0,3), K=1 / Greedy, et un Top-P de 0,5–0,7. Pour le dialogue interactif, une température de 0,5–0,7 et un Top-P autour de 0,9 permettent d'obtenir des réponses plus naturelles et moins répétitives.

14Bonnes Pratiques, Limites et Pièges Fréquents

• Ne pas confondre température et connaissance : changer T ne donne pas au modèle de nouvelles informations.
• Température basse ≠ vérité factuelle : elle rend surtout le choix plus concentré et souvent plus stable.
• Température élevée ≠ meilleure créativité : au-delà d'un certain point, la pertinence peut se dégrader.
• Top-K et Top-P sont des filtres de candidats : leur disponibilité et interaction dépendent de l'implémentation du modèle ou de l'API.
• Comparer les réglages avec plusieurs générations et des critères mesurables : exactitude, respect du format, diversité, taux d'erreur, préférence humaine.
• Pour la production, versionner les prompts, paramètres et modèles afin de rendre les tests reproductibles.

14.1Exemple de Protocole d'Évaluation

15Synthèse et Aide au Choix

La température contrôle la forme de la distribution ; le sampling contrôle la sélection. Greedy maximise la prévisibilité locale, Top-K limite le nombre de candidats, et Top-P adapte dynamiquement la taille du noyau de candidats. Pour une tâche factuelle, privilégier des réglages conservateurs ; pour un dialogue naturel, un niveau intermédiaire ; pour la création, ouvrir progressivement la distribution tout en conservant un mécanisme de filtrage.

Conclusion : maîtriser la température et le sampling, c'est savoir piloter le curseur entre prévisibilité et créativité — selon le besoin métier, pas selon une règle universelle.