Top-p (nucleus sampling) — как выбирать токены в LLM адаптивно к «уверенности» модели

Top-p (nucleus sampling): формальное определение

Пусть модель вернула вероятности p(v) по словарю V для следующего токена.

1. Упорядочим токены по убыванию: v₁, v₂, … где p(v₁) ≥ p(v₂) ≥ …
2. Возьмём наименьшее ядро S_p = {v₁, …, v_m}, такое что Σ_{i=1..m} p(vᵢ) ≥ p
3. Определим новое распределение:
   1. q(v) = p(v) / Σ_{u∈S_p} p(u) для v ∈ S_p
   2. q(v) = 0 для v ∉ S_p
4. Сэмплируем один токен из q

Крайние случаи:

• p → 0 (теоретически) тянет к greedy;
• p = 1 эквивалентно выбору из полного распределения (без отсечения).

Почему nucleus sampling полезен

• Адаптивность к неопределённости. Когда модель «уверена», ядро маленькое; когда неопределённость высока, ядро расширяется.
• Контроль внезапных «ошибок хвоста». Маловероятные токены, как правило, не попадают в ядро при достаточном *p*, снижая риск нелепых продолжений.
• Баланс разнообразия и стабильности «на лету», без ручного пересчёта *k* под каждый шаг.

Связь и различия: top-p, top-k, температура

• Температура (T) делает распределение острее (T<1) или ровнее (T>1) до формирования ядра.
• Top-k фиксирует размер множества; top-p фиксирует суммарную вероятность.
• На практике часто используют комбинацию: сначала nucleus (*p*), затем «потолок» по *k*, чтобы ядро не раздувалось в «трудных» шагах.

Псевдокод

1. logits = model(x)
2. logits = logits / T
3. probs = softmax(logits)
4. idx = argsort_desc(probs)
5. cum = cumsum(probs[idx])
6. m = min { j : cum[j] ≥ p }
7. S = idx[:m]
8. q = normalize(probs[S])
9. next = sample(q)

Практические пресеты

*Ориентиры зависят от конкретной модели, языка и контекста.*

Интуиция влияния *p*

• Низкое *p* (≈0,8–0,85) — ядро маленькое, стиль сдержанный и предсказуемый; меньше риска «съехать», но выше шанс повторов и «склейки фраз».
• Среднее *p* (≈0,9–0,95) — компромисс «качество/разнообразие» для большинства задач.
• Высокое *p* (≈0,96–0,99) — ядро широкое, появляются «дальние ассоциации» и креатив, но растут ошибки стиля и фактов.

Как комбинировать top-p, top-k и T

• Правило 1. Настройте T под домен (факты/код — ниже; креатив — выше).
• Правило 2. Подберите p как основной регулятор разнообразия (0,9 хорошая отправная точка).
• Правило 3. При всплесках «размазни» ограничьте ядро max-k: используйте min(|S_p|, k_cap) с k_cap ≈ 20–50 под задачу.
• Правило 4. Для JSON/таблиц снижайте *T* и *p* и добавляйте схемную валидацию.

Тонкие эффекты и частые ошибки

• «Слишком высокий *p* лечит креатив». Да, но если T тоже высока — вырастет «словесный шум». Лучше сначала поднять T, затем p.
• Длинные ответы и циклы. При низком *p* модель может «залипать» в повторы; добавляйте штраф повторов и лимиты длины.
• Смешение жанров. Универсальные настройки для всех задач почти всегда хуже, чем профильные пресеты.
• Путаница «правдивость ↔ *p*». Top-p регулирует разнообразие, а не знания. За факты отвечают контекст, источники и политика ответов (см. RAG-хаб и Evals).

Тюнинг в проде: пошагово

1. Определите цель (факты/стиль/креатив/длина) и метрики (EM/F1, win-rate, pass@k).
2. Прогоните сетку T ∈ {0.3, 0.7, 1.0} × p ∈ {0.85, 0.90, 0.95} на вашем golden-наборе.
3. Для сложных шагов включите «потолок» k_cap и сравните стабильность форматов.
4. Зафиксируйте лучшие пары и версионируйте настройки; мониторьте жалобы/ошибки/латентность.
5. Для RAG — дополнительно меряйте faithfulness и citation-precision.

См. также

• Top-k sampling
• Fine-tuning (дообучение LLM)