Обсуждение:Трансформер (модель)

Материал из MachineLearning.

Промпт для генерации статьи

Статья сгенерирована с помощью Claude Sonnet 4 (claude-sonnet-4-6) в среде Cowork (Claude Desktop).

Промпт:

Напиши подробную статью на русском языке для вики-проекта MachineLearning.ru об архитектуре Трансформера
(модели, предложенной в статье «Attention Is All You Need», Vaswani et al., 2017).

Статья должна включать:
1. Вводное определение с ключевыми терминами
2. Предпосылки и мотивировку (проблемы RNN/LSTM)
3. Архитектуру с математическими формулами: позиционное кодирование, механизм scaled dot-product attention,
   многоголовое внимание, блок энкодера и декодера с residual connections и layer normalization
4. Параметры базовой и большой модели
5. Схему обучения (Adam, warmup scheduler, label smoothing)
6. Основные варианты архитектуры: BERT, GPT, T5, эффективные трансформеры
7. Законы масштабирования
8. Применения за пределами NLP (компьютерное зрение, биология, диффузионные модели)
9. Историческое значение

Используй вики-разметку: формулы в тегах , внутренние ссылки, шаблон