Материал из MachineLearning.
Промпт для генерации статьи
Статья сгенерирована с помощью Claude Sonnet 4 (claude-sonnet-4-6) в среде Cowork (Claude Desktop).
Промпт:
Напиши подробную статью на русском языке для вики-проекта MachineLearning.ru об архитектуре Трансформера (модели, предложенной в статье «Attention Is All You Need», Vaswani et al., 2017).
Статья должна включать:
1. Вводное определение с ключевыми терминами
2. Предпосылки и мотивировку (проблемы RNN/LSTM)
3. Архитектуру с математическими формулами: позиционное кодирование, механизм scaled dot-product attention, многоголовое внимание, блок энкодера и декодера с residual connections и layer normalization
4. Параметры базовой и большой модели
5. Схему обучения (Adam, warmup scheduler, label smoothing)
6. Основные варианты архитектуры: BERT, GPT, T5, эффективные трансформеры
7. Вычислительную сложность и законы масштабирования
8. Применения за пределами NLP (компьютерное зрение, биология, диффузионные модели)
9. Историческое значение
Используй вики-разметку: формулы в тегах 
, внутренние ссылки ..., шаблон
| ...
|
в начале,
, категории и другие, раздел «Примечания» с [1]
