Мультимодальное машинное обучение

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{TOCright}} '''Мультимодальное машинное обучение''' ({{lang-en|multimodal machine learning}}, MMML) — раздел [[Машинное обучение|...)
 
Строка 1: Строка 1:
 +
{{well|Статья написана с использованием LLM '''Claude Opus 4.8''' и проверена участником [[Участник:Vladimir Beliaev|Vladimir Beliaev]] 19:05, 13 июля 2026 (MSD)}}
{{TOCright}}
{{TOCright}}
'''Мультимодальное машинное обучение''' ({{lang-en|multimodal machine learning}}, MMML) — раздел [[Машинное обучение|машинного обучения]], изучающий модели, которые одновременно работают с данными нескольких ''модальностей'' — то есть качественно разных источников информации: текста, изображений, звука, видео, показаний датчиков, молекулярных структур и др. Задача таких моделей — не просто обработать каждую модальность по отдельности, а связать их: соотнести слово «собака» с пикселями, на которых собака изображена, а лай — с её видом.
'''Мультимодальное машинное обучение''' ({{lang-en|multimodal machine learning}}, MMML) — раздел [[Машинное обучение|машинного обучения]], изучающий модели, которые одновременно работают с данными нескольких ''модальностей'' — то есть качественно разных источников информации: текста, изображений, звука, видео, показаний датчиков, молекулярных структур и др. Задача таких моделей — не просто обработать каждую модальность по отдельности, а связать их: соотнести слово «собака» с пикселями, на которых собака изображена, а лай — с её видом.
Строка 16: Строка 17:
== Представление: раннее и позднее слияние ==
== Представление: раннее и позднее слияние ==
-
Исторически различали две стратегии. При '''раннем слиянии''' признаки модальностей объединяют на входе (простейший вариант — [[Конкатенация|конкатенация]] векторов) и дальше учат единую модель. При '''позднем слиянии''' каждую модальность обрабатывает свой блок, а объединяют уже итоговые предсказания.
+
Исторически различали две стратегии. При '''раннем слиянии''' признаки модальностей объединяют на входе (простейший вариант — [[Конкатенация|конкатенация]] векторов) и дальше учат единую модель. При '''позднем слиянии''' каждую модальность обрабатывает свой блок, а объединяют уже итоговые предсказания. Между ними лежит спектр промежуточных схем (''гибридное'' и ''послойное'' слияние), где модальности обмениваются информацией на нескольких уровнях сети.
-
Наивная конкатенация, вопреки интуиции, часто работает плохо. Причина — в разной статистике и размерности модальностей: сильный, легко обучаемый сигнал (скажем, текст) может «забить» слабый (звук), и модель фактически проигнорирует одну из ветвей. Эта патология известна как ''доминирование модальности''; борьба с ней (балансировка градиентов, регуляризация, раздельные темпы обучения) — отдельная практическая тема.
+
Наивная конкатенация, вопреки интуиции, часто работает плохо. Причина — в разной статистике и размерности модальностей: сильный, легко обучаемый сигнал (скажем, текст) может «забить» слабый (звук), и модель фактически проигнорирует одну из ветвей. Эта патология известна как ''доминирование модальности''; борьба с ней (балансировка градиентов, регуляризация, раздельные темпы обучения) — отдельная практическая тема. Показательно, что более «умное» слияние иногда проигрывает грубому усреднению именно потому, что не справляется с этим дисбалансом.
== Совместное пространство представлений и разрыв модальностей ==
== Совместное пространство представлений и разрыв модальностей ==
Строка 24: Строка 25:
Прорыв 2021 года — модель '''CLIP''' (Contrastive Language–Image Pre-training)<ref name="clip">Radford A. et al. Learning Transferable Visual Models from Natural Language Supervision. 2021. arXiv:2103.00020.</ref>. Идея, восходящая к [[Контрастное обучение|контрастному обучению]]: взять 400 млн пар «картинка–подпись» из интернета и обучить два кодировщика (для изображений и для текста) так, чтобы вектор картинки и вектор её настоящей подписи в общем пространстве были близки, а к чужим подписям — далеки. Параллельно и независимо ту же идею масштабировала модель ALIGN<ref name="align">Jia C. et al. Scaling Up Visual and Vision-Language Representation Learning with Noisy Text Supervision. 2021. arXiv:2102.05918.</ref>.
Прорыв 2021 года — модель '''CLIP''' (Contrastive Language–Image Pre-training)<ref name="clip">Radford A. et al. Learning Transferable Visual Models from Natural Language Supervision. 2021. arXiv:2103.00020.</ref>. Идея, восходящая к [[Контрастное обучение|контрастному обучению]]: взять 400 млн пар «картинка–подпись» из интернета и обучить два кодировщика (для изображений и для текста) так, чтобы вектор картинки и вектор её настоящей подписи в общем пространстве были близки, а к чужим подписям — далеки. Параллельно и независимо ту же идею масштабировала модель ALIGN<ref name="align">Jia C. et al. Scaling Up Visual and Vision-Language Representation Learning with Noisy Text Supervision. 2021. arXiv:2102.05918.</ref>.
-
Результат оказался неожиданно мощным: CLIP умеет [[Обучение без примеров|zero-shot]]-классификацию — распознаёт объекты, которым его специально не учили, просто сравнивая картинку с текстовыми описаниями классов. Это сместило акцент со «специализированных классификаторов» на «универсальные представления».
+
Результат оказался неожиданно мощным: CLIP умеет [[Обучение без примеров|zero-shot]]-классификацию — распознаёт объекты, которым его специально не учили, просто сравнивая картинку с текстовыми описаниями классов. Это сместило акцент со «специализированных классификаторов» на «универсальные представления», годные для множества задач без дообучения.
-
Здесь важно упомянуть неочевидный и до сих пор до конца не понятый феномен — '''разрыв модальностей''' (modality gap): в обученном совместном пространстве векторы изображений и векторы текстов образуют не одно перемешанное облако, а два раздельных кластера, разнесённых в разные области<ref name="gap">Liang V. W. et al. Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning // NeurIPS. 2022. arXiv:2203.02053.</ref>. То есть «общее» пространство не так уж и общо. Разрыв возникает из-за геометрии инициализации и контрастной функции потерь и, как показали авторы, влияет на качество и справедливость модели — управление им остаётся открытым вопросом.
+
Здесь важно упомянуть неочевидный и до сих пор до конца не понятый феномен — '''разрыв модальностей''' (modality gap): в обученном совместном пространстве векторы изображений и векторы текстов образуют не одно перемешанное облако, а два раздельных кластера, разнесённых в разные области<ref name="gap">Liang V. W. et al. Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning // NeurIPS. 2022. arXiv:2203.02053.</ref>. То есть «общее» пространство не так уж и общо. Разрыв возникает из-за геометрии инициализации в сочетании с контрастной функцией потерь и, как показали авторы, влияет на качество и справедливость модели — управление им остаётся открытым вопросом.
== От кодировщиков к мультимодальным LLM ==
== От кодировщиков к мультимодальным LLM ==
Строка 36: Строка 37:
* '''LLaVA''' (2023) идёт ещё проще: линейная проекция зрительных признаков прямо во входное пространство LLM плюс дообучение на инструкциях. Простота и открытость сделали LLaVA рабочей лошадкой исследований<ref name="llava">Liu H. et al. Visual Instruction Tuning // NeurIPS. 2023. arXiv:2304.08485.</ref>.
* '''LLaVA''' (2023) идёт ещё проще: линейная проекция зрительных признаков прямо во входное пространство LLM плюс дообучение на инструкциях. Простота и открытость сделали LLaVA рабочей лошадкой исследований<ref name="llava">Liu H. et al. Visual Instruction Tuning // NeurIPS. 2023. arXiv:2304.08485.</ref>.
-
Именно эта линия привела к массовым моделям общего назначения (GPT-4o, Gemini, Claude и др.), которые «из коробки» понимают изображения, а часто и звук с видео. Показательно, что BLIP-2 обошёл 80-миллиардный Flamingo на zero-shot VQA, имея в десятки раз меньше обучаемых параметров, — наглядная иллюстрация того, что в мультимодальности ''архитектура моста'' порой важнее грубого масштаба.
+
Именно эта линия привела к массовым моделям общего назначения (GPT-4o, Gemini, Claude и др.), которые «из коробки» понимают изображения, а часто и звук с видео. Показательно, что BLIP-2 обошёл 80-миллиардный Flamingo на zero-shot VQA, имея в десятки раз меньше обучаемых параметров, — наглядная иллюстрация того, что в мультимодальности ''архитектура моста'' порой важнее грубого масштаба. Эта же линия смыкается с [[Agentic AI|агентными системами]]: агент, который «видит» экран, — это мультимодальная модель с доступом к инструментам.
== Задачи и приложения ==
== Задачи и приложения ==
Строка 45: Строка 46:
* '''Генерация и перенос''': синтез изображений по тексту ([[Диффузионные модели|диффузионные модели]] вроде Stable Diffusion и DALL·E), синтез речи, оживление изображений в видео.
* '''Генерация и перенос''': синтез изображений по тексту ([[Диффузионные модели|диффузионные модели]] вроде Stable Diffusion и DALL·E), синтез речи, оживление изображений в видео.
* '''Прикладные области''': медицинская диагностика (снимок + история болезни + анализы), [[Беспилотный автомобиль|автономное вождение]] (камеры + лидар + карты), робототехника, распознавание эмоций по мимике, голосу и словам одновременно.
* '''Прикладные области''': медицинская диагностика (снимок + история болезни + анализы), [[Беспилотный автомобиль|автономное вождение]] (камеры + лидар + карты), робототехника, распознавание эмоций по мимике, голосу и словам одновременно.
 +
 +
Отдельно стоит упомянуть, что синтез изображений по тексту оказался и мощным инструментом [[Генерация синтетических данных|генерации синтетических данных]]: обученная генеративная модель порождает размеченные примеры для обучения других моделей.
== Как оценивают качество ==
== Как оценивают качество ==
-
Оценка мультимодальных систем сложна из-за открытого характера ответов. Сложился набор бенчмарков разной направленности: ''VQAv2'' (классические вопросы по картинкам), ''MMMU'' (экзаменационные вопросы университетского уровня, требующие рассуждения по тексту и диаграммам), ''MathVista'' (математика по визуальным данным), ''MMBench'' и ''MMT-Bench'' (широкие батареи разнотипных задач)<ref name="survey2025">Li Z. et al. A Survey of State of the Art Large Vision-Language Models: Alignment, Benchmark, Evaluations and Challenges. 2025. arXiv:2501.02189.</ref>. Отдельная головная боль — ''мультимодальные галлюцинации'': модель уверенно описывает на изображении объекты, которых там нет, «домысливая» по языковому приору. Это прямой мостик к теме [[Explainable AI|интерпретируемости]] и надёжности.
+
Оценка мультимодальных систем сложна из-за открытого характера ответов. Сложился набор бенчмарков разной направленности: ''VQAv2'' (классические вопросы по картинкам), ''MMMU'' (экзаменационные вопросы университетского уровня, требующие рассуждения по тексту и диаграммам), ''MathVista'' (математика по визуальным данным), ''MMBench'' и ''MMT-Bench'' (широкие батареи разнотипных задач)<ref name="survey2025">Li Z. et al. A Survey of State of the Art Large Vision-Language Models: Alignment, Benchmark, Evaluations and Challenges. 2025. arXiv:2501.02189.</ref>. Отдельная головная боль — ''мультимодальные галлюцинации'': модель уверенно описывает на изображении объекты, которых там нет, «домысливая» по языковому приору. Природа этого эффекта в том, что языковая основа сильна и склонна «дорисовывать» правдоподобное; это прямой мостик к теме [[Explainable AI|интерпретируемости]] и надёжности.
== Открытые проблемы ==
== Открытые проблемы ==
Строка 62: Строка 65:
== См. также ==
== См. также ==
 +
* [[Большие языковые модели]]
* [[Большие языковые модели]]
* [[Малые языковые модели]]
* [[Малые языковые модели]]
Строка 68: Строка 72:
* [[Смещение данных: bias in ML]]
* [[Смещение данных: bias in ML]]
* [[Генерация синтетических данных]]
* [[Генерация синтетических данных]]
-
 
+
* [[Контрастное обучение]]
 +
* [[Диффузионные модели]]
 +
* [[Vision Transformer]]
== Примечания ==
== Примечания ==
Строка 78: Строка 84:
* [https://arxiv.org/abs/2103.00020 CLIP (Radford et al., 2021)] — статья, задавшая моду на совместные представления
* [https://arxiv.org/abs/2103.00020 CLIP (Radford et al., 2021)] — статья, задавшая моду на совместные представления
* [https://github.com/haotian-liu/LLaVA LLaVA] — открытая мультимодальная LLM и код обучения
* [https://github.com/haotian-liu/LLaVA LLaVA] — открытая мультимодальная LLM и код обучения
-
* [https://arxiv.org/abs/2103.09814 Foundations and Trends in Multimodal ML] — развёрнутый современный обзор
+
* [https://dl.acm.org/doi/10.1145/3656580 Foundations and Trends in Multimodal ML (ACM CSUR, 2024)] — развёрнутый современный обзор
[[Категория:Машинное обучение]]
[[Категория:Машинное обучение]]

Текущая версия

Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Vladimir Beliaev 19:05, 13 июля 2026 (MSD)


Содержание

Мультимодальное машинное обучение (Шаблон:Lang-en, MMML) — раздел машинного обучения, изучающий модели, которые одновременно работают с данными нескольких модальностей — то есть качественно разных источников информации: текста, изображений, звука, видео, показаний датчиков, молекулярных структур и др. Задача таких моделей — не просто обработать каждую модальность по отдельности, а связать их: соотнести слово «собака» с пикселями, на которых собака изображена, а лай — с её видом.

Мотивировка проста: мир по своей природе мультимодален, и человек воспринимает его сразу многими каналами. Одна и та же сущность, описанная разными модальностями, даёт взаимодополняющую информацию (подпись уточняет, что происходит на размытом фото) и избыточную (что повышает устойчивость к шуму). Именно поэтому мультимодальные модели при прочих равных нередко превосходят одномодальные — но платят за это набором специфических трудностей, о которых пойдёт речь ниже.

Что делает задачу трудной: пять проблем

Удобную систему координат задала классическая работа Балтрушайтиса, Ахуджи и Морэнси (2019), выделившая пять фундаментальных проблем, которые приходится решать в любой мультимодальной системе[1]. Эти пять пунктов — самый полезный «скелет» для понимания всей области, и мы будем к ним возвращаться.

Представление (representation) 
Как закодировать разнородные данные в форме, пригодной для совместной обработки? Пиксели непрерывны и пространственны, текст дискретен и последователен — привести их к общему знаменателю нетривиально.
Согласование (alignment) 
Как установить соответствия между элементами разных модальностей — например, какое слово подписи относится к какой области изображения?
Слияние (fusion) 
Как объединить информацию модальностей для итогового решения и на каком этапе это делать?
Перенос (translation) 
Как отобразить одну модальность в другую — сгенерировать подпись к картинке или картинку по тексту?
Совместное обучение (co-learning) 
Как перенести знание, добытое из «богатой» модальности, на «бедную», где данных мало?

Представление: раннее и позднее слияние

Исторически различали две стратегии. При раннем слиянии признаки модальностей объединяют на входе (простейший вариант — конкатенация векторов) и дальше учат единую модель. При позднем слиянии каждую модальность обрабатывает свой блок, а объединяют уже итоговые предсказания. Между ними лежит спектр промежуточных схем (гибридное и послойное слияние), где модальности обмениваются информацией на нескольких уровнях сети.

Наивная конкатенация, вопреки интуиции, часто работает плохо. Причина — в разной статистике и размерности модальностей: сильный, легко обучаемый сигнал (скажем, текст) может «забить» слабый (звук), и модель фактически проигнорирует одну из ветвей. Эта патология известна как доминирование модальности; борьба с ней (балансировка градиентов, регуляризация, раздельные темпы обучения) — отдельная практическая тема. Показательно, что более «умное» слияние иногда проигрывает грубому усреднению именно потому, что не справляется с этим дисбалансом.

Совместное пространство представлений и разрыв модальностей

Прорыв 2021 года — модель CLIP (Contrastive Language–Image Pre-training)[1]. Идея, восходящая к контрастному обучению: взять 400 млн пар «картинка–подпись» из интернета и обучить два кодировщика (для изображений и для текста) так, чтобы вектор картинки и вектор её настоящей подписи в общем пространстве были близки, а к чужим подписям — далеки. Параллельно и независимо ту же идею масштабировала модель ALIGN[1].

Результат оказался неожиданно мощным: CLIP умеет zero-shot-классификацию — распознаёт объекты, которым его специально не учили, просто сравнивая картинку с текстовыми описаниями классов. Это сместило акцент со «специализированных классификаторов» на «универсальные представления», годные для множества задач без дообучения.

Здесь важно упомянуть неочевидный и до сих пор до конца не понятый феномен — разрыв модальностей (modality gap): в обученном совместном пространстве векторы изображений и векторы текстов образуют не одно перемешанное облако, а два раздельных кластера, разнесённых в разные области[1]. То есть «общее» пространство не так уж и общо. Разрыв возникает из-за геометрии инициализации в сочетании с контрастной функцией потерь и, как показали авторы, влияет на качество и справедливость модели — управление им остаётся открытым вопросом.

От кодировщиков к мультимодальным LLM

Следующий сдвиг — присоединение зрения к большим языковым моделям (LLM). Возникший класс моделей называют мультимодальными LLM (MLLM) или зрительно-языковыми моделями (VLM). Типовая архитектура состоит из трёх частей: замороженный зрительный кодировщик (обычно ViT из CLIP), обучаемый адаптер-мост и языковая модель-основа. Различаются подходы в основном устройством моста:

  • Flamingo (2022) вставляет в LLM новые слои перекрёстного внимания, через которые в текст «подмешиваются» зрительные признаки[1].
  • BLIP-2 (2023) вводит компактный модуль-посредник Q-Former, который извлекает из картинки небольшой набор «зрительных токенов» и подаёт их замороженной LLM; при этом обучаемых параметров на порядки меньше[1].
  • LLaVA (2023) идёт ещё проще: линейная проекция зрительных признаков прямо во входное пространство LLM плюс дообучение на инструкциях. Простота и открытость сделали LLaVA рабочей лошадкой исследований[1].

Именно эта линия привела к массовым моделям общего назначения (GPT-4o, Gemini, Claude и др.), которые «из коробки» понимают изображения, а часто и звук с видео. Показательно, что BLIP-2 обошёл 80-миллиардный Flamingo на zero-shot VQA, имея в десятки раз меньше обучаемых параметров, — наглядная иллюстрация того, что в мультимодальности архитектура моста порой важнее грубого масштаба. Эта же линия смыкается с агентными системами: агент, который «видит» экран, — это мультимодальная модель с доступом к инструментам.

Задачи и приложения

Мультимодальные модели покрывают широкий спектр задач:

  • Понимание: визуальные вопросы-ответы (VQA), генерация подписей к изображениям, поиск «текст ↔ картинка».
  • Генерация и перенос: синтез изображений по тексту (диффузионные модели вроде Stable Diffusion и DALL·E), синтез речи, оживление изображений в видео.
  • Прикладные области: медицинская диагностика (снимок + история болезни + анализы), автономное вождение (камеры + лидар + карты), робототехника, распознавание эмоций по мимике, голосу и словам одновременно.

Отдельно стоит упомянуть, что синтез изображений по тексту оказался и мощным инструментом генерации синтетических данных: обученная генеративная модель порождает размеченные примеры для обучения других моделей.

Как оценивают качество

Оценка мультимодальных систем сложна из-за открытого характера ответов. Сложился набор бенчмарков разной направленности: VQAv2 (классические вопросы по картинкам), MMMU (экзаменационные вопросы университетского уровня, требующие рассуждения по тексту и диаграммам), MathVista (математика по визуальным данным), MMBench и MMT-Bench (широкие батареи разнотипных задач)[1]. Отдельная головная боль — мультимодальные галлюцинации: модель уверенно описывает на изображении объекты, которых там нет, «домысливая» по языковому приору. Природа этого эффекта в том, что языковая основа сильна и склонна «дорисовывать» правдоподобное; это прямой мостик к теме интерпретируемости и надёжности.

Открытые проблемы

  • Разрыв и выравнивание модальностей. Как построить действительно единое пространство и нужно ли оно вообще — предмет активных споров.
  • Дисбаланс модальностей. Сильные каналы подавляют слабые; универсального рецепта балансировки нет.
  • Данные. Качественные размеченные мультимодальные корпуса дороги; веб-пары «картинка–подпись» шумны и несбалансированы по языкам и культурам, что переносит смещения в модель.
  • За пределами «текст + картинка». Звук, видео, 3D, временные ряды, графы, тактильные и биологические сигналы интегрированы гораздо слабее; по-настоящему «любой-к-любому» (any-to-any) моделей пока мало.
  • Оценка и галлюцинации. Бенчмарки быстро насыщаются и попадают в обучающие данные; надёжных метрик достоверности недостаёт.
  • Вычислительная стоимость. Обучение крупных VLM требует ресурсов, доступных единицам лабораторий (см. Малые языковые модели о встречном движении к компактным моделям).

Систематический разбор современного состояния области дают обзоры Лян и Морэнси (2024)[1] и недавние обзоры по VLM/MLLM[1].

См. также

Примечания


Ссылки

Источник — «http://recognition.su/wiki/index.php?title=%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BC%D0%BE%D0%B4%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»