Диффузионная языковая модель: как исследователи переизобрели генерацию текста

Ранее мы ранее мы уже рассказывали читателям о том, как устроены большие языковые модели, однако прогресс не стоит на месте и теперь пришла пора знакомиться с новым типом LLM — диффузионным. В чем его отличие от уже привычного “трансформера” и почему эта технология выглядит более перспективной сегодня и поговорим.

О чем речь

Большинство современных нейросетей, которые умеют писать тексты — от чат-ботов до генераторов описаний и писем — используют автогрегрессию. Это значит, что они создают текст последовательно, один токен (то есть фрагмент слова или слово) за другим. Так работают модели вроде ChatGPT, LLaMA и других. Однако в последние годы исследователи начали активно изучать альтернативный подход — диффузионные языковые модели.

Термин "диффузия" пришёл из физики, где он описывает, как, например, капля чернил медленно растворяется в воде. В машинном обучении идея схожая. Только процесс работает в две стороны: сначала модель превращает данные (например, изображение или текст) в шум — это называется прямым процессом. Затем она учится восстанавливать из этого шума исходные данные — это обратный процесс. Именно этот принцип лежит в основе генерации изображений в таких моделях, как DALL·E 2 или Stable Diffusion.

Когда такие же идеи стали применять к тексту, появились диффузионные языковые модели. Вместо того чтобы писать текст шаг за шагом, модель начинает с случайного шума и постепенно "выводит" из него связную фразу, абзац или даже целую статью.

Как это работает

Диффузионная языковая модель получает на вход случайную последовательность — например, случайный набор токенов. На каждом этапе она делает небольшой шаг к восстановлению смысла. В результате, после десятков или сотен итераций, появляется логичный текст. Такой подход позволяет модели учитывать весь контекст сразу, а не только то, что было до текущего слова, как в автогрегрессии. Это даёт интересные преимущества. Во-первых, модель может создавать текст, в котором начало, середина и конец связаны логически. Во-вторых, такой способ особенно удобен, когда нужно, например, отредактировать уже существующий текст, вставить пропущенное слово или переписать отдельный фрагмент. В обычной автогрегрессивной модели подобные задачи требуют хитрых обходных путей. А в диффузионной модели редактирование — это естественная часть процесса.

В чем преимущества

Главное отличие — в том, как создаётся текст. Модели-трансформеры идут слева направо и могут "забывать" то, что было в начале, особенно при длинных текстах. Диффузионная модель смотрит на текст как на единое целое. Это помогает создавать более цельные и согласованные тексты, особенно в сложных задачах. Кроме того, диффузионные модели более гибкие. Их можно обучать так, чтобы они умели не только писать с нуля, но и, например, дописывать недостающие фрагменты, заменять одни части другими, адаптировать стиль. Это делает их полезными в задачах редактирования, локализации и даже креативного письма.
Конечно, есть и минусы. Диффузионные модели работают медленнее: ведь они делают не один, а десятки шагов генерации. Пока что они не так широко используются, как GPT-подобные модели, но активно исследуются, развиваются, и их потенциал огромен. Также стоит помнить, что тип генерации не отменяет существующих проблем LLM: они все также могут галлюцинировать и “придумывать” факты, хоть и в меньшей степени.

Примеры диффузионных языковых моделей

Одним из первых ярких примеров стала Diffusion-LM, представленная исследователями в 2022 году. Она показала, что такой подход работает не хуже автогрегрессии при генерации коротких текстов. Позже появились MaskGIT от Google и другие гибридные модели, которые используют похожие принципы. В феврале текущего года стартап Inception Labs представил Mercury — это первая коммерчески доступная диффузионная большая языковая модель.

Чего ждать

Хотя сейчас диффузионные языковые модели находятся на этапе активных исследований, уже ясно: они могут изменить правила игры. Представьте себе редактора, который умеет не просто дописывать слова, а осмысленно перестраивать текст, улучшать стиль или создавать варианты. Или переводчика, который сохраняет настроение и структуру оригинала, а не просто подбирает аналогичные слова. Всё это — задачи, в которых диффузионные модели могут раскрыть себя особенно ярко. Возможно, в будущем именно они станут основой умных текстовых систем — не только говорящих, но и "понимающих", как текст устроен в целом, его структуру и, что особенно важно, первоначальную цель.

Было интересно? Расскажите в комментариях, о каких еще технологиях вам хотелось бы узнать больше и подписывайтесь на PDALIFE Official, чтобы не пропускать наши будущие материалы.