Почему ИИ пишет текст обычно верно, а генерирует картинки не всегда точно?

Пример ниже:

мой коммент другу: Но бисерная сходу без следов сварки, штыревая — ужасные следы сварки! Не похоже на «Ваше производство» — там же можно зачистить легко… Как буд-то ИИ рисовал — у него с логикой при рисовании туго — четыре штыря за три) — но суть что настоящий покупатель не придирчив, а умный соображающий обычно без денег — поэтому массово генерируем рекламный контент в поисках «настоящего покупателя»)

Искусственный интеллект (ИИ) за последние годы достиг впечатляющих успехов в генерации текста и изображений. Однако, несмотря на высокую точность текстов, созданных ИИ, изображения, которые он генерирует, часто содержат ошибки или выглядят неестественно. В этой статье мы разберем причины этого явления, углубляясь в технические, структурные и концептуальные аспекты работы ИИ.

1. Природа данных: текст против изображений

Текст: структурированная и дискретная информация

Текст представляет собой последовательность дискретных символов (букв, слов, знаков препинания), которые подчиняются строгим правилам грамматики, синтаксиса и семантики. Эти правила задают четкие рамки, в которых ИИ может оперировать. Например:

• В языке существуют ограниченные наборы слов и грамматических конструкций.

• Контекст в тексте обычно локален и линеен (слова следуют друг за другом).

• Ошибки в тексте (например, неправильное слово) часто легко обнаруживаются, так как они нарушают ожидаемые языковые шаблоны.

Модели ИИ, такие как трансформеры (например, GPT), обучаются на огромных текстовых корпусах, где они выстраивают вероятностные модели для предсказания следующего слова или токена. Эти модели эффективно улавливают статистические закономерности языка, что позволяет генерировать связный и грамматически правильный текст.

Изображения: непрерывная и многомерная информация

Изображения, в отличие от текста, являются непрерывными данными с высокой степенью вариативности. Каждый пиксель в изображении имеет значения цвета (например, RGB), которые зависят от соседних пикселей, освещения, текстуры и других факторов. Основные сложности:

• Изображения многомерны: они включают пространственные (2D или 3D), цветовые и текстурные характеристики.

• Контекст в изображении глобален: изменение одного пикселя может повлиять на восприятие всего изображения.

• Ошибки в изображениях (например, лишняя конечность или искаженное лицо) могут быть менее очевидными для модели, но сразу бросаются в глаза человеку из-за высокой чувствительности человеческого восприятия к визуальным аномалиям.

Генеративные модели изображений, такие как диффузионные модели (DALL-E, Stable Diffusion) или GAN (генеративно-состязательные сети), должны учитывать эту сложность, что делает задачу генерации изображений гораздо более ресурсоемкой и подверженной ошибкам.

2. Механизмы обучения: различия в подходах

Текстовые модели: вероятностное моделирование

Текстовые модели, такие как GPT, используют архитектуру трансформеров, которые предсказывают следующую последовательность токенов на основе контекста. Они обучаются на задаче «предсказания следующего слова», что является четко определенной задачей с однозначными метриками (например, перплексия). Это позволяет модели:

• Эффективно улавливать языковые шаблоны.

• Генерировать текст, который выглядит «правильным» с точки зрения грамматики и смысла.

• Легко исправлять ошибки, так как текст можно редактировать на уровне слов или предложений.

Генерация изображений: сложность диффузии и GAN

Модели генерации изображений работают с принципиально иными подходами:

• GAN (генеративно-состязательные сети): состоят из генератора, создающего изображения, и дискриминатора, оценивающего их реалистичность. Однако GAN часто страдают от нестабильности обучения и могут генерировать артефакты, если генератор и дискриминатор плохо сбалансированы.

• Диффузионные модели: постепенно «очищают» зашумленное изображение, добавляя детали. Эти модели более стабильны, но требуют огромных вычислительных ресурсов и могут создавать изображения с мелкими ошибками, если процесс денойзинга не завершен идеально.

В отличие от текста, где ошибка в одном слове не разрушает весь контекст, ошибка в одном пикселе или регионе изображения может сделать его неестественным. Например, лишняя конечность или искаженная пропорция лица сразу привлекают внимание, так как человеческий мозг чувствителен к визуальным несоответствиям.

3. Человеческое восприятие: текст vs. изображения

Текст: высокая толерантность к ошибкам

Человеческий мозг более толерантен к небольшим ошибкам в тексте. Например:

• Опечатки или незначительные грамматические ошибки обычно не мешают пониманию смысла.

• Читатель может «додумать» контекст, если текст слегка неоднозначен.

• Текстовая информация обрабатывается последовательно, что упрощает восприятие.

Изображения: низкая толерантность к ошибкам

Визуальное восприятие человека чрезвычайно чувствительно к деталям:

• Даже небольшие ошибки, такие как неправильное количество пальцев или асимметрия лица, сразу бросаются в глаза.

• Человеческий мозг мгновенно распознает «эффект зловещей долины» — изображения, которые почти реалистичны, но содержат едва заметные аномалии.

• Изображения обрабатываются целостно, и любая локальная ошибка может нарушить общее восприятие.

Это означает, что даже если модель генерирует изображение, которое на 99% соответствует запросу, оставшийся 1% ошибки (например, лишний палец) делает результат неприемлемым.

4. Объем данных и качество обучения

Текст: обилие данных

Текстовые данные доступны в огромных объемах (например, книги, статьи, веб-страницы), и их легко собирать. Это позволяет обучать языковые модели на миллиардах слов, что обеспечивает их высокую точность. Кроме того, текстовые данные часто хорошо структурированы и аннотированы, что упрощает обучение.

Изображения: ограниченность и сложность данных

Хотя данных для обучения моделей генерации изображений также много (например, фотографии, иллюстрации), их сложнее собирать и обрабатывать:

• Изображения требуют аннотаций (описаний, меток), которые часто создаются вручную и могут быть субъективными.

• Качество изображений варьируется, и модели могут «учиться» на шуме или артефактах в данных.

• Генерация изображений требует понимания сложных концепций, таких как анатомия, перспектива, освещение, которые сложнее формализовать, чем языковые правила.

5. Ограничения текущих технологий

Текст: зрелость технологий

Технологии генерации текста, такие как трансформеры, достигли высокого уровня зрелости. Они:

• Хорошо оптимизированы для работы с последовательными данными.

• Имеют четкие метрики для оценки качества (например, BLEU, ROUGE).

• Легко масштабируются за счет увеличения объема данных и вычислительных ресурсов.

Изображения: незрелость технологий

Генерация изображений находится на более ранней стадии развития:

• Диффузионные модели и GAN требуют огромных вычислительных ресурсов, что ограничивает их масштабируемость.

• Метрики оценки качества изображений (например, FID) менее надежны, чем текстовые, так как они не всегда коррелируют с человеческим восприятием.

• Модели часто «переобучаются» на определенные стили или шаблоны, что приводит к стереотипным или ошибочным изображениям.

6. Проблемы интерпретации запросов

Текст: однозначность запросов

Текстовые запросы обычно имеют четкую структуру, и ИИ может легко интерпретировать их. Например, запрос «напиши статью о космосе» однозначно указывает на тип контента (статья) и тему (космос).

Изображения: неоднозначность запросов

Запросы для генерации изображений часто неоднозначны. Например, запрос «нарисуй кота в шляпе» оставляет открытыми вопросы:

• Какой породы кот?

• Какого цвета шляпа?

• Какой стиль изображения (реализм, мультяшный, акварель)?

• Какое освещение, фон, перспектива?

Модели пытаются «угадать» недостающие детали, что может привести к неожиданным или неправильным результатам. Даже самые продвинутые модели, такие как DALL-E или Midjourney, иногда интерпретируют запросы буквально или добавляют элементы, которые не были указаны.

7. Будущее: как ИИ может улучшить генерацию изображений

Несмотря на текущие ограничения, генерация изображений активно развивается. Возможные пути улучшения:

• Улучшение данных: создание более качественных и разнообразных датасетов с точными аннотациями.

• Новые архитектуры: разработка моделей, которые лучше понимают пространственные и контекстные связи в изображениях.

• Гибридные подходы: комбинация текстовых и визуальных моделей для более точной интерпретации запросов.

• Обратная связь от пользователей: обучение моделей на основе пользовательских правок и предпочтений.

• Улучшение метрик: разработка новых способов оценки качества изображений, которые лучше соответствуют человеческому восприятию.

Заключение

ИИ генерирует текст с высокой точностью благодаря структурированной природе языка, зрелости технологий и обилию текстовых данных. Однако изображения представляют собой более сложную задачу из-за их многомерности, высокой вариативности и чувствительности человеческого восприятия к ошибкам. Хотя современные модели, такие как диффузионные, уже способны создавать впечатляющие изображения, они пока не достигли уровня точности текстовых моделей. В будущем, с развитием технологий и улучшением данных, мы можем ожидать значительного прогресса в генерации изображений, что сделает их такими же надежными, как текст.