RuDALL-E

· ruDALL-E ·Artificial intelligence · CG · #note/sink ·

Description

Встречайте нашу новую нейросеть ruDALL-E!

ruDALL-E Malevich (XL)

По короткому текстовому описанию ruDALL-E генерирует яркие и красочные изображения на самые разные темы и сюжеты. Модель понимает обширный набор понятий и генерирует совершенно новые изображения и объекты, которых не существовало в реальном мире.

Параметры обучения и модели:

1,3 млрд параметров
Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
YTTM токенизатор текстов со словарем 16000 токенов
Специализированные маски attention для визуальных последовательностей
Поддержка переранжирования результатов моделью ruCLIP
Поддержка поднятия разрешения с помощью модели RealESRGAN

Самая большая вычислительная задача в истории России

На кластере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. Наша самая большая обученная модель XXL (12 миллиардов параметров) сравнима с английской DALL-E от OpenAI!

Expressions to scan for

нейросеть
Альтернативное <location>
Satellite space art