Stable Diffusion 3 Medium от Stability AI. Устанавливаем и тестируем новую модель

Большие размеры моделей не всегда являются лучшим решением. Компания Stability AI хорошо это понимает, и поэтому выпустила Stable Diffusion 3 Medium — «младшего брата» Stable Diffusion 3. Но меньшие размеры вовсе не означают меньшие возможности, наоборот. Этот новый компактный, но очень способный модуль может легко работать на обычных ПК, потребительских ноутбуках и корпоративных GPU.

Попробовать Stable Diffusion 3 Medium онлайн

Попробовать Stable Diffusion Medium онлайн можно бесплатно тут https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium (скопируйте ссылку и вставьте в браузер

Конвертировать картинки из webp формата в jpg https://webptojpeg.com/ru/

Запускаем Stable Diffusion 3 medium в Automatic 1111

Появилась возможность запускать Stable Diffusion 3 medium в интерфейсе Automatic 1111.

На данный момент есть версия автоматика которая поддерживает модели Stable Diffusion 3 medium. Но с новыми обновлениями автоматик уже тоже будет поддерживать sd 3.

На данный момент есть версия автоматика которая поддерживает модели Stable Diffusion 3 medium. Но с новыми обновлениями автоматик уже тоже будет поддерживать sd 3.

1. Скачивайте автоматик https://github.com/AUTOMATIC1111/stable-diffusion-webui
2. Скачивайте модели sd 3 https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main (вы должны зарегистрироваться на сайте)
3. Скачивайте модели clip https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main/text_encoders
4. Устанавливайте Automatic 1111. Распаковывайте архив, после запускаете userbat и ждете пока докачаются файлы.
5. Если не установлен пайтон, скачайте тут https://www.python.org/downloads/release/python-31011/
6. Если не установлен гит скачивайте тут https://gitforwindows.org/

Как установить Stable Diffusion 3 Medium на компьютер

Установим модель в интерфейс Comfy ui. В нем и будем тестировать.

Устанавливать мы будем через программу StabilityMatrix.

https://github.com/LykosAI/StabilityMatrix (скопируйте ссылку и вставьте в адресную строку браузера)

Скачивайте программу либо на свой компьютер либо на удаленный пк.

https://hflife.ru/gpu Это сервис по аренде удаленного пк (скопируйте ссылку и вставьте в адресную строку браузера)

Смотрите видео о том как установить Stable Diffusion на удаленный пк

Компактные размеры, превосходная производительность

Stable Diffusion 3 Medium представляет собой значительную инновацию в области генеративного ИИ. Имея всего 2 миллиарда параметров по сравнению с 8 миллиардами у своего «старшего брата» Stable Diffusion 3 Large, этот модуль демонстрирует, что высокая производительность не всегда зависит от размера.
Несмотря на компактные размеры, Stable Diffusion 3 Medium сохраняет большинство ключевых функций своего предшественника, включая фотореализм, временную согласованность, продвинутую типографику, эффективность использования ресурсов и возможность точной настройки.

Производительность, сравнимая с моделями большого размера

Одной из наиболее интересных особенностей Stable Diffusion 3 Medium является его совместимость с высокопроизводительным потребительским оборудованием. С минимальным требованием всего 5 ГБ видеопамяти VRAM, этот модуль можно запускать на широком спектре потребительских ПК и ноутбуков. Хотя Stability AI рекомендует 16 ГБ VRAM для оптимальной производительности, такой объем памяти вполне приемлем для многих современных систем.

Несмотря на компактный размер, Stable Diffusion 3 Medium обещает производительность, сравнимую с крупномасштабными моделями в нескольких ключевых областях. Модуль способен генерировать крайне реалистичные изображения благодаря 16-канальному вариационному автокодировщику (VAE), обеспечивающему более высокий уровень детализации на мегапиксель по сравнению с предыдущими моделями.

Кроме того, новый модуль Stability AI обладает впечатляющими способностями к пониманию естественного языка, включая пространственное восприятие элементов внутри изображения. Модуль также высоко адаптивен и способен быстро обучаться новым деталям и информации из используемых для тренировки наборов данных.
На практике Medium можно целенаправленно оптимизировать для определенных задач или типов контента, просто предоставляя ему новые примеры для обучения.

Stable Diffusion 3 поднимает планку

Как объясняет генеральный директор Эмад Мостак, Medium будет обладать большинством передовых функций версии Large, включая фотореализм, временную согласованность, продвинутую типографику и вычислительную эффективность. И все это в формате, работающем даже на обычных ПК и потребительских GPU.
Однако главная особенность Stable Diffusion 3 Medium — это эффективность использования ресурсов. Благодаря компактным размерам и модульной структуре этот модуль способен снизить вычислительные требования без ущерба для производительности, делая его идеальным выбором для будущего использования, где управление ресурсами и эффективность имеют критическое значение.

Тестируем Stable Diffusion Medium на разных промтах

Промт: (((сказочная атмосфера))), фото продукта, баночка крема, море, золотистый песок развивается на ветру, красиво, золотой час


(((fabulous atmosphere))), product photo, jar of cream, sea, golden sand developing in the wind, beautiful, golden hour

Негативный промт я использовал, который подойдет под любые стили:

Негативный универсальный промт (deformed, distorted, disfigured: 1.3), poorly drawn, bad anatomy, wrang anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers: 1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation

Промт: Gloomy futurism transforming into a delicate flower encased in crystal, Avant-garde lighting, Detailed composition, Deep, dramatic lighting with high contrast, Fibonacci inspired details; Alberto Seveso style, Striking 64K resolution, Intricate, mesmerizing, otherworldly atmosphere

Мрачный футуризм, превращающийся в нежный цветок, заключенный в кристалл, Авангардное освещение, Детальная композиция, Глубокое, драматическое освещение с высоким контрастом, Детали, вдохновленные Фибоначчи; стиль Альберто Севезо, Поразительное разрешение 64K, Замысловатая, завораживающая, потусторонняя атмосфера

Промт the bread inscription «Stable Diffusion 3.»


надпись в виде хлеба «Stable Diffusion 3»

Astronaut in a jungle, cold color palette, muted colors, detailed, 8k

Астронавт в джунглях, холодная цветовая палитра, приглушенные цвета, детализация, 8k

Промт A delicious ceviche cheesecake slice


Вкусный кусочек чизкейка с севиче