Omost 是一个将 LLM 的编码能力转换为图像生成(或更准确地说,图像合成)能力的项目。
Omost (读音:almost)这个名字有两个含义:1)每次使用Omost后,你的形象就差不多了; 2) O 表示“全向”(多模式), most 表示我们希望充分利用它。
Omost 提供了 LLMs 模型,这些模型将使用 Omost 的虚拟 Canvas 代理编写代码来组成图像视觉内容。这个 Canvas 可以通过图像生成器的特定实现来渲染以实际生成图像。
目前,我们提供了 3 个基于 Llama3 和 Phi3 变体的预训练 LLM 模型(另请参阅本页末尾的模型注释)。
所有模型均使用以下混合数据进行训练:(1) 包括开放图像在内的多个数据集的真实注释,(2) 通过自动注释图像提取数据,(3) 来自 DPO(直接偏好优化)的强化,“代码是否可以是否由 python 3.10 编译”作为直接偏好),以及 (4) 来自 OpenAI GPT4o 多模式功能的少量调优数据。
Get Started 开始使用:
HuggingFace 空间在线体验:https://huggingface.co/spaces/lllyasviel/Omost
本地部署文件夸克网盘下载:https://pan.quark.cn/s/67fe7c54801a
或者,您可以使用以下部署(需要 8GB Nvidia VRAM):
git clone https://github.com/lllyasviel/Omost.git
cd Omost
conda create –n omost python=3.10
conda activate omost
pip install torch torchvision —index–url https://download.pytorch.org/whl/cu121
pip install –r requirements.txt
python gradio_app.py
(请注意,Quant LLM 需要 bitsandbytes – 某些 9XX 或 10XX 或 20XX GPU 可能在运行时遇到问题。如果发生这种情况,只需使用我们的官方 Huggingface 空间。)
Screenshots 截图
(全部带有随机种子12345)
a ragged man wearing a tattered jacket in the nineteenth century:
十九世纪一个穿着破烂夹克的衣衫褴褛的男人:
![Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片](https://cdn.heehel.com/wp-content/uploads/2024/06/20240601071628633.jpg)
![Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片](https://cdn.heehel.com/wp-content/uploads/2024/06/20240601071629937.jpg)
the greatest escape after the apocalypse, the hope of all humanity:
末世后最大的逃亡,全人类的希望:
![Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片](https://cdn.heehel.com/wp-content/uploads/2024/06/20240601071645826.jpg)
![Controlnet 作者新项目 Omost:很短的提示词就可以生成非常详细并且空间表现很准确的图片](https://cdn.heehel.com/wp-content/uploads/2024/06/20240601071646301.jpg)