最新要闻

广告

手机

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

家电

教程|在矩池云使用 Stable Diffusion web UI v1.5 模型和 ControlNet 插件

来源:博客园

今天给大家介绍下如何在矩池云使用 Stable Diffusion web UI v1.5 模型和 Stable Diffusion ControlNet 插件。

租用机器

租用机器需要选择内存大于8G的机器,比如 A2000,不然 Stable Diffusion web UI 启动加载模型会失败。(Killed 内存不足)

点击租用按钮,进入镜像筛选页面,点击右侧蓝色Stable Diffusion进行镜像筛选,选择第一个Stable Diffusion web UI v1.5镜像,然后点击租用即可。


(资料图片)

机器启动成功后,会出现以下界面:

  • 7860 端口对应链接,是 Stable Diffusion web UI 服务默认启动端口,这个服务默认开机自启,大家无需手动启动了(服务启动加载模型预计要1-2分钟),也就是说看到这个链接后,等待1-2分钟,再直接点击即可打开 Stable Diffusion web UI 页面。
  • SSH,一种连接服务器的方法
  • JupyterLab,一种连接服务器的方法,比较常用

使用 Stable Diffusion web UI

打开页面

Stable Diffusion web UI 服务启动加载模型需要 1-2分钟,如果直接点击 7860 端口对应链接显示无法连接不要着急,等会就好,等了很久还是不行可以按后面方法查看服务启动日志(默认存储在:/stable-diffusion-webui/run_log.log)

查看日志

在上面的页面中,点击 JupyterLab - 点击打开 文字按钮,会打开 JupyterLab 页面,我们新建一个 Terminal ,然后输入:

tail -f /stable-diffusion-webui/run_log.log 

通过程序运行日志,我们能看到程序的运行状态等信息,如果程序运行出现故障,也可以在日志里找到故障原因,及时排查问题。

基本使用

在这个镜像里预装了 ControlNet 插件,并内置了两个 ControlNet 模型:control_sd15_canny(线稿模型) 和 control_sd15_seg(语义分割模型)。

如果你要使用 ControlNet,需要按以下步骤:

  • 点开 ControlNet,先上传图片
  • 点击 Enable 开启功能(必须勾选上)
  • 选择预处理方法和模型
  • 输入新生成图片描述词
  • 点击 Generate按钮开始生成图片

以使用 control_sd15_seg 语义分割模型为例子,我们上传了一长人头顶足球的图片,然后开启了 ControlNet,并选择了 segmentation预处理方式和control_sd15_seg 模型。

输入的描述词:(((A giraffe)))stared at a (watermelon)(((best quality))),(((highly detailed))),(((masterpiece))),(((ultra-detailed))),(((illustration)))图片地址:https://pixabay.com/zh/photos/man-football-game-village-sport-7813108/

使用其他 ControlNet 模型

SD Web UI ControlNet 插件模型默认加载目录是:/stable-diffusion-webui/extensions/sd-webui-controlnet/models目录下,我们只需要把自己想要用的模型移动到该目录下即可。

方便大家使用,ControlNet 模型 已经上传到了矩池云公共数据集模型路径下,具体路径是:/public/huggingface_models/ControlNet/

比如我想要用control_sd15_openpose.pth(人物动作模型)这个模型,只需要在 Terminal 里一行行输入下面指令即可将模型复制到对应目录下(模型文件比较大,复制预计要1分钟左右):

cd /public/huggingface_models/ControlNet/modelscp control_sd15_openpose.pth /stable-diffusion-webui/extensions/sd-webui-controlnet/models

复制完成后,我们在页面 ControlNet 插件选模型的地方,点击刷新按钮,即可将新加入的模型加载进来。

关键词: