接触StableDiffusion这么久，昨天终于看到了一个和自己本行接近的应用：通过专用Lora做动画序列图，这是C站给出的效果：

于是马上下载了对应的大模型和Lora。具体做法并不复杂，大模型选择counterfeitxl_v25，Lora选择Pixel_Xl_V1，正向提示词基本也是照葫芦画瓢：“1Girl,red short “hair,purple_sailor_dress,((((((side view, running, sequence frames)))))),,masterpiece,best,quality,White background,”，其他保持默认

然后启用一个ControlNet，选择OpenPose，上传以前项目里的动画序列作为动作模版，预处理获取姿态，但实际运行预处理效果并不好，预处理出来，总是得不到正确的动作姿态，换了几个也都不行~~
换个思路：把示例图换成真人会怎么样？于是找了一段跑步视频，截几张图拼起来~~~~StableDiffusion果然更多还是给真人用的，姿态一下只就出来了：

来看运行效果：


~~实话说，效果不算好。不过，这个方向是对的，以AIGC的发展速度，相信用不了多久，就能炼出作为生产力的专用大模型和Lora ^_^
——over
转载请注明出处: 昆仑的山头

上次提到使用InstantId做换脸，这次就试试其官方突出推广的“风格化照片”功能，先来看看成果，第一组是原图，下面是各种风格转化效果







有点感觉吧~~有几个其实并不理想，如果多跑几张，应该会有更好的效果，无奈InstantId对显存要求很高，我的10G显卡跑着有点吃力，每张图基本都要5-10分钟以上(⊙o⊙)…
废话不错说，下面是基本的操作步骤~~其实和之前使用图生图做换脸是一样的：


——over
转载请注明出处: 昆仑的山头

无意间看到了使用StableDiffusion更换商品图背景的方法，这里分享出来，比ps来的要简单些，而且融入更好。首先，需要安装一个名为“rembg”的插件，然后切换到“后期处理”界面，上传一个淘宝找来的香水图片，选择最下面“移除背景”、选择“u2net”、“回送蒙版”，点击”生成”按钮，即可得到一张黑白的蒙版图。这里注意，第一次运行可能会需要下载模型，时间会比较久：

下载蒙版图，（我这个示例图找的不太好，前景的标签也被加进去了，可以到ps里处理一下，把左边标签留下的白框涂掉）。切换到“图生图”、“上传重绘蒙版”，分别上传刚才的商品图、和蒙版图，提示词输入你想要的效果，如下图设置，比较重要的是，因为我们是要整个换背景，所以最下方“重绘幅度”设置为1。ok，点击“生成”，稍等片刻，既可以看到效果。

可以看出，输出图自然给了原图瓶子立体和阴影效果，还是很不错的。

当然，有时因为对提示词理解的原因，输出图会多出一个“瓶子”，比如下面这样…这时可以尝试换换提示词，或者点生成几张。

当然，同样的方法也可以给人换背景，不过效果不如“规则的商品”更容易控制，大家感受一下：

——over
转载请注明出处: 昆仑的山头

“InstantID 是由InstantX项目组推出的一种SOTA的tuning-free方法，只需单个图像即可实现 ID 保留生成，并支持各种下游任务”。它的项目主页在这里：https://github.com/InstantID/InstantID，下面是官方效果图

相对之前玩过的easyphoto，InstantID最大的优势是省去了训练Lora的步骤，今天，我们先来试用InstantId的换脸功能。InstantID目前是通过ControlNet集成到StableDiffusion内，具体需要以下几个步骤：
1. 检查ControlNet版本不低于1.441、StableDiffusion版本不低于1.8.0
2. 下载模型、预处理器和配置文件，并放入对应目录，下载地址：https://github.com/Mikubill/sd-webui-controlnet/discussions/2589，需要下载的下列七个文件：1k3d68.onnx、glintr100.onnx、scrfd_10g_bnkps.onnx、genderage.onnx、2d106det.onnx、ip-adapter_instant_id_sdxl.bin、control_instant_id_sdxl.safetensors。5个onnx配置文件放入：webui根目录/extensions/sd-webui-controlnet/annototort/downloads/insightface/models/antelopev2。另外两个文件放入：webui根目录/extensions/sd-webui-controlnet/models
ok，重启webui后，开始操作
1. 切换到图生图，大模型选择SDXL或SDXLTurbo类模型，上传模仿图片。为了得到相对更好的效果，如果是Turbo模型，Steps设置为5-7即可、CFG设置为1.5左右；非Trubo模型Steps保持默认20，CFG设置为3-5；输入一组符合模仿图特征的提示词
2. 打开一个ControlNet单元，上传脸模图片，按下图设置

3. 再打开一个ControlNet单元，上传与图生图相同的模仿图图片

ok，点击“生成”按钮，稍等片刻，看看效果：

换一组，再来一次：

——over
转载请注明出处: 昆仑的山头