昆仑的山头

今天来说一个StableDiffusion的实用技术：老照片放大上色。StableDiffusion里有不少功能都能对图片做放大，但是对比下来，针对不同的照片类型，效果还是差异很大的，这里就介绍一种对小尺寸、但相对清晰的黑白照片的处理过程。分两步，先放大、再上色。
第一步，进入“后期处理”选项卡（有些版本也翻译成“附加功能”），按下图所示做设置、对图片做放大

如果放大效果不理想，可以调整放大算法多尝试几次。关于各种放大算法的差异，可以参阅这篇知乎文章：https://zhuanlan.zhihu.com/p/672717691
第二部，将放大后的图片导入到图生图，然后按如下方式，使用ControlNet的控制类型：Recolor
因为要上色，所以这里重绘幅度设置较大。来看一下处理前后的对比

除了上面提到的图片给放大的方法，针对模糊、褪色的老照片，还可以综合采用ControlNet的其他类型，以及脚本里的“Ultimate SD upscale”，尝试对照片做处理。手头有多年前用手机隔着相框拍的黑白旧照片，模糊、还有麻点，等我找到了修复这种照片的方法，会再写一篇blog o(*￣︶￣*)o
对了，补充一下Recolor模型的下载地址：https://huggingface.co/lllyasviel/sd_control_collection/blob/main/ioclab_sd15_recolor.safetensors
——over
转载请注明出处: 昆仑的山头

先上几幅“秀色可餐”的美图

效果还不错吧 ^_^，这种图片隐藏文字的方式，很适合做海报、节日主题图。下面就来说说具体做法：
需要用到ControlNet的qrcode、brightness模型，下载地址：https://huggingface.co/lllyasviel/control_v11p_sd15_scribble/tree/main，大模型推荐realisticVisionV40_V4OVAE，或者其他写实模型，正反向关键词参考：“winter,snowstorm,night,((nobody)),”、“deformed iris, deformed pupils, semi-realistic,cgl,3d,render,sketch, cartoon, drawing, anime”，ControlNet两个单元配置如下


点击生成：
换个logo图试试

——over
转载请注明出处: 昆仑的山头

接触StableDiffusion这么久，昨天终于看到了一个和自己本行接近的应用：通过专用Lora做动画序列图，这是C站给出的效果：

于是马上下载了对应的大模型和Lora。具体做法并不复杂，大模型选择counterfeitxl_v25，Lora选择Pixel_Xl_V1，正向提示词基本也是照葫芦画瓢：“1Girl,red short “hair,purple_sailor_dress,((((((side view, running, sequence frames)))))),,masterpiece,best,quality,White background,”，其他保持默认

然后启用一个ControlNet，选择OpenPose，上传以前项目里的动画序列作为动作模版，预处理获取姿态，但实际运行预处理效果并不好，预处理出来，总是得不到正确的动作姿态，换了几个也都不行~~
换个思路：把示例图换成真人会怎么样？于是找了一段跑步视频，截几张图拼起来~~~~StableDiffusion果然更多还是给真人用的，姿态一下只就出来了：

来看运行效果：


~~实话说，效果不算好。不过，这个方向是对的，以AIGC的发展速度，相信用不了多久，就能炼出作为生产力的专用大模型和Lora ^_^
——over
转载请注明出处: 昆仑的山头

上次提到使用InstantId做换脸，这次就试试其官方突出推广的“风格化照片”功能，先来看看成果，第一组是原图，下面是各种风格转化效果







有点感觉吧~~有几个其实并不理想，如果多跑几张，应该会有更好的效果，无奈InstantId对显存要求很高，我的10G显卡跑着有点吃力，每张图基本都要5-10分钟以上(⊙o⊙)…
废话不错说，下面是基本的操作步骤~~其实和之前使用图生图做换脸是一样的：


——over
转载请注明出处: 昆仑的山头

无意间看到了使用StableDiffusion更换商品图背景的方法，这里分享出来，比ps来的要简单些，而且融入更好。首先，需要安装一个名为“rembg”的插件，然后切换到“后期处理”界面，上传一个淘宝找来的香水图片，选择最下面“移除背景”、选择“u2net”、“回送蒙版”，点击”生成”按钮，即可得到一张黑白的蒙版图。这里注意，第一次运行可能会需要下载模型，时间会比较久：

下载蒙版图，（我这个示例图找的不太好，前景的标签也被加进去了，可以到ps里处理一下，把左边标签留下的白框涂掉）。切换到“图生图”、“上传重绘蒙版”，分别上传刚才的商品图、和蒙版图，提示词输入你想要的效果，如下图设置，比较重要的是，因为我们是要整个换背景，所以最下方“重绘幅度”设置为1。ok，点击“生成”，稍等片刻，既可以看到效果。

可以看出，输出图自然给了原图瓶子立体和阴影效果，还是很不错的。

当然，有时因为对提示词理解的原因，输出图会多出一个“瓶子”，比如下面这样…这时可以尝试换换提示词，或者点生成几张。

当然，同样的方法也可以给人换背景，不过效果不如“规则的商品”更容易控制，大家感受一下：

——over
转载请注明出处: 昆仑的山头

“InstantID 是由InstantX项目组推出的一种SOTA的tuning-free方法，只需单个图像即可实现 ID 保留生成，并支持各种下游任务”。它的项目主页在这里：https://github.com/InstantID/InstantID，下面是官方效果图

相对之前玩过的easyphoto，InstantID最大的优势是省去了训练Lora的步骤，今天，我们先来试用InstantId的换脸功能。InstantID目前是通过ControlNet集成到StableDiffusion内，具体需要以下几个步骤：
1. 检查ControlNet版本不低于1.441、StableDiffusion版本不低于1.8.0
2. 下载模型、预处理器和配置文件，并放入对应目录，下载地址：https://github.com/Mikubill/sd-webui-controlnet/discussions/2589，需要下载的下列七个文件：1k3d68.onnx、glintr100.onnx、scrfd_10g_bnkps.onnx、genderage.onnx、2d106det.onnx、ip-adapter_instant_id_sdxl.bin、control_instant_id_sdxl.safetensors。5个onnx配置文件放入：webui根目录/extensions/sd-webui-controlnet/annototort/downloads/insightface/models/antelopev2。另外两个文件放入：webui根目录/extensions/sd-webui-controlnet/models
ok，重启webui后，开始操作
1. 切换到图生图，大模型选择SDXL或SDXLTurbo类模型，上传模仿图片。为了得到相对更好的效果，如果是Turbo模型，Steps设置为5-7即可、CFG设置为1.5左右；非Trubo模型Steps保持默认20，CFG设置为3-5；输入一组符合模仿图特征的提示词
2. 打开一个ControlNet单元，上传脸模图片，按下图设置

3. 再打开一个ControlNet单元，上传与图生图相同的模仿图图片

ok，点击“生成”按钮，稍等片刻，看看效果：

换一组，再来一次：

——over
转载请注明出处: 昆仑的山头

EasyPhoto是一个集模型训练、文生图、图生图、文生视频、图生视频于一体的SD插件，功能强大，操作简便，今天就来看看如果用它来做AI换脸。
安装好EasyPhoto以后，SD的webui的上导航就会出现EasyPhoto选项卡，点进去以后，默认就是“训练”Lora的界面。这里可以选择不少于5张面部图片，尽量包含各种表情、各种角度。我们就来请出一位和蔼可亲的大叔来做模特，把图片上传到“训练”内

右边“高级选项”中，选择“人物Lora”、选一个比较通用的写实大模型。“max train steps”和“max steps per photos”，分别是训练步数，和每张图片训练多少次，如果不想训练过程太久，可以保持默认选项，下面的验证选项“Validation”建议取消勾选，否则不仅训练过程会变慢，而且还很容易报错、中断训练过程。ok，点击橙色的“Start Training”按钮，输入Lora名称，开始训练
16张图，按上图的设置，手头这台电脑显卡是10G3080，训练时间大概是20~30分钟
~~训练完成，切换到“Photo Inference”选项，测试一下训练效果。先使用“Photo2Photo – Template Gallery”，选一张easyphoto自带的模版图片，下侧大模型，尽量和训练Lora时保持一致，Num of Faceid选1，user_0 id选择刚才训练的Lora（如果没有，点一下右侧的刷新按钮），点击橙色按钮，稍等片刻，既可以看到换脸效果

下方“高级选项”，可输入更多提示词，对输出结果进行更多调整。勾选选择“Display Face Similarity Scores”，可以看到当前输出结果，是参考自哪张训练图。
换一种同性别的证件照：

可以看出easyphoto并非简单换脸，而是会做一定程度的融合，具体的融合参数，可通过“高级选项”进行设置。
切换到“Sing Image Upload”，上传几张自定义图片试试效果：


另外试了一下easyphoto的图生视频选项，效果很渣，等调整好了，再拿出来展示o(*￣︶￣*)o
——over
转载请注明出处: 昆仑的山头

ControlNet的出现，在很大程度上弥补了StableDiffusion出图的不可控性，今天就来试试使用里面的tile预处理器，来将随手画的一个草图变成一棵逼真的老树，先看原图：

首先确保已经安装了ControNet插件，模型下载地址：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
“文生图”，输入关键字：1tree,masterpiece,best quality，选择ControNet，“启用”，上传上面的草图，预处理器选择“tile_resample”，模型选择“control_v11file_sd15_tile”，其他保持默认设置

点击“生成”，成品图：

怎么样，纹理细节补充的很完美吧^_^
有人说，同样的功能，“图生图”也能完成。那么，咱们就来比较一下，同样一张草图，“图生图”的输出结果

——over
转载请注明出处: 昆仑的山头