本文介绍了在苹果设备（MAC、iPad、iPhone）上运行Stable Diffusion模型的方法，包括模型的下载、格式转换以及如何在Swift中调用模型进行推理。

模型类别

首先要下载模型，Stable Diffusion模型可以在huggingface或者Civitai下载到。但是在这两个网站上下载的模型可能会有三种格式。

CoreML格式

这种类别的模型较少，文件主要以.mlmodelc或.mlmodel为主，其文件结构大致为：

├── TextEncoder.mlmodelc
├── TextEncoder2.mlmodelc
├── Unet.mlmodelc
├── VAEDecoder.mlmodelc
├── merges.txt
└── vocab.json

Diffusers格式

在huggingface上下载的模型大多是这种类型，其文件结构大致为：

├── model_index.json
├── scheduler
│   └── scheduler_config.json
├── text_encoder
│   ├── config.json
│   └── pytorch_model.bin
├── tokenizer
│   ├── merges.txt
│   ├── special_tokens_map.json
│   ├── tokenizer_config.json
│   └── vocab.json
├── unet
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── vae
    ├── config.json
    └── diffusion_pytorch_model.bin

safetensors格式

在Civitai网站下载的大多是这种格式，就一个文件，非常方便。

模型转换

接下来，需要把下载下来的模型都转成CoreML格式，如果你在第一步下载的模型已经是CoreML格式，那么这一步就可以跳过。

Diffusers格式转CoreML格式

首先下载该仓库代码：ml-stable-diffusion。查看System Requirements检查自己的设备是否支持。然后安装依赖：

pip install -r requirements.txt

找到torch2coreml.py文件，执行以下命令：

python torch2coreml.py \
--bundle-resources-for-swift-cli \
--xl-version \
--convert-unet \
--convert-text-encoder \
--convert-vae-decoder \
--attention-implementation ORIGINAL \
--model-version /your/model/path \
-o /your/model/output/path

注意有个参数--xl-version，如果模型是sdxl类型的，就加上，否则把这行删除。另外如果你的模型支持图生图，你可以加上--convert-vae-encoder参数。

运行完该命令，应该在你指定的目录生成了文件，在Resources目录下的文件就是转换好的CoreML格式。

safetensors格式转Diffusers格式

首先下载该仓库代码：Diffusers。然后安装依赖：

pip install --upgrade diffusers

找到convert_original_stable_diffusion_to_diffusers.py文件并执行以下命令：

python convert_original_stable_diffusion_to_diffusers.py \
--checkpoint_path /your/model/path \
--dump_path /your/model/output/path \
--from_safetensors \
--half \
--device mps

这里--half表示转换时精度为fp16，--device mps表示模型使用mps(GPU)进行推理。

运行完该命令，会生成Diffusers格式的模型，再利用Diffusers格式转CoreML格式的步骤，将模型转换为CoreML格式。

Swift调用Stable Diffusion模型

使用Huggingface提供的swift-coreml-diffusers库。

import StableDiffusion
import CoreML

// 初始化CoreML配置
let config = MLModelConfiguration()
// 运行在GPU上（MAC限定）
config.computeUnits = MLComputeUnits.cpuAndGPU
// 初始化pipeline
var pipeline = try StableDiffusionPipeline(resourcesAt: modelDirectory,
                                      controlNet: [],
                                      configuration: config,
                                      reduceMemory: diffusersConfig.reduceMemory)
let pipeline.loadResources()
// 初始化图片推理配置
var pipelineConfig = StableDiffusionPipeline.Configuration(prompt: prompt)
pipelineConfig.stepCount = stepCount
pipelineConfig.guidanceScale = cfgScale
pipelineConfig.schedulerType = scheduler
// 开始图片推理
let images = try pipeline.generateImages(configuration: pipelineConfig,
                                          progressHandler: { progress in
})

我的GitHub - caol64/aquarius-ai: AquariusAI is a MAC app that helps you run various AI models on your local machine.项目提供了示例代码。

最后

那到底什么是CoreML呢？

Core ML 是Apple Silicon芯片产品（包括macOS、iOS、watchOS 和 tvOS）中使用的机器学习框架，用于执行快速预测或推理，在边缘轻松集成预训练的机器学习模型，从而可以对设备上的实时图像或视频进行实时预测。

Core ML 通过利用 CPU、GPU 和 神经网络引擎 ，同时最大程度地减小内存占用空间和功耗，来优化设备端性能。 由于模型严格地在用户设备上，因此无需任何网络连接，这有助于保护用户数据的私密性和 App 的响应速度。

简而言之，如果你的模型运行在Silicon芯片的苹果设备上，利用Core ML可以获得更快的性能和更低的内存及能耗。

本文首发于：https://babyno.top/posts/2024/06/run-the-stable-diffusion-model-on-apple-devices/

欢迎关注我的公众号“机器人小不”，原创技术文章第一时间推送。