macOS
2022/03/17
Loading...
waifuExtension 是一款 Mac 上的 waifu2x 图形界面工具，它利用 CPU、GPU、ANE 进行机器学习放大视频和图像，支持对视频进行插帧。@Appinn
来自发现频道，@blacklein 同学的推荐：
waifuExtension – macOS上针对照片、动画图片的分辨率放大工具
waifu2x 大家应该都不陌生了，二次元图像无损放大，现在已经有不少类似的开源项目，其中 Windows 平台的 Waifu2x-Extension-GUI 应属于其中的集大成者，几乎囊括了目前所有的图像无损放大模型开源项目，小众软件之前也推荐过：
可惜我是 Macbook Pro，用虚拟机无法运行 Waifu2x-Extension-GUI 或此类需要调用 GPU 的软件，基本上能找到的开源项目都试过了，全部报错，只能用 Bootcamp 才能运行。
macOS 上能用的基于 waifu2x 模型的开源项目很久未更新了，例如下面两个：
后来了解到一个新的模型 Real-ESRGAN，这个开源项目提供了一个 macOS 可以运行的二进制程序，小众软件在2021年10月介绍过：
我试了下发现确实可以在 Intel 和 M1 芯片的 Macbook Pro 上运行，而且放大效果比 waifu2x 更强（但会损失一些模糊、景深之类细节，线条更加锐利，适合画面比较干净比较亮的二次元图像，但说实话我觉得损失的细节并没有影响到画面整体成像效果）
虽然 Real-ESRGAN 的二进制程序解决了 macOS 上的有无问题，但每次使用都要用终端，总归是有些不方便。不过我一直没找到使用 Real-ESRGAN 模型的 macOS app
然后机缘巧合吧，在 GitHub 上发现了一个最近新出的 The waifu2x on Mac 的开源项目，并且是用 swiftUI 写的，抱着试试的心态发了个 issue，建议作者加入 Real-ESRGAN 模型，没想到作者回复超快，第二天就更新了 release，其中包含了多个模型就有 Real-ESRGAN，挺开心的，就想分享给大家，前面废话多了些，多包涵啦。
waifuExtension 项目地址
注意，waifuExtension 项目文件有 754 MB，青小蛙并未下载测试，下图来自官网：
ANE 是什么？
waifuExtension 支持 CPU、GPU、ANE，而这个 ANE，是 Apple 的神经引擎 Apple Neural Engine，大多数 iPhone 与 iPad 都支持（A11+ 开始支持，以及 M1 芯片），这是一个特殊的处理器，可以使机器学习模型的速度非常快，但关于这个处理器的实际工作原理，公开知道的不多。
苹果神经引擎（或称 ANE）是一种 NPU，即神经处理单元的意思。它就像一个 GPU，但 NPU 不是加速图形，而是加速神经网络操作，如卷积和矩阵乘法。
ANE 并不是唯一的 NPU，除了苹果之外，许多公司都在开发自己的 AI 加速器芯片。除了神经引擎，最著名的 NPU 是 Google’s TPU (Tensor Processing Unit）。
本文链接：https://www.appinn.com/waifuextension-for-macos/