大家好,我是何三,独立开发者
在做 AI 应用开发或者学习的时候,我们经常需要下载各种模型。而 HuggingFace 作为目前最流行的开源模型社区,上面有海量的优质模型资源。但是,国内开发者在使用 HuggingFace 时经常会遇到一个让人头疼的问题——下载速度慢,有时候甚至根本连不上。
今天给大家推荐一个超好用的工具:aimirror,它能帮你快速解决 HuggingFace 模型下载慢的问题。
为什么需要 aimirror?
HuggingFace 模型下载慢的问题,主要原因是网络带宽、丢包、以及一些不可抗力因素导致的。这些问题严重影响了模型的获取效率与科研开发进度。有时候下载一个几 GB 的模型,可能需要好几天,甚至中途断开连接,前功尽弃。
说实话,这种体验真的让人崩溃。下载模型和搭建开发环境时,网速慢得就像便秘一样,眼睁睁看着进度条一点点往前挪,那种无力感,谁用谁知道。有时候好不容易下载到 99%,突然断网,那种感觉就像便秘了三天终于要通了,结果又憋回去了——简直让人想砸电脑!

aimirror 是什么?
aimirror 是一个开源的 HuggingFace 镜像加速工具,由开发者 livehl 创建。它的原理很简单:通过在国内搭建镜像服务器,将 HuggingFace 上的模型文件同步到国内服务器上,这样我们下载时就是从国内服务器下载,速度自然就快了很多。

如何使用 aimirror?
使用 aimirror 非常简单,主要有以下几种方式:
方法一:设置环境变量
最简单的方式是设置环境变量 HF_ENDPOINT,将 HuggingFace 的默认地址替换为镜像地址:
import os
# 设置镜像地址
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 正常使用 HuggingFace
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained('bert-base-uncased')
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
方法二:使用 huggingface-cli
如果你使用 huggingface-cli 命令行工具,可以这样设置:
# 安装 huggingface_hub
pip install huggingface_hub
# 设置镜像
export HF_ENDPOINT=https://hf-mirror.com
# 下载模型
huggingface-cli download gpt2 --local-dir ./gpt2
方法三:直接使用镜像网站
你也可以直接访问镜像网站 hf-mirror.com,在网页上搜索和下载模型,就像使用原版 HuggingFace 一样。

实际效果对比
让我们来对比一下使用镜像前后的下载速度:
不使用镜像: - 下载速度:几十 KB/s 到几百 KB/s - 下载时间:数小时到数天 - 成功率:经常中断,需要重新下载
使用 aimirror: - 下载速度:几 MB/s 到十几 MB/s - 下载时间:几分钟到几十分钟 - 成功率:稳定可靠,几乎不会中断
注意事项
使用 aimirror 时,有几个小技巧需要注意:
-
镜像同步延迟:镜像站会实时同步 GitHub 上的项目,确保你获取到的是最新代码,但可能会有几分钟的延迟
-
模型完整性:镜像站会完整同步模型文件,不用担心文件缺失
-
兼容性:aimirror 完全兼容 HuggingFace 的 API,你不需要修改任何代码,只需要设置环境变量即可
-
免费使用:aimirror 是完全免费的开源工具,任何人都可以使用
总结
aimirror 是一个非常实用的工具,它通过镜像加速的方式,完美解决了国内开发者使用 HuggingFace 时的下载慢问题。使用方法简单,效果显著,是每个 AI 开发者都应该掌握的工具。
如果你还在为 HuggingFace 模型下载慢而发愁,不妨试试 aimirror,直接去 GitHub 搜 livehl/aimirror 就能找到,亲测好用,谁用谁香!