使用huggingface-cli下载模型

1 安装huggingface cli

使用以下命令安装HuggingFace CLI

注意：huggingface_hub 依赖于 Python>=3.8，此外需要安装 0.17.0 及以上的版本，推荐0.19.0+。

pip install -U huggingface_hub

注意，在Windows系统上需要以管理员权限运行终端工具，不然就算安装完成也不能使用huggingface-cil命令，会出现以下错误

huggingface-cli 不是内部或者外部命令，也不是可执行程序

2 设置国内镜像源

Linux:

export HF_ENDPOINT="https://hf-mirror.com"

Windows:

$env:HF_ENDPOINT = "https://hf-mirror.com"

3 使用huggingface cli下载模型

以facebook的sapiens为例，链接：https://huggingface.co/facebook/sapiens/tree/main

可以使用以下命令下载模型

huggingface-cli download --resume-download facebook/sapiens --local-dir ./sapiens_model

如果需要下载数据集，则可以使用以下命令

huggingface-cli download --resume-download --repo-type dataset lavita/medical-qa-shared-task-v1-toy

新版本需要使用以下的命令：

可以使用以下命令下载模型

hf download facebook/sapiens --local-dir ./sapiens_model

如果需要下载数据集，则可以使用以下命令

hf download --repo-type dataset lavita/medical-qa-shared-task-v1-toy --local-dir ./lavita/medical-qa-shared-task-v1-toy

如果是下载数据集，数据集里面有很多小文件的情况下，可能会报以下错误：

'(ProtocolError('Connection aborted.', ConnectionAbortedError(10053, '你的主机中的软件中止了一个已建立的连接。', None, 10053, None)), '(Request ID: 82f75093-20bf-45d9-b6c3-289834950299)')' thrown while requesting HEAD

这个时候是因为huggingfaceface在同时请求多个文件，并发请求过多会被防火墙识别为攻击，所以这种情况下需要加max-workers参数，指定同时只下载一个文件，示例命令如下

hf download --repo-type dataset lavita/medical-qa-shared-task-v1-toy --local-dir ./lavita/medical-qa-shared-task-v1-toy --max-workers 1