Skip to content

获取本地模型

您可以直接在您的本地设备上直接运行模型,并进行模型推理,而不不是通过网络请求。

本地运行模型有以下几个优势:

  1. 隐私保障:所有数据在本地处理,不会上传到外部服务器
  2. 离线使用:无需网络连接也能使用模型功能
  3. 低延迟:无需等待网络传输,响应更快速
  4. 无额外费用:不需要支付API调用费用
  5. 完全控制:可以自由选择和定制模型

由于本地模型消耗的资源较大,本地模型有很大概率在 iPhone 上无法运行。因此我们仅推荐在 Mac 和配备了 Apple Silicon 的 iPad 上使用本地模型推理。

使用本地模型需要处理器支持。通常来讲,你需要使用装有 Apple Silicon 的设备。

所支持的模型种类

请务必设置中相应地启用视觉模式,以便使用相应的模型引擎。错误的配置可能会导致模型无法加载。

目前支持的本地文本模型类型有:

  • Cohere
  • Gemma
  • Gemma2
  • Gemma3
  • InternLM2
  • Llama / Mistral
  • OpenELM
  • Phi
  • Phi3
  • PhiMoE
  • Qwen2
  • Qwen3
  • Starcoder2
  • MiMo
  • GLM4

目前支持的本地视觉文本模型类型有:

  • Gemma3

从抱抱脸下载

在设置的模型管理页中,点击右上角的 加号 按钮,在菜单的 本地模型 中选择 从抱抱脸下载

获取模型

短暂等待后,将会看到从抱抱脸中获取的到模型列表。

抱抱脸

还可以点击右上角的 更多 按钮对模型进行筛选。

筛选

你可以点击任意模型查看模型的详细信息。

您需要自行判断模型是否能在您的设备上运行。

当您选择了一个无法运行的模型时,您可能会遇到因内存不足或其他原因导致的错误。

当您确保模型在您的设备上可用后,可在模型详情页点击右上角 下载 按钮下载模型。

下载

本地模型的体积较大,下载时间可能会比较长,请耐心等待模型下载完成。如果您下载的模型过大,我们认为您大概率无法运行该模型,您将会收到警告信息。

下载警告

从本地导入

您可以选择自行下载模型并从本地导入。您需要准备一个压缩包,其中包含模型所需的配置和权重文件。

完成后,您可以在模型管理页中选择 从文件导入 来导入模型。

注意事项

  • MLX 模型并非全部都可以加载。请参考 MLX-Swift 项目来获取列表。