【LLM大模型】Ollama运行HuggingFace下载的模型

最新推荐文章于 2025-02-12 15:37:36 发布
最新推荐文章于 2025-02-12 15:37:36 发布
阅读量2.3k 收藏 36
点赞数 17
文章标签： 人工智能 ai大模型 自然语言处理 LLM 大模型 ollama huggingface
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang9604/article/details/144529022
版权

本地运行模型我之前都直接使用LM-studio，好用、无脑。本地用足够了。但是放在服务器上才是正道，本地运行无法长时间开启保持运行，而且Ollama推出了并行GPU计算之后可用性大幅提升，可用性很高。 今天研究下如何用Ollama如何在本地来使用这些HF的开源模型，后面把它搬到服务器上。

设置

设置很简单，先在电脑上创建一个文件夹，比如我会把我的模型放到一个雷电3外接的nvme硬盘上，路径是/Volumes/RD/Modules。 然后在这里直接创建Modelfile，格式可以参考Ollama的文档。

bash
 代码解读

touch lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF/Modelfile

从HuggingFace下载模型

1. 使用HuggingFace

从HugginFace下载模型需要挑选下。这里我先以Meta-Llama-3-8B-Instruct为例子，我之前下载了lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF。 如果网络存在问题可以选择国内镜像站，给大家推荐一个镜像站HF-Mirror，当然也可以去国内的ModelScope下载。 下载可以选择镜像站，但是你还是需要梯子的，因为比如Meta的LLama3或者Google的Gamma等模型都是需要申请的，通过了才能用。不过给大家提个醒，申请Token的时候尽量别填写中国，否则你会遇到跟我一样的情况。

在这里插入图片描述
遇到这种情况你可以选择三种方案

  1. 使用度娘搜资源，看看有人共享模型网盘地址没有。
  2. 直接搜Meta-Llama-3，有一些有志人士会讲这些模型重传到自己仓库中让大家使用，比如我现在用的lmstudio-ai/Meta-Llama-3-8B-Instruct-GGUF。
  3. 直接在ModelScope中查找下载

OK，知道在哪下载了之后你要知道用什么样的模型。

2. 应该下载什么样的模型

本地运行模型在不写代码的情况对于模型格式还是需要一些要求的。你会遇到两种格式GGUF和Safetensor。

  • GGUF（General Graphical User Interface Format）是一种用于存储和共享开源机器学习模型的格式

  • 在这里插入图片描述

  • Safetensors是一种专为机器学习模型设计的文件格式 在这里插入图片描述

简单说，GGUF把模型权重和结构统一存储了，方便传输和扩展。Safetensors是二进制格式，安全高效，可以通过量化转换为GGUF，可以参考llama.cpp的官方文档。 它们的细节差别，以及具体如何将safetensor量化转换我会再写一篇文章细说。

那么我们最好挑GGUF格式模型，主机配置高的可以Q6、Q8，配置不行的自行尝试小的吧。我自己平时用Q6的就足够了（M2 Ultra, 192G）。GGUF格式的所有的模型都可以被Ollama直接加载，也可以在LM-studio中直接使用，比较推荐。

而Safetensor格式的Ollama支持了三种，

  • LlamaForCausalLM
  • MistralForCausalLM
  • GemmaForCausalLM 这三种架构的也可以直接加载。

这里以GGUF为例介绍一下怎么用。

当你选好了模型、参数大小和量化版本之后，你只需要下载对应的GGUF即可（这也是为啥我推荐GGUF，自己量化下载慢还得执行），下载好模型之后进行下一步。

使用Modelfile加载模型

最简单的使用

  1. 指定模型
Dockerfile
 代码解读

FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
  1. 导入模型文件
bash
 代码解读

ollama create randy-model -f Modelfile

transferring model data
using existing layer sha256:13c5c30a3c9404af369a7b66ce1027097ce02a6b5cc0b17a8df5e414c62d93f6
using autodetected template llama3-instruct
creating new layer sha256:625347c07c1602e43037b8b3f995a8d84da9ed5252df57ce1e9ec02eb9934230
writing manifest
success

ollama list

NAME              	ID          	SIZE  	MODIFIED
randy-model:latest	50e56dc75eb7	6.6 GB	About a minute ago
  1. 运行导入的模型后进入命令行交互模式
bash
 代码解读
ollama run randy-model

>>> 介绍一下你自己
Nice to meet you! I'm LLaMA, an AI assistant developed by Meta AI that can understand and respond to human
input in a conversational manner. I'm not a human, but rather a computer program designed to simulate
conversation and answer questions to the best of my ability

经过上面三步已经可以用命令行跟大模型沟通了，但是为了作为生产力给各个软件提供能力，你还需要继续折腾一下。

  1. 很多模型对中文是不友好的，比如这个Meta的LLama3和3.1。我们可以在导入Model的时候要求Ollama增加TEMPLATE、SYSTEM、PARAMETER。
  2. 为了对接使用模型的应用，需要后台运行模型暴露API接口

稍微进阶一下

1. 修改一下Modelfile

通过上面的内容大家也看得出，其实Ollama的Modelfile跟Docker的Dockerfile格式很相似，我们需要添加几个内容改成这个样子，有一部分是来自Ollama的官方文档，一部分来自网上找的，简单解释下含义

Dockerfile
 代码解读
FROM Meta-Llama-3-8B-Instruct-Q6_K.gguf
# sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"""
SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。>语言要通顺流畅。不要出现刚说一句话，过一会又重复一遍的愚蠢行为。
RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry. """
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
参数说明
  • PARAMETER：指定模型的一些参数，包括常见的temperature、top-p、tok-k等。这里说下stop，stop其实是要设置模型的停止符。当遇到stop的value值时，LLM 将停止生成文本并返回。可以通过在模型文件中指定多个单独的stop参数来设置多个停止模式。
  • SYSTEM：预设的System message
  • TEMPLATE：这个重点说一下，这个模板是定义的是真正传递给LLM的input内容。通过这个模板的定义我们可以完整的控制到底如何传递给大模型，也能配合stop标记来管理。由于Ollama使用go语言开发，所以模板语法也是go的规则。
另一个有意思的语句
ruby
 代码解读
RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry.

“奶奶会生气”这个挺搞笑的，但是确实有用，感兴趣的朋友自己搜搜原因吧，没找到。

2. 创建一个新版本的model镜像
bash
 代码解读

ollama create randy-model:v1 -f Modelfile

transferring model data
using existing layer sha256:13c5c30a3c9404af369a7b66ce1027097ce02a6b5cc0b17a8df5e414c62d93f6
creating new layer sha256:6791f874ec534adb76562aaaa539bfd03518542802d8d28110561d485da82b60
creating new layer sha256:5545916ed70eea1552ee8671bb6b19365cfa2ea912b2813e950495a44aae3fe8
creating new layer sha256:40440ec37ef2b2862d182b7926987668264d13ff9c97407acf36a44106997f8f
creating new layer sha256:c78670308769b50da98e5c514f7dbf4e8d366d82d89f01420f6ea44969c243f6
writing manifest
success

ollama list

NAME              	ID          	SIZE  	MODIFIED
randy-model:v1    	2821ee3f9fe8	6.6 GB	8 seconds ago	
randy-model:latest	50e56dc75eb7	6.6 GB	2 hours ago
3. 再试试吧
bash
 代码解读

ollama run randy-model:v1
>>> 介绍一下你自己
Bonjour! 您好！我是一个人工智能语言模型，我被设计用于回答问题、生成文本和进行自然语言处理。我拥有庞大的词汇库，
能够识别和生成各种语义模式。我可以理解和响应不同类型的问句、对话和任务。我并且可以学习和改进，以提高自己的性能
和可靠性。

关于我的“背景”，我是由人工智能专家和自然语言处理领域的研究人员共同设计和开发的。我使用了最先进的算法和技术，例
如深度学习、神经网络和统计模型等。这些技术使得我能够更好地理解和响应人类语言。

在回答问题时，我会尽力提供详细、准确和有用的信息。但是，如果您遇到一些复杂的问题或需要更高级别的解决方案，我也
可以向相关专家或领域的权威寻求帮助。

试试API

到此为止我们的模型已经在本地运行了，想要建立后台任务可以尝试mac的后台进程或者linux的screen命令等，根据实际情况处理即可。 关于Ollama的API官方文档有说明，ollama/docs/api.md。这里只做简单的一个测试 如果你不确定ollama服务运行的端口可以用ollama serve来试一下，没启动的话会尝试启动，在运行的话会告诉你运行在哪，Error: listen tcp 127.0.0.1:11434: bind: address already in use.

bash
 代码解读

curl --location --request POST 'http://127.0.0.1:11434/api/generate' \
--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
--header 'Content-Type: application/json' \
--data-raw '{
"stream": false,
"system": "你是一个中文助手",
"model": "randy-model",
"prompt": "介绍一下你自己"
}'

生产环境如何使用

Ollama的API和OpenAI的API sdk还是有差别的，如果想无缝切换到OpenAPI的sdk中最简单的方式就是做代理，感谢开源，有些项目已经可以帮我们完成这个目标了，推荐使用songquanpeng/one-api作为中间代理。

写在最后

Ollama还是比较适合作为中间层的，运行效率已经基本能满足服务使用。经过测试在0.2以上的版本性在我的主机上性能llama3 8B的性能并不低与GPT 3.5，比4o-mini稍微慢一点。当然推理能力和生成质量稍有不及，不过只要主机够多，搭建私域强大的LLM不是问题，推荐大家了解MOA的相关知识

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

玩转大语言模型——ollama导入huggingface下载的模型
艾醒的博客
01-06 2726
ollama在大语言模型的应用中十分的方便，但是也存在一定的问题，比如不能使用自己微调的模型或者当前的模型并没有做ollama官网兼容的时候，从外部导入模型就十分必要。本章将会介绍两种常见格式模型导入ollama的方式。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
AGI
08-08 4380
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
ollama轻松拉取huggingface上的大模型
Ven%的博客
12-04 3488
命令时，Ollama都会尝试从模型库中拉取GGUF模型，这可能会导致空间浪费，因为每次都会重新下载模型。：由于国内网络环境的问题，可能无法直接访问huggingface.co，可以将网址替换为镜像站网址hf-mirror.com，例如将。：执行上述命令后，Ollama会检查本地是否有该模型，如果没有，会自动从Hugging Face或镜像站下载，并运行该模型。：访问Hugging Face官网，找到你需要的大模型，并记录下模型的网址。是模型的量化版本，如果不写的话默认为。，即最新发布的版本。
在Ollama运行HuggingFace下载的模型
Langchain的博客
07-29 5103
本地运行模型我之前都直接使用LM-studio，好用、无脑。本地用足够了。但是放在服务器上才是正道，本地运行无法长时间开启保持运行，而且Ollama推出了并行GPU计算之后可用性大幅提升，可用性很高。 今天研究下如何用Ollama如何在本地来使用这些HF的开源模型，后面把它搬到服务器上。
人工智能学习（AI大模型） 必须要知道的两个网站 Ollama 和 Hugging Face 文章里含【Ollama 安装部署教程】
Json的知识梦工厂
02-10 1611
概述HuggingFace 是一个知名的开源平台，专注于自然语言处理（NLP）和机器学习领域。它提供了大量预训练的大型语言模型（LLMs），如 GPT-3、BERT 和 RoBERTa，并构建了一个丰富的生态系统，支持模型的微调、评估和部署。HuggingFace 的目标是让开发者和研究人员能够轻松访问和使用这些先进的模型，推动 AI 技术的普及和应用。核心功能与特点预训练模型库：HuggingFace 提供了全球最大的预训练模型库之一，涵盖了 NLP、计算机视觉、语音处理等多个领域。
【ollama】ollama运行从Hugging Face下载的大模型
weixin_43012017的博客
09-22 1030
好记性不如烂笔头。
【翻译】Ollama｜如何在 Ollama 中运行 Hugging Face 中的模型
qq_46106285的博客
05-19 8158
一篇比较好的使用 Ollama 开源大模型的英文教程。
AIGC 实战：Ollama 和 Hugging Face 是什么关系？
surfirst的博客
02-23 7229
本文介绍了 Ollama 和 Hugging Face 之间的关系。
使用Ollama下载的模型文件(Model)默认存放在哪里？
热门推荐
博客之路,前途漫漫
06-15 4万+
在使用Ollama平台进行深度学习和机器学习模型训练时，了解模型文件的存储位置至关重要。这不仅有助于有效地管理和部署模型，还能确保在需要时能够快速访问和更新这些模型文件。本文将详细探讨Ollama下载的模型文件存放在哪里，并提供相关的操作指南和最佳实践。
如何从 HuggingFace 为 Ollama 导入新模型
iCloudEnd的博客
04-22 3979
Ollama 是一款功能强大的工具，可以简化创建、运行和管理大型语言模型 (LLM) 的过程。本教程将指导您完成从 Hugging Face 导入新模型并创建自定义 Ollama 模型的步骤。
LLM大模型部署实战指南：Ollama部署简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发【含ollama详细部署指南多版本】
丨汀、的博客
08-13 9861
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
OLLAMA 和 Hugging Face：数千个模型，一个强大的 AI 平台 利用多样化模型的力量来获得更智能的解决方案
iCloudEnd的博客
11-02 189
默认情况下，Q4_K_M如果量化方案存在于模型存储库中，HF 会使用该方案。如果不存在，HF 会默认选择存储库中存在的一种合理的量化类型。要选择不同的量化，请执行以下操作：-在Files and Versions模型页面右上角附近的选项卡中，将显示该模型的所有不同变体的列表。选择具有所需量化的变体。与以前一样，Ollama从Use this model下拉列表中选择。
ollama把huggingface下载下来的模型转换为gguf
abments的博客
05-16 4982
ollama把huggingface下载下来的模型转换为gguf
如何在ollama上运行Hugging Face的大语言模型
qq_49035156的博客
10-19 6499
在这篇博客中，我们将探讨如何在ollama平台上运行Hugging Face的大语言模型。ollama是一个强大的工具，它允许我们轻松地部署和运行大型语言模型。以下是详细的步骤，帮助你从零开始，到成功运行模型。
【大模型本地部署】huggingface 下载ollama所需的模型
机会平等
02-12 988
在Hugging Face下载模型，在 Ollama 运行模型。
Windows下载安装Ollama本地运行大模型，新手详细
changyana的博客
11-07 2万+
下载安装Ollama并运行大模型教程，进行系统环境变量配置，新手详细。
使用 Ollama框架 下载和使用 Llama3 AI大模型的完整指南
博客之路,前途漫漫
05-27 7258
Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。Llama3 是由 Meta AI 开发的最新一代开源大型语言模型(LLM)。它基于 137B 参数的 Transformer 架构，在大量文本和代码数据集上进行训练。与前代模型相比，Llama3 在许多自然语言处理任务上表现出更强的性能。
Ollama模型导入指南，从HuggingFace下载模型轻松上手
星哥玩云
02-07 1672
通过 Ollama，你可以轻松地在本地运行 Hugging Face 模型。Ollama 提供了简单易用的命令行界面，让你能够快速上手。希望本指南能够帮助你成功导入并运行 Hugging Face 模型。也别忘了关注星哥玩云！😊。
Ollama vs. Hugging Face：本地部署与云端生态碰撞出的 AI 火花20241105
Narutolxy的博客
11-05 1673
ollama hugging face
ollama部署huggingface模型
最新发布
02-26
### 部署Hugging Face模型至Ollama平台 #### 下载所需模型 为了在Ollama平台上部署来自Hugging Face的大型语言模型，第一步是从Hugging Face网站获取目标模型。具体操作是在Hugging Face官网上通过搜索栏定位到想要使用的模型，比如“llama3.1-Chinese”，随后进入对应的模型详情页寻找文件格式为`gguf`的选项进行下载[^1]。 #### 准备环境 确保已经安装并配置好Ollama环境，这通常涉及到设置Python虚拟环境以及必要的依赖库。对于特定于Ollama的操作，可能还需要额外准备一些API密钥或者其他认证信息以便顺利连接到远程服务或资源。 #### 使用自定义模型 由于Ollama默认支持的是其内部维护的一系列英文为主的模型列表，当希望利用更广泛的多语言能力时，则需考虑如何引入外部来源如Hugging Face提供的GGUF格式开源模型。为此，可以通过ollama特有的pull机制加上适当调整后的命令参数实现这一点[^3]： ```bash ollama pull https://huggingface.co/path/to/your/model --format=gguf ``` 此命令会告知Ollama从指定URL拉取模型，并指明采用`gguf`作为期望的数据交换格式。完成之后即可按照常规流程启动和服务化新加入的模型实例。 #### 进一步优化与应用 一旦成功加载了新的模型版本，在实际应用场景中或许还涉及性能调优、接口适配等工作。得益于HuggingFace强大的社区支持及其围绕LLM构建起来的技术栈，这些后续工作往往能够得到有效的指导和支持[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值