Ollama 已支持 RWKV-7 模型,可灵活开关思考模式


Ollama 最新版本已支持 RWKV7-G1 和 RWKV-7-World 系列模型。

3 月初,随着 RWKV 社区成员 @MollySophia 的 PR 被合并,llama.cpp 正式支持 RWKV-7 模型。Ollama 近期更新了最新版 llama.cpp,因此同步支持 RWKV-7 架构和对应模型。

Ollama 官方模型仓库现已包含 RWKV-7 系列模型(推荐使用 RWKV7-G1 系列模型):

  • RWKV-G1:https://ollama.com/mollysama/rwkv-7-g1
  • RWKV-7-World:https://ollama.com/mollysama/rwkv-7-world

Ollama-rwkv-7-g1-model

在 Ollama 中运行 RWKV 模型

以下是在 Ollama 中体验 RWKV-7 G1 2.9B 模型的最简路径。

  1. 在 https://ollama.com/download 页面,根据您的系统下载 Ollama 安装包:

Ollama-Download

  1. 下载完毕后,双击安装包以安装 Ollama。任务栏出现 Ollama 图标时,意味着安装已完成:

Ollama-Install

  1. 在终端中运行 ollama run mollysama/rwkv-7-g1:2.9b 命令,Ollama 将自动下载并运行 RWKV7-G1 2.9B 模型。您可以在终端中与 RWKV 模型进行对话,如下图所示:

若您曾经下载过 mollysama/rwkv-7-g1:2.9b 模型,请运行 ollama pull mollysama/rwkv-7-g1:2.9b 命令,拉取最新的变更。

ollama-Run

  1. Ollama 的 RWKV7 G1 模型默认开启思考模式,可以通过 /set nothink/set think 命令灵活地开关思考模式:

ollama-run-nothink-mode

  1. 使用 ollama stop mollysama/rwkv-7-g1:2.9b 命令可以停止当前模型实例,从而重置对话上下文,否则 Ollama 会**持续保留当前会话的上下文(历史消息)**作为后续对话的参考

Ollama 官方仓库提供 Q6_K 量化的 RWKV7 G1 模型。

如需使用其他量化类型,需手动创建自定义 RWKV 模型 ,详细教程请在 RWKV 教程 - Ollama 推理 中查看。

RWKV Chat 端侧聊天助手

除了在 Ollama 中运行 RWKV 模型,我们也推荐使用 RWKV Chat 端侧聊天助手体验 RWKV 模型。

RWKV Chat 是 RWKV 官方推出的离线 AI 聊天应用,针对各类端侧设备进行深度推理优化。APP 内含多种小参数模型,支持会话配置调整、灵活切换思考模式,是你的高效生产力伙伴!

在开启和关闭思考模式两种情况下,RWKV Chat 回答同一个问题:

RWKV-chat-dual-mode

  • 下载 RWKV Chat APP:https://rwkvos.com/rwkv-chat

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

  • 📖 RWKV 中文文档:https://www.rwkv.cn
  • 💬 RWKV 论坛:https://community.rwkv.cn/
  • 🐧 QQ 频道:https://pd.qq.com/s/9n21eravc
  • 📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

相關推薦

2025-05-22

其它同尺寸模型不具备的推理能力 和任务能力 ,同时还支持现实世界 100+ 种语言。在实际测试中,RWKV7-G1 2.9B 模型能够完成有难度的多语言、数学和代码任务。 RWKV7-G1 2.9B 推理模型基于 World v3.5 数据集训练,包含更多小说、

2025-05-01

其它同尺寸模型不具备的推理能力 和任务能力 ,同时还支持现实世界 100+ 种语言。在实际测试中,RWKV7-G1 1.5B 模型的推理逻辑性较强,能够完成有难度的多语言、数学和代码任务。 RWKV7-G1 1.5B 推理模型基于 World v3.5 数据集训

2025-03-29

联合优化异构临床指标以提升训练效率,异步推理设计则支持预测阶段对所有切片的序列化处理。 在七大 WSI 数据集评估中,PathRWKV 在癌症分型、转移检测及生存预测等任务中表现优于现有方法,展现了其在病理学应用中的卓

2025-06-10

DeltaNet 是结合线性 Transformer 和非线性 Transformer 架构的模型,通过特定方法将非线性 Transformer 转换为线性 DeltaNet 形式,从而在保持性能的同时提高计算效率,经实验验证,在特定数据集上能取得与原始非线性模型相当的性能

2025-05-30

Ollama v0.8.0 已发布,新版本带来了通过工具调用进行流式响应 (Streaming responses with tool calling) 功能,让开发者构建的聊天应用从此能够像流式输出普通文本一样,实时地调用工具并展示结果。 这一更新使得所有聊天应用都能够

2025-06-11

ed Neural Networks 论文 biomems 银奖(2888 元) RWKV-V7 模型解析与实战:架构原理、机制剖析及自定义微调模型效果展示 教程 坤 参与奖 下面是“RWKV 2025 生态内容征集大赛” 5 月投稿获奖的作品介绍。 论文类

2025-04-04

精美的 RWKV 前端,基于 WebRWKV-RealWeb 开发。移动端兼容,支持展示推理结果,拥有舒适的UI设计和优雅的UX体验。 投稿人:Leon 获奖类型:银奖(2888元) rwkv7.c 投稿链接:https://github.com/KevlarKanou/rwkv7.c 项目介绍:纯C实

2025-05-17

Ollama v0.7.0 已发布,带来了显著的功能增强和性能优化,引入了新引擎支持多模态模型,并支持 WebP 图像作为输入。 Meta Llama 4 Google Gemma 3 Qwen 2.5 VL Mistral Small 3.1 以及更多视觉模型 其他更新内容包括: 修复 Windows

2025-04-08

离线运行。它支持多种 LLM(大型语言模型)运行器,如Ollama和OpenAI兼容 API,并内置了用于 RAG 的推理引擎,使其成为一个强大的 AI 部署解决方案。 上周发布的 0.6.0 包括如下变化: 通过 OpenAPI 支持外部工具服务器:立即将

2025-03-20

Ollama 是开源跨平台大模型工具,让运行 Llama 3、DeepSeek-R1、Gemma 3 以及其他大语言模型变得更容易,现已发布最新版本 0.6.2。 Ollama 是一个开源的本地大语言模型运行框架,简化了利用 llama.cpp 后端运行各种 LLM 以及与其他桌面

2024-07-05

月之暗面和智谱) 2. UOS AI如何接入本地模型(例如使用Ollama运行本地模型)   UOS AI 如何接入在线模型 目前,UOS AI 1.3.0版已在deepin V23 RC2应用商店发布,新版支持用户添加自定义模型。 接入条件 UOS AI的自定义模型的接口

2024-08-02

v1.4.0版本。在这一版本中,MaxKB的社区版支持对接OpenAI、Ollama和本地的向量模型,并且支持设置模型的使用权限,同时MaxKB还支持知识库自定义向量模型。 自v1.4.0版本开始,MaxKB正式推出专业版。MaxKB专业版在社区版基础上提供X-

2025-03-21

腾讯元宝识别表格数据,分析整理功能有待加强 9. 希望支持所有内容为文本格式的文件的上传分析。如代码类文件,c/cpp/h/py/cs等。目前连代码都不能分析,实在说不过去。 10. 深度思考+联网搜索的时候,不能上传word文件和

2025-06-12

成: doubao-seed-1.6:All-in-One 的综合模型,是国内首个支持256K 上下文的思考模型,支持深度思考、多模态理解、图形界面操作等多项能力。支持选择开启或关闭深度思考、自适应思考三种方式,其中自适应思考模式可根据提示