开云体育厂商一定是加快推理用具如vllm-开云提款靠谱欢迎您✅ 官方入口

发布日期：2026-03-04 07:42    点击次数：119

以往内行习尚将 AI 智力依赖于公有云做事开云体育，而跟着 OpenClaw 等智能体用具的快速提高，不管是个东谈主开辟者如故企业更需要一个 7×24 小时运行在腹地、可顺利反应指示的 “数字职工”。但云表决议存在的数据心事风险与握续腾贵的 API、Token 资本，让工业级智能体在范畴化落地时靠近瓶颈，孤苦部署大模子做事已成为企业构建自主可控 AI 智力的势必选拔。

众智FlagOS 是一款阔气开源的 AI 系统软件栈，复旧多款异构 AI 芯片，可让 AI 模子与智能体荒诞终了快速部署。本次 FlagOS 结伴腾讯云 HAI（面向AI和科学盘算的容器镜像中心），将 Qwen3-4B-hygon-flagos 模子镜像厚爱上线腾讯云 HAI 社区，开辟者可顺利拉取使用。基于该镜像，可快速在加快卡上运行FlagOS + OpenClaw，终了小模子驱动智能体施行，为企业和开辟者从公有云 API 转向自建腹地 AI 做事提供了可落地的实践决议。

装置及测试经由

基于 FlagOS 系统软件栈的跨芯智力，众智 FlagOS 社区把 Qwen3-4B 适配至多款GPU硬件。以下推行要点先容奈何部署与设置 FlagOS 版 Qwen3-4B的经由，仅用于复现实验效力，不影响对 Agent 智力的判断。

1.装置Qwen3-4B-hygon-flagos领先，从 HAI 社区平台找到 Qwen3-4B-hygon-FlagOS，字据md拉取模子并启动做事。

以 ModelScope为例，下载模子权重

Plain Text pip install modelscope modelscope download –model Qwen/Qwen3-4B –local_dir /share/Qwen3-4B

点击【部署面前镜像】取得镜像拉取号令，从 HAI 社区拉取镜像

Plain Text docker pull haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0

通过底下的代码，启动容器。

这段代码可顺利复制使用，也不错字据需要修改容器名，即在第4行–name=flagos对 name 进行修改。

SQL #Container Startupdocker run -it

–name=flagos

–network=host

–privileged

–ipc=host

–shm-size=16G

–memory=”512g”

–ulimit stack=-1:-1

–ulimit memlock=-1:-1

–cap-add=SYS_PTRACE

–security-opt seccomp=unconfined

–device=/dev/kfd

–device=/dev/dri

–group-add video

-u root

-v /opt/hyhal:/opt/hyhal

-v /share:/share

haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0

/bin/bash

插足容器（要是上一步修改了容器名，这里要将flagos对 name 进行修改。

Plain Text docker exec -it flagos bash

启动做事

Plain Text flagscale serve qwen3

2.装置设置OpenClaw

装置经由: 参见:https://github.com/openclaw/openclaw?spm=5176.28103460.0.0.696675514ZMILC , 通过源码面目，装置 OpenClaw。

Python git clone https://github.com/openclaw/openclaw.git cd openclawpnpm install

pnpm ui:build # auto-installs UI deps on first run

pnpm build

pnpm openclaw onboard –install-daemon

# Dev loop (auto-reload on TS changes)

pnpm gateway:watch

设置经由:造访荟萃以下荟萃：https://cloud.tencent.com/developer/article/2625144，文中有给出通用的”模子设置”文献才略，不错顺利套用，套用后号令如下。

需要留心的是，设置腹地模子时，厂商一定是加快推理用具如vllm。

SQL pnpm openclaw config set ‘models.providers.vllm_local’ –json ‘{ “baseUrl”: “http://1.15.51.106:9033/v1”, “apiKey”: “anykey”, #key弗成为空，要是底本模子莫得设置key，大肆填写即可 “api”: “openai-completions”, “models”: [ { “id”: “Qwen3-4B-hygon-flagos”, “name”: “良友模子” } ] }’

施行之后出现如下信息教唆：

启用并开辟为默许模子

Plain Text 团结设置模子 pnpm openclaw config set models.mode merge

Plain Text 切换为面前格局 pnpm openclaw models set vllm_local/Qwen3-4B-hygon-flagos

不错看到面前默许模子仍是切换为 Qwen3-4B-hygon-flagos。

施行底下代码，不错看到模子仍是切换完成。

Plain Text pnpm openclaw configure

不错看到模子仍是切换完成。

3、设置 channel 为QQ

参考文档： https://cloud.tencent.com/developer/article/2626045，这部分需要替换为我方的ID和secret。设置完成后，进行以下操作：

启动openclaw网关, 号令如下：Plain Text

pnpm openclaw gateway启动凯旋后，您不错在QQ软件中尝试和仍是买通OpenClaw的QQ机器东谈主进行单独聊天，或者在群里与QQ机器东谈主进行对话。要是QQ机器东谈主偶而以AI的面目对话，则讲明您仍是凯旋完成OpenClaw运用接入QQ机器东谈主。

接下来您就不错运转进一步探索OpenClaw接入QQ机器东谈主之后的更多使用场景。

趋势瞻望

此次在 OpenClaw 联结QQ的场景中对 Qwen3-4B-hygon-flagos 进行了测试，发现Agent 的智力范畴正在发生转动。

要津信号：

•小模子运转插足 Agent 施行层

Qwen3-4B-hygon-flagos 仍是不错在 OpenClaw 中踏实承担指示走漏、用具调用、腹地文献操作和相助进口规定等任务。这意味着，小模子第一次从“对话组件”走进了 Agent 的施行核心。

•真确的瓶颈不在模子，而在系统

不管 4B 如故更大的模子，在文档写入等智力上一样受限，讲明 Agent 的上限越来越多地由平台权限、接口瞎想和工程详细决定，而不是模子自己。

要是你要的是一个能在腹地跑、能调用具、能接企业系统的 Agent 内核，

4B 级模子，仍是运转成为一个现实且合理的默许选项。

Less is More, FlagOS is the Key！对于众智 FlagOS 社区

众智FlagOS是一款专为异构AI芯片打造的开源、长入系统软件栈，复旧 AI 模子一次开辟即可无缝移植至种种硬件平台，大幅裁减搬动与适配资本。它包括大型算子库、长入AI编译器、并行训推框架、长入通讯库等核心开源技俩，戮力于构建「模子-系统-芯片」三层领略的通达本领生态，通过“一次开辟跨芯搬动”开释硬件盘算后劲，冲破不同芯片软件栈之间生态阻隔。

社区官网：https://flagos.io

GitHub地址：https://github.com/flagos-ai

GitCode地址：https://gitcode.com/flagos-ai对于HAI

高性能运用做事（Hyper Application Inventor开云体育，HAI）是一款面向 AI 、科学盘算的 GPU 运用做事居品，提供即插即用的彭湃算力与常见环境，助力中小企业及开辟者快速部署 LLM。

而HAI社区是一款面向AI和科学盘算等GPU环境的容器镜像中心，提供丰富的官方与社区关切的开辟资源。助力企业和开辟者快速部署AIGC大模子、盘算机视觉、当然谈话科罚、数据科学等容器，原生集成开辟用具与组件。