wsl2+sglang
2026-10-09 · AI相关
一、为什么用 WSL2
WSL2 是 Windows 自带的虚拟化工具。因为 sglang 原生不支持 Windows,所以要在虚拟化的 Ubuntu 系统里安装。
二、安装 WSL2 与 Ubuntu
1、用管理员身份打开 PowerShell,下载并安装 Ubuntu 系统。Win11 这边默认下载安装的是 ubuntu 24.04(最好用梯子,不然下载有点慢):
# 查看可以安装哪些系统
wsl.exe --list --online
# 安装 Ubuntu
wsl --install -d Ubuntu
也可以通过 wsl.exe --list --online 命令查看有哪些系统可以安装,自行选择。
2、自动安装结束之后会显示 create account :4479,这个 4479 是用户名。如果需要修改,就直接删除 4479,填写自己喜欢的用户名,然后填写密码。
3、如果上一步有报错,先用命令查看系统是否安装成功。如果显示“适用于 Linux 的 Windows 子系统没有已安装的分发。”,就重启电脑:
wsl --list --verbose
4、进入 wsl 的 ubuntu 系统:
wsl.exe -d Ubuntu
5、卸载 ubuntu 系统:
wsl --unregister Ubuntu
三、创建虚拟环境并安装 sglang
创建虚拟环境相对干净、依赖不会有冲突。如果不需要,直接在主环境安装 sglang 也行,那就从第 5 步开始。
1、回到用户主目录:
cd ~
2、更新 apt:
sudo apt update
3、创建虚拟 python 环境:
python3 -m venv sglang
4、启动虚拟环境:
source sglang/bin/activate

5、更新 pip:
pip install --upgrade pip
6、安装 uv:
pip install uv
7、用 uv 安装 sglang:
uv pip install sglang
8、下载并安装 CUDA Toolkit 12.9。自己在显卡官网看下显卡支持哪个 cuda 版本,然后到下面的链接看该 cuda 的最高小版本是什么,下载最新的小版本:
https://developer.nvidia.com/cuda-toolkit-archive



安装后配置软链接与环境变量:
sudo ln -s /usr/local/cuda-12.9/bin/nvcc /usr/bin/nvcc
sudo ln -sf /usr/local/cuda-12.9 /usr/local/cuda
export PATH=/usr/local/cuda-12.9/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH
export CPLUS_INCLUDE_PATH=/usr/local/cuda-12.9/include:$CPLUS_INCLUDE_PATH
export PATH=/usr/local/cuda-12.9/nvvm/bin:$PATH
echo 'export PATH=/usr/local/cuda-12.9/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export PATH=/usr/local/cuda-12.9/nvvm/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
9、测试 nvcc:
nvcc --version
如果显示不是内部命令,那应该是环境变量有问题。

10、测试 deep_gemm 导入,应该显示成功:
python -c "import deep_gemm; print('deep_gemm 导入成功')"
11、安装编译依赖:
sudo apt update
sudo apt install -y \
python3.12-dev \
python3.12-venv \
python3-dev \
python3-venv \
libnuma-dev \
libtinfo6 \
libncurses6 \
libncursesw6 \
libncurses-dev \
libtinfo-dev \
build-essential \
gcc \
g++ \
make \
cmake \
pkg-config \
git
12、升级到 cuda12.9 版本对应的 pytorch:
pip install torch --index-url https://download.pytorch.org/whl/cu129
13、安装 NVIDIA 提供的专门为深度神经网络优化的 GPU 加速库(cuDNN)。
下面这个链接可以查到 cuda toolkit 对应的 cudnn 版本:
https://docs.nvidia.com/deeplearning/cudnn/backend/latest/reference/support-matrix.html
pip install nvidia-cudnn-cu12==9.20.0
如果显示找不到版本,看下提示里的红字,填充上最小版本号就行了。

14、设置镜像源,不然连不上 hugging face:
export HF_ENDPOINT=https://hf-mirror.com
curl -I https://hf-mirror.com
四、启动模型服务
原本想跑 qwen3.5-9b,但电脑跑不动,换成了 qwen2.5。
16G 显存:
export HF_ENDPOINT=https://hf-mirror.com && python -m sglang.launch_server \
--model-path Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4 \
--served-model-name Qwen2.5-7B-4bit \
--quantization gptq \
--mem-fraction-static 0.4 \
--context-length 128000 \
--max-tokens-per-request 100000 \
--tensor-parallel-size 1 \
--host 0.0.0.0 \
--port 8000 \
--tool-call-parser qwen3_coder
8G 显存:
export HF_ENDPOINT=https://hf-mirror.com && python -m sglang.launch_server \
--model-path Qwen/Qwen2.5-3B-Instruct-GPTQ-Int4 \
--served-model-name Qwen2.5-7B-4bit \
--quantization gptq \
--mem-fraction-static 0.4 \
--context-length 8192 \
--tensor-parallel-size 1 \
--host 0.0.0.0 \
--port 8000 \
--tool-call-parser qwen3_coder
多模态模型(8001 端口):
export HF_ENDPOINT=https://hf-mirror.com
python -m sglang.launch_server \
--model-path hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4 \
--served-model-name Qwen2.5-VL-3B \
--quantization gptq \
--mem-fraction-static 0.4 \
--context-length 8192 \
--tensor-parallel-size 1 \
--host 0.0.0.0 \
--port 8001
五、模型缓存与 openclaw 对接
模型的下载目录在这里,要删某个模型就删对应目录:
rm -rf ~/.cache/huggingface/hub/models--Qwen--Qwen3.5-9B
修改 openclaw 配置文件:
- 在
models.providers对象中,添加一个新的 sglang 配置。 - 将
agents.defaults.model.primary改为 sglang 模型。
OCR 相关依赖:
pip install paddlepaddle paddleocr
六、另一种安装方式
如果前面那套装不上,可以完全重装 CUDA 再来一遍。
1、完全重装 CUDA
# 完全卸载现有 CUDA
sudo apt remove --purge "*cuda*" "*nvidia*" -y
sudo apt autoremove -y
sudo rm -rf /usr/local/cuda*
# 重新安装(使用完整的 cuda 包,而不仅仅是 toolkit)
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
# 安装完整的 CUDA,包括编译器
sudo apt install cuda-12-9 -y # 注意:这里是 cuda-12-9,不是 cuda-toolkit-12-9
# 配置环境变量
echo 'export CUDA_HOME=/usr/local/cuda-12.9' >> ~/.bashrc && \
echo 'export CUDA_PATH=/usr/local/cuda-12.9' >> ~/.bashrc && \
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc && \
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.9/targets/x86_64-linux/lib:/usr/lib/wsl/lib:$LD_LIBRARY_PATH' >> ~/.bashrc && \
echo 'export CPLUS_INCLUDE_PATH=/usr/local/cuda-12.9/targets/x86_64-linux/include:$CPLUS_INCLUDE_PATH' >> ~/.bashrc
source ~/.bashrc
nvcc --version
rm -rf ~/.cache/flashinfer ~/.cache/torch_extensions ~/.nv
2、安装依赖并创建虚拟环境
# 1. 更新系统包列表
sudo apt update
# 2. 安装 Python 虚拟环境支持
sudo apt install python3.12-venv -y
# 3. 安装 Python 开发工具
sudo apt install python3.12-dev -y
# 4. 安装必要的开发工具
sudo apt install build-essential cmake git curl wget -y
# 5. 安装 pip
sudo apt install python3-pip -y
python3.12 -m venv sglang_env
# 2. 启动虚拟环境
source sglang_env/bin/activate
# 3. 更新 pip 和设置镜像(国内加速)
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
# 4. 安装 PyTorch 及相关依赖(先安装,避免版本冲突)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 5. 安装必要的系统级 Python 包
pip install packaging ninja -i https://pypi.tuna.tsinghua.edu.cn/simple
# 6. 安装 sglang(使用清华镜像加速)
pip install sglang[all] -i https://pypi.tuna.tsinghua.edu.cn/simple评论正在加载……若这句话一直不消失,说明评论服务暂时连不上,过会儿刷新即可。
我的留言
下面这些只存在你这台设备的浏览器里 —— 换设备或清除浏览数据后就看不到了。它们只是提交成功的本地回执,不是全站可见的留言。