wsl2+sglang

2026-10-09 · AI相关

一、为什么用 WSL2

WSL2 是 Windows 自带的虚拟化工具。因为 sglang 原生不支持 Windows,所以要在虚拟化的 Ubuntu 系统里安装。

二、安装 WSL2 与 Ubuntu

1、用管理员身份打开 PowerShell,下载并安装 Ubuntu 系统。Win11 这边默认下载安装的是 ubuntu 24.04(最好用梯子,不然下载有点慢):

# 查看可以安装哪些系统
wsl.exe --list --online

# 安装 Ubuntu
wsl --install -d Ubuntu

也可以通过 wsl.exe --list --online 命令查看有哪些系统可以安装,自行选择。

2、自动安装结束之后会显示 create account :4479,这个 4479 是用户名。如果需要修改,就直接删除 4479,填写自己喜欢的用户名,然后填写密码。

3、如果上一步有报错,先用命令查看系统是否安装成功。如果显示“适用于 Linux 的 Windows 子系统没有已安装的分发。”,就重启电脑:

wsl --list --verbose

4、进入 wsl 的 ubuntu 系统:

wsl.exe -d Ubuntu

5、卸载 ubuntu 系统:

wsl --unregister Ubuntu

三、创建虚拟环境并安装 sglang

创建虚拟环境相对干净、依赖不会有冲突。如果不需要,直接在主环境安装 sglang 也行,那就从第 5 步开始。

1、回到用户主目录:

cd ~

2、更新 apt:

sudo apt update

3、创建虚拟 python 环境:

python3 -m venv sglang

4、启动虚拟环境:

source sglang/bin/activate

5、更新 pip:

pip install --upgrade pip

6、安装 uv:

pip install uv

7、用 uv 安装 sglang:

uv pip install sglang

8、下载并安装 CUDA Toolkit 12.9。自己在显卡官网看下显卡支持哪个 cuda 版本,然后到下面的链接看该 cuda 的最高小版本是什么,下载最新的小版本:

https://developer.nvidia.com/cuda-toolkit-archive

安装后配置软链接与环境变量:

sudo ln -s /usr/local/cuda-12.9/bin/nvcc /usr/bin/nvcc
sudo ln -sf /usr/local/cuda-12.9 /usr/local/cuda

export PATH=/usr/local/cuda-12.9/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH
export CPLUS_INCLUDE_PATH=/usr/local/cuda-12.9/include:$CPLUS_INCLUDE_PATH
export PATH=/usr/local/cuda-12.9/nvvm/bin:$PATH

echo 'export PATH=/usr/local/cuda-12.9/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export PATH=/usr/local/cuda-12.9/nvvm/bin:$PATH' >> ~/.bashrc

source ~/.bashrc

9、测试 nvcc:

nvcc --version

如果显示不是内部命令,那应该是环境变量有问题。

10、测试 deep_gemm 导入,应该显示成功:

python -c "import deep_gemm; print('deep_gemm 导入成功')"

11、安装编译依赖:

sudo apt update
sudo apt install -y \
  python3.12-dev \
  python3.12-venv \
  python3-dev \
  python3-venv \
  libnuma-dev \
  libtinfo6 \
  libncurses6 \
  libncursesw6 \
  libncurses-dev \
  libtinfo-dev \
  build-essential \
  gcc \
  g++ \
  make \
  cmake \
  pkg-config \
  git

12、升级到 cuda12.9 版本对应的 pytorch:

pip install torch --index-url https://download.pytorch.org/whl/cu129

13、安装 NVIDIA 提供的专门为深度神经网络优化的 GPU 加速库(cuDNN)。

下面这个链接可以查到 cuda toolkit 对应的 cudnn 版本:

https://docs.nvidia.com/deeplearning/cudnn/backend/latest/reference/support-matrix.html

pip install nvidia-cudnn-cu12==9.20.0

如果显示找不到版本,看下提示里的红字,填充上最小版本号就行了。

14、设置镜像源,不然连不上 hugging face:

export HF_ENDPOINT=https://hf-mirror.com

curl -I https://hf-mirror.com

四、启动模型服务

原本想跑 qwen3.5-9b,但电脑跑不动,换成了 qwen2.5。

16G 显存:

export HF_ENDPOINT=https://hf-mirror.com && python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4 \
  --served-model-name Qwen2.5-7B-4bit \
  --quantization gptq \
  --mem-fraction-static 0.4 \
  --context-length 128000 \
  --max-tokens-per-request 100000 \
  --tensor-parallel-size 1 \
  --host 0.0.0.0 \
  --port 8000 \
  --tool-call-parser qwen3_coder

8G 显存:

export HF_ENDPOINT=https://hf-mirror.com && python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-3B-Instruct-GPTQ-Int4 \
  --served-model-name Qwen2.5-7B-4bit \
  --quantization gptq \
  --mem-fraction-static 0.4 \
  --context-length 8192 \
  --tensor-parallel-size 1 \
  --host 0.0.0.0 \
  --port 8000 \
  --tool-call-parser qwen3_coder

多模态模型(8001 端口):

export HF_ENDPOINT=https://hf-mirror.com

python -m sglang.launch_server \
  --model-path hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4 \
  --served-model-name Qwen2.5-VL-3B \
  --quantization gptq \
  --mem-fraction-static 0.4 \
  --context-length 8192 \
  --tensor-parallel-size 1 \
  --host 0.0.0.0 \
  --port 8001

五、模型缓存与 openclaw 对接

模型的下载目录在这里,要删某个模型就删对应目录:

rm -rf ~/.cache/huggingface/hub/models--Qwen--Qwen3.5-9B

修改 openclaw 配置文件:

  • 在 models.providers 对象中,添加一个新的 sglang 配置。
  • 将 agents.defaults.model.primary 改为 sglang 模型。

OCR 相关依赖:

pip install paddlepaddle paddleocr

六、另一种安装方式

如果前面那套装不上,可以完全重装 CUDA 再来一遍。

1、完全重装 CUDA

# 完全卸载现有 CUDA
sudo apt remove --purge "*cuda*" "*nvidia*" -y
sudo apt autoremove -y
sudo rm -rf /usr/local/cuda*

# 重新安装(使用完整的 cuda 包,而不仅仅是 toolkit)
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update

# 安装完整的 CUDA,包括编译器
sudo apt install cuda-12-9 -y  # 注意:这里是 cuda-12-9,不是 cuda-toolkit-12-9

# 配置环境变量
echo 'export CUDA_HOME=/usr/local/cuda-12.9' >> ~/.bashrc && \
echo 'export CUDA_PATH=/usr/local/cuda-12.9' >> ~/.bashrc && \
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc && \
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.9/targets/x86_64-linux/lib:/usr/lib/wsl/lib:$LD_LIBRARY_PATH' >> ~/.bashrc && \
echo 'export CPLUS_INCLUDE_PATH=/usr/local/cuda-12.9/targets/x86_64-linux/include:$CPLUS_INCLUDE_PATH' >> ~/.bashrc

source ~/.bashrc

nvcc --version

rm -rf ~/.cache/flashinfer ~/.cache/torch_extensions ~/.nv

2、安装依赖并创建虚拟环境

# 1. 更新系统包列表
sudo apt update

# 2. 安装 Python 虚拟环境支持
sudo apt install python3.12-venv -y

# 3. 安装 Python 开发工具
sudo apt install python3.12-dev -y

# 4. 安装必要的开发工具
sudo apt install build-essential cmake git curl wget -y

# 5. 安装 pip
sudo apt install python3-pip -y

python3.12 -m venv sglang_env

# 2. 启动虚拟环境
source sglang_env/bin/activate

# 3. 更新 pip 和设置镜像(国内加速)
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple

# 4. 安装 PyTorch 及相关依赖(先安装,避免版本冲突)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple

# 5. 安装必要的系统级 Python 包
pip install packaging ninja -i https://pypi.tuna.tsinghua.edu.cn/simple

# 6. 安装 sglang(使用清华镜像加速)
pip install sglang[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

相关文章

← 返回教程列表

评论正在加载……若这句话一直不消失,说明评论服务暂时连不上,过会儿刷新即可。