PVE8开启vgpu显卡虚拟化(基于Tesla P4)

Tesla系列显卡真是垃圾佬的福音,很久以上上万的卡,现在几百块就能收到,不仅可以炼丹,还可以玩游戏,甚至可以给PVE用作vgpu,来实现云桌面,云游戏。博主先后买过P40和P4,面对250W功耗的24G显存的P40,显然它更适合炼丹,P4 TDP 75W,1060的性能表现,它的最佳用途其实不是个人桌面的游戏显卡,而是虚拟化云主机使用,而搭配上一台低功耗主机,做all in one 是非常不错的选择,任何一个虚拟机想要硬解或者游戏,都可以分配一个vgpu来使用,8g显存的P4, 如果分配2G显存,可以供4个虚拟机使用,分配1G可以供8个虚拟机使用,一般来说普通游戏2G已足够。

一、PVE8的安装

二、PVE配置开启硬件直通

  • 前提条件:主板BIOS开启VT-D

1、登录PVE后台,进入shell管理终端

2、开启iommu

vim /etc/default/grub
#找到
GRUB_CMDLINE_LINUX_DEFAULT="quiet"
#intel cpu 改为:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
#amd cpu改为:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

3、更新grub

update-grub

4、加载vfio模块

echo vfio >> /etc/modules
echo vfio_iommu_type1 >> /etc/modules
echo vfio_pci >> /etc/modules
echo vfio_virqfd >> /etc/modules

5、更新内核参数

update-initramfs -k all -u

6、屏蔽系统中的开源显卡驱动避免开启显卡被系统加载

#AMD显卡
echo "blacklist radeon" >> /etc/modprobe.d/blacklist.conf
echo "blacklist amdgpu" >> /etc/modprobe.d/blacklist.conf
#NVIDIA显卡
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidia" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidiafb" >> /etc/modprobe.d/blacklist.conf
#INTEL核显
echo "blacklist snd_hda_intel" >> /etc/modprobe.d/blacklist.conf
echo "blacklist snd_hda_codec_hdmi" >> /etc/modprobe.d/blacklist.conf
echo "blacklist i915" >> /etc/modprobe.d/blacklist.conf 

更新内核并重启

update-initramfs -k all -u 

三、安装nvidia显卡宿主机vgpu驱动

  • 注意,这个驱动不是常规的驱动,需要去nvidia官网注册企业账号才能下载到,PVE8的内核为6.2,可以安装最新的535驱动,如果不想注册企业号,可以去网上搜索下载。
PVE8开启vgpu显卡虚拟化(基于Tesla P4)

1、将PVE需要安装的驱动传如PVE中,方法很多,可以通过scp或者ssh工具软件或者修改后缀名为iso,直接用pve后台传进去。
安装显卡驱动需要用到的依赖

apt install build-essential dkms mdevctl pve-headers-$(uname -r)

2、安装驱动并重启

#进入驱动所在目录
#r如果安装了显卡驱动,先卸载
./NVIDIA-Linux-x86_64-535.54.06-vgpu-kvm.run --uninstall
sudo apt-get remove --purge nvidia-*
###卸载后安装
chmod +x NVIDIA-Linux-x86_64-535.54.06-vgpu-kvm.run
./NVIDIA-Linux-x86_64-535.54.06-vgpu-kvm.run
#重启pve
reboot

3、验证是否安装成功,若正常显示下图所示,证明安装成功

nvidia-smi
PVE8开启vgpu显卡虚拟化(基于Tesla P4)

四、创建虚拟机,这里以WIN11为例,在虚拟机中安装vgpu驱动

  1. 创建虚拟机过程略,在创建完成后添加PCI设备,如下图
PVE8开启vgpu显卡虚拟化(基于Tesla P4)
PVE8开启vgpu显卡虚拟化(基于Tesla P4)

2.打开win11虚拟机,将上面提到的虚拟机vgpu驱动传入win11,然后双击安装,过程略

PVE8开启vgpu显卡虚拟化(基于Tesla P4)

3.装好以后重启设备管理器就识别了

PVE8开启vgpu显卡虚拟化(基于Tesla P4)

五、搭建nvidia vgpu授权服务

  1. 服务需要用到证书,所以搭建之前要自己创建证书,可以使用任何一台安装完openssl的机器创建,创建过程如下
WORKING_DIR=/opt/docker/fastapi-dls/cert
mkdir -p $WORKING_DIR
cd $WORKING_DIR
# create instance private and public key for singing JWT's
openssl genrsa -out $WORKING_DIR/instance.private.pem 2048
openssl rsa -in $WORKING_DIR/instance.private.pem -outform PEM -pubout -out $WORKING_DIR/instance.public.pem
# create ssl certificate for integrated webserver (uvicorn) - because clients rely on ssl
openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout  $WORKING_DIR/webserver.key -out $WORKING_DIR/webserver.crt
WORKING_DIR=/opt/docker/fastapi-dls/cert
mkdir -p $WORKING_DIR
cd $WORKING_DIR
# create instance private and public key for singing JWT's
openssl genrsa -out $WORKING_DIR/instance.private.pem 2048
openssl rsa -in $WORKING_DIR/instance.private.pem -outform PEM -pubout -out $WORKING_DIR/instance.public.pem
# create ssl certificate for integrated webserver (uvicorn) - because clients rely on ssl
openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout  $WORKING_DIR/webserver.key -out $WORKING_DIR/webserver.crt

2.运行docker fastapi-dls服务

docker run -e DLS_URL=替换成你的ip地址 -e DLS_PORT=443 -p 443:443 -v $WORKING_DIR:/app/cert collinwebdesigns/fastapi-dls:latest

3.访问你服务得https://ip地址,查看服务是否运行
win11下载证书,用浏览器访问 https://ip地址/-/client-token ,下载后放入C:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken\这个目录

4.重启win11,击右下角的nvidia图标,看到如下图所示就证明授权成功

PVE8开启vgpu显卡虚拟化(基于Tesla P4)

如果是linux系统,执行下面命令即可

curl --insecure -L -X GET https://<dls-hostname-or-ip>/-/client-token -o /etc/nvidia/ClientConfigToken/client_configuration_token_$(date '+%d-%m-%Y-%H-%M-%S').tok
# or
wget --no-check-certificate -O /etc/nvidia/ClientConfigToken/client_configuration_token_$(date '+%d-%m-%Y-%H-%M-%S').tok https://<dls-hostname-or-ip>/-/client-token

其他细节其实可以查看https://ip/-/readme

至此,你可以愉快的玩耍了!

驱动下载地址:https://cloud.google.com/compute/docs/gpus/grid-drivers-table?hl=zh-cn#windows_drivers

文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/11352

(0)
凯影的头像凯影
上一篇 2024年2月22日 下午5:34
下一篇 2024年2月27日 下午5:19

相关推荐

  • Centos7.6下SSH服务默认端口修改

    一般服务端的ssh端口默认是22,我们可以通过修改服务端的ssh配置文件,来修改ssh访问服务端的端口号 1、连接linux服务器 2、用编辑器(Vim,Emacs,Nano…)打开服务器上的/etc/ssh/sshd_config文件 vi /etc/ssh/sshd_config 2、修改对应位置的端口为你想要端口,修改完成后先按ESC键,再按shift…

    2022年6月8日
    93300
  • 更新Jumpserver版本

    手动更新 下载最新的install包 国内最新离线升级包下载地址:https://community.fit2cloud.com/#/products/jumpserver/downloads 解压更新包 更新 启动 清理磁盘 通过update_jumpserver.sh脚本更新 上传更新脚本 给脚本赋予执行权限 执行脚本并输入版本号

    2024年10月24日
    32500
  • centos7查看cpu核心数

    总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 查看物理CPU个数 cat /proc/cpuinfo| grep “hysical id”| sort| uniq| wc -l 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| grep “cpu core”| uniq 查看逻辑CPU的个数 c…

    2023年1月10日
    91900
  • 成功解决:ubuntu下ifconfig不显示网卡信息

    方法一(临时) 或者 需要注意的是,以上两种方式只是临时性的,非永久性,下次重启还是会出现ifconfig没有网卡的现象 dhclient(DHCP client)为动态主机配置协议客户端。DHCP 客户端 dhclient 提供了一种使用动态主机配置协议 和 BOOTP 协议配置一个或多个网络接口的方法。如果这些协议失败,则通过静态分配地址来配置。 方法二…

    2023年6月21日
    1.8K00
  • ubuntu 使用 ifupdown管理网络连接

    由于需要批量永久修改IP,研发提供的脚本是基于修改interfaces的,所以需要使用ifupdown,高版本的ubuntu使用的都是NetworkManager 卸载 NetworkManager 可能会影响你的网络连接配置,因此在卸载之前确保有其他方式管理网络连接。 步骤 1:备份当前配置 在卸载 NetworkManager 之前,最好备份当前的网络配…

    2024年5月21日
    52900

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

在线咨询: QQ交谈

邮件:712342017@qq.com

工作时间:周一至周五,8:30-17:30,节假日休息

关注微信