All in One 服务器 Part 1:安装 PVE

Limonene Lv1

折腾 All in One 服务器的想法早已有之,始终因为成本太高没狠下心开始折腾。前段时间看到「电脑吧评测室」推荐的 710 元 14 TB 洋垃圾,终究还是没忍住剁了手,开始折腾。搭建的过程踩了各种各样的坑,很多信息都仰仗前人的整理,才有机会让我解决各种各样的问题,因此,我也打算把折腾的过程记录一下,最好能够方便后来人。

硬件

类别型号
机箱乔思伯 N2
主板华擎 Z370 Gaming ITX/ac
CPUi5-8500
内存光威天策 16GB x 2
散热利民 AXP90-X53
HDD西数 HC530 14TB 洋垃圾 x5
SSD 1京东京造 JZ-SSD1T-5
SSD 2梵想 S100Pro 512GB
网卡SU-LE8445F 2.5Gbps x4

硬件上踩的第一个坑,就是这块网卡插到主板上不识别,最后升级了主板 BIOS 解决。这张网卡使用了 4 个 RTL825BG 芯片控制四个网口,可能是主板相对于它来说太老了,升级到最后一个稳定版本 BIOS 才能用。

安装 Proxmox Virtual Environment(PVE)

制作安装镜像

一开始想着直接把镜像丢进 Ventoy 里面,结果发现 PVE 在安装过程中,会试图定位镜像所在的硬盘。但由于镜像是交由 Ventoy 处理的,导致安装程序识别不到所属硬盘,不能正常安装,只能制作单独的安装镜像。

此部分主要参考 PVE的官方文档 。由于我大部分环境在 MacBook 上使用,所以参考了针对 macOS 的教程。

1
2
3
4
hdiutil convert proxmox-ve_*.iso -format UDRW -o proxmox-ve_*.dmg
diskutil list
diskutil unmountDisk /dev/disk<X>
sudo dd if=proxmox-ve_*.dmg bs=1M of=/dev/rdisk<X>

其中 diskutil list 一步用于定位 macOS 给优盘分配的编号,后续指令中的 <X> 应该被替换为对应的数字。最后一步中使用 rdisk,根据官方文档,是为了加快镜像的写入速度。

安装 PVE

安装 PVE 就按照图形化安装程序一步一步走就可以了。比较值得注意的是网络配置这一步。

  • Management Interface:这里需要填写分配给 PVE 用于管理的物理网口。因为刚刚装好 PVE 时,一般是没有接入网络的,此时需要将网线接入此管理网口,并在电脑上配置固定 IP 以访问 PVE 的 WebUI。

  • Hostname (FQDN):这里需要填入 PVE 的 Hostname。正确设置主机名后,可以方便局域网中的各个设备相互识别,在配置 mDNS 后,还可以实现直接使用局域网内的 Hostname 访问各个设备,无需记忆 IP 地址。后面如果折腾好了 mDNS,我会继续更新。我主要参考了 PVE 论坛 ,将 PVE 的 Hostname 设置为 pve.<my_name>.local

  • IP Address (CIDR):这里要求填入 PVE 的静态IP,同时给出子网段。我将局域网进行如下划分:

    • 局域网:10.0.0.0/22
    • 与网络有关的设备:10.0.0.0/24
    • 与网络无关的其他服务器:10.0.1.0/24
    • 其他接入DHCP的设备:10.0.2.0/24

    按照这个规划,我尚未安装的主路由应该使用 10.0.0.1 这个 IP,而 PVE 作为首个与网络无关的服务器,使用 10.0.1.1 这个 IP。

    因此,我这里填入 10.0.1.1/22。

  • Gateway:如上所述,网关应该只想主路由 OpenWRT,填入 10.0.0.1。

  • DNS Server:同上,10.0.0.1。

开启 IOMMU 虚拟化,以实现硬件直通

装好 PVE 之后,就可以在 10.0.1.1:8006 访问到 WebUI 了。在开始安装其他虚拟机之前,首先要开启硬件直通功能,方便 OpenWRT 调用网卡及 TrueNAS 管理硬盘。此部分主要参考以下视频:

使用 nano 打开 /etc/default/grub 并找到 GRUB_CMDLINE_LINUX_DEFAULT 一行,修改其为开启英特尔 IOMMU 虚拟化:

1
2
3
4
# /etc/default/grub
...
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
...

使用 nano 打开 /etc/modules 写入如下 kernel modules:

1
2
3
4
5
6
# /etc/default/grub
...
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

最后更新 GRUB 配置和 initramfs 后重启:

1
2
3
update-grub
update-initramfs -u -k all
reboot

至此,PVE 的硬件直通功能已经开启。后续请参考:

  • 标题: All in One 服务器 Part 1:安装 PVE
  • 作者: Limonene
  • 创建于 : 2024-01-01 19:50:42
  • 更新于 : 2024-01-23 19:57:29
  • 链接: https://limonene.top/2024-01-01/All-in-One-服务器-Part-1:安装-PVE/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论