Building My First Homelab Server Rack

Michael Lynch

搭建我的第一个家庭实验室机柜

原文由 Michael Lynch 发布,订阅该博客

七年前,我搭建了第一台家用服务器。它让我的软件开发工作更快、也更愉快,于是我越发沉迷于家用服务器这个圈子。后来我又做了一台定制存储服务器另一台开发服务器,还有一台专用防火墙。

有一次,妻子委婉地提醒我,办公室里难看的线缆越来越多了。“哪有?”我问,“这可是正常的线量。”但环顾四周后,我才发现线的确有点太多了……

办公室里到处都是线缆的照片办公室里到处都是线缆的照片

仔细一看,办公室里的线确实有点多

很多家庭服务器爱好者都会买机柜,但我从没觉得自己是玩机柜的人。我又不是那种重度玩家,需要一整排机柜;我只是在这边放一台虚拟机服务器,在那边放一台存储服务器,再零散地放几个交换机。买机柜就等于承认,我已经不是随便玩玩家用服务器的普通玩家,而是个十足的 homelab 发烧友了。

有一天,我妥协了,买了一台机柜,事实证明这个决定很值得。它让我的服务器用起来更顺手,也彻底解决了满地线缆的混乱。

不想听我的流水账——直接看机柜

如果你想跳过前面的铺垫直接看成品,请看下面的最终配置

什么是 homelab?

“Homelab”(家庭实验室)是近十年来越来越流行的一个俗称。

Homelab 指的是你在家里开辟的一块地方,用来折腾那些通常只会在办公室或数据中心里见到的 IT 硬件和软件。你可以把它当作练习新职业技能的实验场,也可以单纯用来把玩各种酷炫的技术。

为什么要在家里搭建服务器机柜?

如果你从没接触过服务器,可能会好奇,为什么会有人要在家里放一堆服务器,还要专门给它们搭个“神龛”。

每个人入坑 homelab 的理由都不一样,我的理由有这几个:

  • 软件开发:我用一台专用服务器来跑虚拟机,这样就算重启或升级主力工作站,也不会影响服务器上跑着的服务。我可以随时创建新的实验性虚拟机,而不用担心影响其他项目。
  • 存储:与其给每台设备都买大硬盘、把数据分散得到处都是,不如用一台存储服务器集中共享海量存储。存储服务器用了 ZFS,即使有硬盘损坏,也能降低数据丢失的风险。
  • 网络:用开源软件自制路由器,能让我对网络有更强的掌控力,也免受大多数家用路由器上那些 bug 频出的固件的折磨。

为什么要写这篇指南?

新手写给新手

虽然过去几年我一直在折腾 homelab,但这还是我第一次搭建服务器机柜,所以这是一篇面向新手的入门指南。

我看过的其他关于服务器机柜的文章,读起来都像是有人在讲自己的第 20 个机柜。他们不会解释自己是怎么选配件的、为什么排除了其他选项。玩得太久,很多决策对他们来说已经成了下意识的行为。

而这正是我第一次搭建机柜,所以我没有知识的诅咒。我会带着你走一遍我第一次做这件事时的完整思考过程。

没有利益冲突

写这篇文章没有任何人付费给我,也没有厂商给我免费提供产品。我没有需要取悦的广告主,也没有需要维护的合作关系。

大多数 homelab 博客令人尴尬的真相是,它们靠推广链接赚钱。也就是说,当读者通过文章中的链接购买产品时,作者会拿到佣金。

作者即使使用推广链接,也依然可以提供有价值的信息,一些最优秀的 homelab 博主就是靠这种方式维持创作的。但推广链接确实会在作者和读者之间造成利益冲突。如果商家按比例给作者佣金,作者就有动力去推荐更贵的产品和不太靠谱的商家。

我不是要标榜自己多清高,也不是要谴责靠写作赚钱的人,只是我的动机和读者的利益更一致。我写博客是出于虚荣心——我喜欢别人告诉我,我的文章有趣或有用。把思考过程写出来也能帮我改进方法,并从读者那里获得有用的反馈。

我的机柜里确实放了一台 TinyPilot,这款硬件设备是我自己做的,但它并不影响我的其他选择。每当提到 TinyPilot 时,我都会说明我和它的关系。

怎么选机柜

如果要搭建服务器机柜,直觉上第一件事就是先选机柜本身。但事情没那么简单。

选机柜是个反复迭代的过程。在你搞清楚机柜要装哪些设备之前,你没法决定买哪种机柜。但反过来,了解市面上有哪些机柜,也会影响你要买什么设备。

我当时是按这个流程来选机柜的:

  1. 随便逛逛机柜,大致了解价格、功能和尺寸选项。
  2. 粗略列出想放进机柜的设备清单。
  3. 计算这些设备需要多高的空间和多深的机柜。
  4. 缩小符合需求的机柜范围。
  5. 重复 2-4 步,直到做出最终决定。

需要多少 U?

机柜的容量用 U(rack unit,机架单位)来衡量。1U 是 1.75 英寸(约 4.45 厘米)。你通常会看到机柜按数字加 U 来标称,比如 8U 的机柜就是有 8 个 U,也就是 8 x 1.75 英寸 = 14 英寸的可用安装高度。

服务器机柜按 U 来计量,每 1U 为 1.75 英寸。

如果一个设备是为上架设计的,它的高度一定是 U 的整数倍。大多数网络交换机是 1U,不间断电源通常是 2U,服务器一般也是 2U。

你既不想买得太矮,结果设备放不下,也不想买个庞然大物,占用大量永远用不上的垂直空间。

在挑选设备时,把它们需要的 U 数加起来,再根据未来几年的扩展计划预留一些余量。

需要多深?

服务器机柜的深度各不相同。大多数机柜是为企业级服务器设计的,那些服务器最长可达 50 英寸。

在公司办公室里,我们有一台 HP ProLiant DL380 G7 服务器,特别麻烦。它长 29 英寸,重 50 磅(约 22.7 公斤),安装很费劲,以后卖掉也会很麻烦。

我的家庭办公室比较小,我不想让机架式服务器占据太多空间。对于家里的机柜,我决定只选用那些只需要前面固定的浅深度设备。

我找的是深度至少 19 英寸的机柜。这样既有足够的深度来安装层板和前置固定的服务器机箱,又不会占用太多额外空间。

要双立柱还是四立柱?

机柜有两种样式:双立柱和四立柱。在四立柱机柜上,你可以把设备同时固定在前面和后面。

如果你打算买又长又重的服务器,那肯定需要前后两端都固定好。如果你想尽可能节省空间,双立柱也许就够了。

我只想要前置固定的设备,所以用双立柱也能应付,但四立柱感觉更稳固一些,所以想着何不就选四立柱。

需要带轮子吗?

有些服务器机柜带轮子,可以整体移动。对我来说,轮子是必备功能,因为我想方便地清理机柜后面的卫生。

候选型号

品牌型号最小深度立柱数带轮高度价格
StarTech4POSTRACK18U22"418U$316
StarTech4POSTRACK15U22"415U$301
StarTech2POSTRACK1612"216U$165

15U 感觉已经够用了,但 18U 的价格也只贵了一点点,所以我想着不如多花一点钱换 3U 的额外空间。

评测:StarTech 4POSTRACK18U 18U 机柜

  • 评分:A

这个机柜用起来很不错。很结实,轮子让移动变得很轻松。

组装很 straightforward。从头到尾大概花了我两个半小时。唯一的槽点是所有零件都没有标签,不过我可以根据形状和说明书对上号。

机柜深度可调,我选了最浅的 22 英寸。机柜有个设计缺陷,在最浅深度时有些螺孔会被挡住、拧不上。我变通了一下,先把深度调大,把那些在浅深度下够不到的位置拧好螺丝,再把深度调回最浅。

怎么选交换机

交换机成了我整个机柜里最难做决定的部分。

网络交换机价格很容易就飙上去,所以我不想花 300 美元买个东西,结果不久后又得再买配件来补充,甚至整个换掉。

需要多快的速率?

除非你买非常高端的设备,否则机架式交换机可选的速率就这几种:

  • 1 Gbps
  • 2.5 Gbps
  • 10 Gbps

过去 10 多年里,我家里一直用 1 Gbps 以太网,完全够用。我的大部分工作都在网上完成,瓶颈几乎总是在运营商那边,而不是家庭内网。

最近我发现,家里的存储服务器的瓶颈卡在了 1 Gbps 交换机上,所以我开始考虑升级网络。

既然 1 Gbps 一直够用,我觉得直接跳到 10 Gbps 有点跨度太大。但越看关于 2.5 Gbps 硬件的评价,就越看到很多人抱怨它不稳定、不可靠。普遍的看法是,升级到 2.5 Gbps 和升级到 10 Gbps 难度差不多,不如直接上 10 Gbps。

我确实也遇到了一些麻烦,后面会细说

注意:如果看到标称 10 Gbps 的交换机,一定要确认有多少个端口真正支持 10 Gbps。很多所谓的 10 Gbps 交换机只有部分端口是 10 Gbps,剩下的还是 1 Gbps。

选网管型还是非网管型?

网络交换机分两种:网管型和非网管型。

  • 网管型交换机允许你配置交换机的规则和设置。最常见需要网管型交换机的理由是创建虚拟局域网(VLAN)来提升网络安全性。

  • 非网管型交换机无需任何配置,就是个傻瓜式转发流量的盒子。连到交换机上的任何主机都可以向其他端口发送流量。

我本来想要一台最简单的非网管交换机。我从没用过网管交换机,也不想多一堆配置要管。

结果符合我其他条件的交换机全都是网管型的,所以我最后还是买了网管型。拿到手后我发现,给网络里不同设备划分 VLAN 还挺有意思的。现在我恨不得给所有设备都配上 VLAN!

要 PoE 还是普通以太网?

有些低功耗设备可以完全通过网线供电,这就是以太网供电(PoE)

比如,我家里的无线接入点 Ruckus R310 就支持 PoE,所以只需要一根网线就能同时解决供电和联网。

我的 Ruckus R310 无线接入点支持 PoE,只需一根网线就能同时供电和传输数据。

要用 PoE 设备,就需要支持 PoE 的交换机。

PoE 交换机的缺点是功耗更高、价格也更贵。如果你买了 PoE 交换机却没有 PoE 设备,非 PoE 设备照样能用,但你就是在为不需要的功能浪费钱和电。

需要多少个端口?

显然,交换机的端口数至少要和你有线的网络设备数量一样多。

更难的问题是,在现有需求之外要多买多少冗余端口。这取决于你未来几年对 homelab 的扩展计划。

你可以以后再加交换机,但如果你买的是昂贵的交换机,就不想过两年就把它整个换掉。也不想为了多几个端口就再占掉 1U 的机柜空间,而当初本可以买一台端口更多的交换机一步到位。

我目前有 8 台带网口的设备,所以我找的是至少 16 口的交换机。

候选型号

品牌型号端口数速率网管PoE价格
TP-LinkTL-SG3428X244x10Gbps 24x1Gbps$299.00
MicrotikCRS328-24P-4S+RM284x10 Gbps SFP+ 24x1Gbps$490.50
TP-Link无名国产型号182x10 Gbps SFP+ 16 x 2.5 Gbps$499.90
TP-LinkT1600G-28TS244x10 Gbps SFP 24x1Gbps$299.00
TP-LinkT1600G-28PS244x10 Gbps SFP 24x1Gbps$295.99
TP-LinkT1700G-28TQ244x10 Gbps SFP 24x1Gbps$958.40

我以前用过 Microtik,很想喜欢他们。他们是一家小而独立的硬件公司。有些人喜欢他们那种 90 年代风格的界面,但我觉得又 confusing 又难用。

我很想喜欢 Microtik,但实在受不了他们那种 90 年代风格的管理界面

我用非网管的 TP-Link 交换机体验很好,所以对这个品牌比较放心。

我差点就选了那款 16 个 2.5 Gbps 端口的 TP-Link,但它只能从中国发货,而且似乎没有任何美国安全或合规认证。我决定不冒这个险。

我也考虑过 TP-Link T1600G-28PS,它和 TL-SG3428X 各方面都很像,只不过还多了 PoE。但我看到好几条评价说它的风扇很吵,而我不想要一台吵闹的交换机。所以我选了 TL-SG3428X,心想大不了再单独买一台便宜、静音的非网管 PoE 交换机,反正我也不需要 24 个 PoE 口。

评测:TP-Link TL-SG3428X

  • 评分:B-

总的来说,我对 TP-Link TL-SG3428X 还算满意。它是静音的,这点很加分。可靠性上也没出过问题。我对 TP-Link 网页管理界面的体验很差,但这在网络设备里也算常态了。

我花了很久才搞明白怎么配置 VLAN。我看过其他像 QNAP 这样品牌对 VLAN 的呈现方式,我觉得他们比 TP-Link 做得好得多。

TP-Link 网页界面上这个页面显示哪些端口属于 Guest VLAN,但每次我都要花几分钟才能想起来怎么解读这个界面。

评测:Netgear GS116LP 16 口非网管 PoE 交换机

  • 评分:A

我只有少数几个 PoE 设备,所以最初打算用一个放在层板上的 5 口小 PoE 交换机来供电。去年年底,我开始为搬离工作室做准备,就把办公室里的那台 Netgear GS116LP 搬了回来继续用。

作为一台非网管交换机,它很好地完成了任务。能给设备供电,安装简单,而且是静音的。

回过头看,我当初应该更努力地去找一台带 PoE 的网管交换机,而不是搞两台分开的交换机。后面会详细说

怎么选万兆网卡

如果你选了 10 Gbps 的交换机,工作还没结束。要跑到 10 Gbps,每台想跑满速的设备都需要一块 10G 网卡(NIC)。普通的 1 Gbps 网卡在 10 Gbps 交换机上照样能用,但会被限制在 1 Gbps。

我在给自己的设备找 10G 网卡时遇到了很多麻烦。首先,10G 网卡的市场几乎全是面向企业级数据中心的,单价接近 1000 美元。我倒是找到了 100 美元以内的二手卡,但得在论坛里翻各种帖子,看别人买哪款二手卡能用。

我在 Windows 台式机上折腾一番后总算让一块 10G 网卡工作了,但在 TrueNAS 存储服务器上试了三块不同的网卡都没成功。

  • Mellanox ConnextX-3 CX311A
    • 在我的 Windows 台式机上,指示灯不闪,Windows 也识别不到 PCI 插槽里的设备。
    • 我看到一个论坛帖子说,有人换了主板上的另一个 PCI 插槽就解决了。我当时半信半疑,但一试竟然真的好了。
    • 我的 TrueNAS 服务器完全识别不到它。
  • Chelsio T520-LL-CR
    • Chelsio 是 TrueNAS 服务器里最常见的品牌之一,Serve the Home 也把它列为推荐选项。
    • 我的 TrueNAS 服务器识别不到它
  • Chelsio Dual Port T520-CR

我猜最可能的原因是 TrueNAS 服务器主板的兼容性有限。那是一块面向消费级的华硕主板,可能不支持这些面向企业的 10G 网卡。

我计划在接下来几个月里重新组一台存储服务器,到时会试试更好一点的主板,看看能不能用上现在手里积攒的三块闲置 10G 网卡。

目前,我的网络里唯一一条 10 Gbps 链路是在 Windows 台式机和那台网管交换机之间。如果需要在 TP-Link 那难用的网页界面上点个勾,我可以以 10 Gbps 的极速来点了。

怎么选 UPS(不间断电源)

住在曼哈顿时,我每年会遇到大约五次停电。每次都很短,但都足以让电脑断电重启、丢失未保存的工作。

为了避免意外关机,我买了一台后备电池,也就是不间断电源(UPS)。型号是 APC BR1500G,这台电池我已经用了六年。

遇到短暂停电时,电池能让我完全不断线;遇到长时间停电时,电池也能给我足够的时间去关机,避免数据丢失。

电池的缺点是让办公室的布线更乱了。我的台式机、服务器和路由器分别在办公室的不同角落,所以不得不拉得到处都是又粗又难看的电源线。

优雅关机需要多长的续航?

遇到长时间停电时,你需要在 UPS 电量耗尽前把系统关机。你需要的续航时间取决于 UPS 的电池容量和所接设备的功耗。

理论上我可以用Kill A Watt 功率计去测量每台设备在常规负载下的功耗,再据此去选电池。但我懒得做那么严谨,就根据之前那台 UPS 的数据估算了一下。

我的 APC UPS 电池是 865W,在同时带一台台式机、一台虚拟机服务器、一台存储服务器、一台防火墙和一台交换机时,它显示还能撑 12 分钟,所以我觉得 800W 应该是个合理的最低门槛。

需要自动告警关机功能吗?

机柜搭好后,有同事提醒我,现在大多数 UPS 都能在本地网络里给设备发告警,让它们自动优雅关机。

对我来说,让 UPS 自动关机不值得折腾,但如果你的系统对硬断电更敏感,或者你所在地区停电更频繁,你的选择可能会不同。

候选型号

品牌型号功率插座数价格
CyberPowerCP1500PFCRM2U1000 W8$335
Tripp LiteSMART1500LCD900 W8$298
CyberPowerCPS1500AVR950 W8$460

评测:CyberPower CP1500PFCRM2U

  • 评分:A

CyberPower 的液晶屏很友好,能显示有用的功耗信息。你也可以把屏幕关掉,让机柜少几个闪烁的灯。

这台 UPS 在同时带一台虚拟机服务器、一台存储服务器、一台防火墙和一台交换机时,显示还能续航 30 分钟。这些设备在常规负载下的总功耗大约是 200W。

CyberPower 提供了PowerPanel Business,一款免费的 UPS 管理工具。要用它,你需要通过 USB 线把电脑连到 UPS 上。这本来很适合用树莓派来跑,但遗憾的是 CyberPower 并没有提供能在 ARM 系统上安装 PowerPanel 的方式。

我给 CyberPower 的 UPS 管理软件打个“还行”。

我试玩了几分钟 PowerPanel,觉得还行,但没什么必要。质量就是你对那种闭源、厂商绑定的硬件管理软件的预期水平。UPS 自带的物理按键对我来说已经够用了。

PowerPanel 可以在 UPS 断电时执行自定义脚本,所以理论上我可以自动化机柜里设备的关机,但以我的使用环境来说,不值得折腾。

更新(2024-04-07):有几位读者推荐了 Network UPS Tools(NUT) 这个开源替代方案,用来替代厂商私有的 UPS 软件。我还没试过,但看起来很有意思。

还有个优点是这台 UPS 是静音的,我本来以为不间断电源静音是理所当然的,结果发现并非如此……

评测:Tripp Lite SMART1500LCD

  • 评分:D

我为机柜买的第一台 UPS 就是 Tripp Lite SMART1500LCD,但它噪音大得离谱。

我甚至都没意识到不间断电源居然会吵。我的 APC UPS 只有在断电切换到电池时才会出声。

Tripp Lite 这台不仅是机柜里最吵的东西,也是整个家里最吵的东西。就像办公室里一直开着一台吹风机。楼上办公室的妻子都能听见。

难道是我买到了次品?UPS 总不能设计成一直这么吵吧?

我带着视频联系了 Tripp Lite 的客服,他们说这属于正常工作状态。

我试着忍了两天,但噪音实在太让人分心,只能放弃了。

让我意外的是,Newegg 对这台 UPS 的退货政策是“只换不退”。我以前在 Newegg 退货都很顺利,所以买之前根本没去看退货政策,没想到他们对这种 29 磅(约 13 公斤)的大件会这么严格。

好在,我客气地向 Newegg 客服申请退款,他们还是同意了,这也是我一直回头光顾 Newegg 的原因之一。

怎么选排插

虽然我的机柜里有带很多插座的 UPS,但我还是觉得有必要再配一个普通的排插。

机柜里有些设备并非关键设备,停电时没必要保持在线。

比如,我在机柜里放了一个监测太阳能板性能的小型物联网设备。这东西完全是额外加的,停电时离线也无所谓。事实上,我更希望它离线,因为我不想把有限的电池电量浪费在太阳能监测器上。

候选型号

排插说实话没什么好挑的,所以我也没怎么精挑细选,只看了两款。

品牌型号插座数价格
Tripp LiteRS-1215-RA12$78
CyberPowerCPS1215RMS12$60

评测:Tripp Lite RS-1215-RA

  • 评分:B+

这个排插用起来不错。后面的插座间距足够宽,就算插那种方块式电源适配器也不会挡住旁边的插孔。

机柜里没有设备插在前面的插孔上,不过偶尔我想临时测试某个设备时,前置插孔就很方便。

评测:CyberPower CPS1215RMS

  • 评分:C

这个排插是我几年前给公司办公室的机柜买的。我主要的不满是插孔间距太近。办公室里很多设备都是宽大的电源适配器,一个就会占掉两个插孔。

怎么选机柜层板

在搭机柜之前,我已经有一些现成的设备打算放进机柜,所以至少需要 2U 的层板来放这些非上架设备。

候选型号

品牌型号价格
PylePLRSTN62U 19" 2U$64 两块
StarTechCABSHELFV 2U 16"$88 两块

评测:Pyle PLRSTN62U 层板

  • 评分:A

我以前从没听说过 Pyle 这个品牌,但在网上看到这款层板,买来后用着很不错。

我用两块 2U 的 Pyle 层板来放那些无法上架的设备。

安装简单,价格合理,而且有挡边设计,能防止设备从层板上滑落。

评测:StarTech CABSHELFV 2U 层板

  • 评分:D

我一开始买的是 StarTech 的层板,因为 StarTech 在服务器领域口碑很好。

装进机柜后,我还以为是自己装错了。它们底部有一条向下折的挡边,会占用到下一个机位的空间。

StarTech 层板有一条向下的折边,会打乱整个机柜的布局。

这条向下的折边迫使你要么给每块 2U 层板分配 3U 的空间,要么把所有设备整体下移 0.5U。

我完全想不通这条折边的意义。如果是向上折还能理解,可以防止层板上的东西滑落,但为什么要向下折?看起来也不像是给层板提供结构支撑的。

更新(2024-04-09):好几位热心的读者指出,这条折边确实能增强层板的结构强度,防止层板中间弯曲。

我翻了不少评价,想看看有没有别人提到这个奇怪的设计。提到的人语气都很无所谓,“哦,是会多占一点,算了。”

有评价者承认 StarTech 这块 2U 层板实际占用了 3U 空间,仍然给了 4/5 分。

我无法理解有人会接受一块标称 2U 却要占 3U 的层板。我马上把它退了,换成了 Pyle 的层板。

怎么选配线架

这些年看 homelab 博客时,我注意到很多玩家都会在机柜里集成配线架。

等到自己真正要搭机柜时,我终于忍不住要问那个困扰我多年的问题。

配线架到底是什么?

在选购配线架时我更困惑了。这不就是一排空口吗?有什么用?

直到把机柜搭起来,这个概念才真正让我恍然大悟。简单说,配线架能让杂乱的网线藏到机柜后面,而不是堆在前面。

配线架通过把网线引到机柜后方,让机柜正面保持整洁。

提示:我建议在机柜里的每台交换机旁边都配一块配线架。

候选型号

品牌型号价格
NewYork Cables24 口 1U$19
Tripp Lite16 口 1U$13

评测:NewYork Cables 24 口 1U 配线架

  • 评分:B+

说到底,配线架就是一块金属加塑料,没什么特别好或特别差的。但 NewYork 这款感觉很结实,装进机柜也很牢固。

我选 NewYork 的一个原因是看到有评价提到它背后有一根支撑杆,可以托住网线。在我的机柜里,这根杆其实没起什么作用。它离网口太近,起不到支撑效果,而且线缆本身似乎也不需要支撑。

我本以为配线架背后的支撑杆能托住网线,结果发现根本不需要。

我唯一的槽点是端口标签。它们是像 90 年代座机电话上那种速拨标签一样,夹在塑料片下的小纸条。其他配线架用的是可擦写的小白板条,我更喜欢那种可反复擦写的样式。

NewYork 配线架的标签就像 90 年代座机电话上的速拨标签一样。

评测:Tripp Lite 16 口 1U 配线架

  • 评分:A

和 NewYork 的配线架一样,Tripp Lite 这款也没什么好挑剔的,配线架本身也没太多可圈可点的地方。

我喜欢它的标签是小白板。我手头本来有白板笔,但笔头太粗,在这么小的标签上写不下,所以我又买了超细头白板笔,用起来就很合适了。

Tripp Lite 配线架配有小白板标签,用超细头白板笔就能书写。

怎么选树莓派机架

出于工作和兴趣,我做了很多基于树莓派(Raspberry Pi)的项目,这是一种体积小、价格便宜的单板计算机。

我之前看到过树莓派的机架,所以觉得在机柜里加一个会很有意思。我懒得货比三家,就直接买了第一眼看着还不错的那款。

品牌型号价格
UCTRONICSUltimate Rack 带 PoE 功能$190

评测:UCTRONICS Ultimate Rack

  • 评分:C+

这个机架只能说还行,算不上好。

就价格而言性价比还可以。树莓派 4 的 PoE 扩展板一般要 20 美元左右,买四个就已经值 80 美元了。再加上机架本身、四个 microSD 延长口、四个 HDMI 延长口、四个 OLED 小屏幕和四个风扇。

机架本身的做工一般。各个部件拼合得不太严实,HDMI 和 microSD 口周围有明显的缝隙。

UCTRONICS 的树莓派机架在 HDMI 和 microSD 口周围有很大的缝隙。

HDMI 口在架子上固定得也不牢。插 HDMI 线时,接口会弯曲、受力。我很担心哪天会被掰断。

PoE 会产生额外的热量,所以配个集成风扇是好事,但它们会发出持续的高频嗡嗡声。我把所有风扇都关掉了。没有风扇,树莓派可能会过热,但顶多就是 CPU 降频或关机,对我的业余项目来说不是什么大事。

说明书写得很烂。第一步是拧上 OLED 屏。好,没问题。第二步是拧上电源按钮。行,很简单。第三步是同时把剩下的五个部件一起组装起来。

UCTRONICS 树莓派机架的说明书难度骤增。

怎么选网线

如果你是把现有设备搬进机柜,很可能需要换一批新的网线。对于配线架,记得要买短的(6-12 英寸,约 15-30 厘米)跳线(有时也叫“跳接线”)来连接配线架和交换机。

你很可能需要混用几种不同长度的跳线。比如在我的机柜里,交换机的 16 号口离配线架的 16 号口只有 1.5 英寸(约 3.8 厘米),但交换机的 1 号口离对应的配线架端口却有 6 英寸(约 15 厘米)。

要考虑到交换机和配线架上不同端口之间的距离会因各自的端口布局而有所不同。

我买的网线长度是 6 英寸、12 英寸和 3 英尺(约 0.9 米),比例大约是 5:2:1。

有些人会很有创意,用不同颜色来区分不同功能。我比较无趣,就只用了蓝色和黑色的网线,因为在我看来它们看起来最标准、最规整。

怎么选光纤

双绞线、DAC 还是光纤?

如果你要搭的是 1 Gbps 网络,买普通的带 RJ45 接头的双绞线网线就完事了。

大多数网络用的都是带 RJ45 接头的普通双绞线网线。

如果要跑到 1 Gbps 以上,你就得在双绞线和光纤之间做选择。

用双绞线很简单。如果你要搭双绞线以太网,就买带 RJ45 口的网络设备,然后全都用标准的双绞线网线。轻松搞定!

用光纤的话,布线就复杂一些。

光纤网络设备上会有一个 SFP 或 SFP+ 口,但并不存在所谓的 SFP 或 SFP+ 线。你需要把 SFP/SFP+ 转换成别的东西。

我的交换机和 10G 网卡全都是 SFP+ 口,所以我知道连接的两端都必须是 SFP+。这意味着我的连接会是这样的:

  1. 交换机上的 SFP+ 口
  2. SFP+ 转其他接口的光模块
  3. 其他接口的线缆
  4. SFP+ 转其他接口的光模块
  5. 10G 网卡上的 SFP+ 口

我需要把 SFP+ 转成别的形式才能把两端连起来。可选的方案有:

  1. RJ45(双绞线)
  2. LC(光纤)
  3. DAC(铜缆直连)

连接还要经过配线架。我找到了以太网和光纤用的配线架模块,但没找到 DAC 用的。我到现在也不确定是根本没有 DAC 用的模块,还是有别的我没想到的走线方式。

这样一来,我的选项就只剩下 RJ45 或 LC 了。

双绞线 vs. 光纤

我没发现 RJ45 和 LC 在实际使用上有太多区别。LC 更细,所以我觉得视觉上更美观一些,但它意味着要和我其他全是双绞线的设备用不同类型的线。

让我惊讶的是双绞线和光纤在价格上的差异。SFP+ 转 RJ45 的光模块比 SFP+ 转光纤的贵得多,但双绞线线缆本身又比光纤线便宜。

我把所有费用算下来,光纤方案的总成本明显更低:

组件双绞线方案价格光纤方案价格
三个光模块(用于交换机、台式机和存储服务器)$150$60
一根 16 英尺(约 4.9 米)线缆(台式机到交换机)$9$15
一根 3 英尺(约 0.9 米)线缆(存储服务器到交换机)$7$10
两根 7 英寸(约 18 厘米)跳线$0*$30
四个配线架模块$0*$19
总计$163$134

* 这些实际上不需要额外花钱,因为我本来就要为交换机的其他端口买这些。

注意:如果用光纤,一定要确保线缆和光模块的“模式”兼容。单模光纤线不能和多模线缆或光模块混用。我建议搭建多模系统,因为它支持 10 Gbps 速率,而且比单模便宜得多。

我把所有买过的线缆都列在了下面的最终配置里。

我已有的设备

路由器:搭载 OPNsense 的 Qotom Q355G4

我家里的路由器是一台便宜的 Qotom Q355G4 小主机,跑的是 OPNsense 系统。它没有上架孔位,所以现在单独放在一块机柜层板上。

运行 OPNsense 防火墙的 Qotom Q355G4 迷你主机

无线接入点:Ruckus R310

我的接入点严格来说并不在机柜里,但它插在 PoE 交换机上。这是个不错的接入点,它允许我创建多个带不同 VLAN 标签的 Wi-Fi 网络,这样访客 Wi-Fi 可以上网,却访问不到我的其他设备。

我的 Ruckus R310 无线接入点

带外管理:TinyPilot Voyager 2a PoE

完全披露:TinyPilot 是我开发销售的产品。

我通常通过 SSH 或网页界面连接机柜里的设备。当需要重装系统、修改启动设置或修复网络配置时,我就需要在物理层面进行控制。

与其每次都要把键盘和显示器拖到机柜前,我可以在需要硬件级访问时直接插上 TinyPilot Voyager 2a:

我用 TinyPilot 通过浏览器对 homelab 服务器进行物理层面的访问。

软件测试:Dell Optiplex 7040 迷你主机

在开发 TinyPilot 时,我经常需要通过远程控制一台真实设备来测试新功能。这台 Dell 迷你主机就是一台很方便的测试机,因为我可以频繁地重启它或重装系统,而不会影响其他工作。

机柜里怎么布局?

选好机柜组件后,下一步就是考虑怎么摆放。我没找到关于布局的公认最佳实践,所以就按自己的逻辑来推理什么才合理。

为了规划布局,我用电子表格做了个示意图,并用不同颜色做了区分。这对思考该买多大的机柜也很有帮助。

我直接在电子表格里通过拖动色块来尝试不同的机柜布局。

重的设备放最下面

有一条大家都认同的规则:最重的设备放在最下面。

机柜里放了很多贵重设备。你肯定不希望它倒下来损坏设备,更不希望砸伤人。所以要让重心尽可能低,以保证稳定性。

我机柜里最重的设备毫无疑问是 UPS,重达 27 磅(约 12.2 公斤)。

配线架几乎没有重量,交换机也比较轻。出于这个原因,大多数机柜都会把这些组件放在最上面的两层。

前置接口的设备尽量挨在一起

直到把服务器搭起来我才意识到,把通过前面板接口连接的设备放在一起很重要。比如,我的配线架和交换机就放在相邻的机位上,否则网线就得跨过机柜里的其他设备。

后面的线不用太纠结

我看到的一些建议说,要尽量缩短电源线的长度,让布线更紧凑。我觉得没这个必要。

也许在数据中心里,把同一套配置复制几百份时,缩短线长确实重要。但在家用环境里,我实在看不出用 2 英尺(约 60 厘米)电源线和用 4 英尺(约 1.2 米)电源线有什么区别。

最终的机柜配置

组件型号价格满意度
机柜StarTech 4POSTRACK18U$316A
交换机(网管)TP-Link TL-SG3428X$299C+
交换机(PoE,非网管)Netgear GS116LP$139A
UPSCyberPower CP1500PFCRM2U$335A+
排插Tripp Lite RS-1215-RA$78B+
层板Pyle PLRSTN62U 19" 2U$64A
配线架(24 口)NewYork Cables 1U$19B+
配线架(16 口)Tripp Lite 1U$13A
树莓派机架UCTRONICS Ultimate Rack 带 PoE 功能$190C+
总计$1,453

还有这些小件:

组件价格
Cable Matters SFP+ 转 LC 多模光模块(2 只装)$40
Cat6 直通模块(25 只装)$23
光纤 LC 直通模块(5 只装)$19
12 英寸网线(10 根装)$19
6 英寸网线(25 根装)$34
16 英尺多模 LC 光纤线$14
3 英尺多模 LC 光纤线$10
8 英寸多模 LC 光纤跳线(5 根装)$30
NavePoint M6 笼式螺母$16

机柜的下一步计划

机架式服务器

你可能已经注意到,我的服务器机柜里唯独少了一个常见的东西:服务器。

我手头还有之前那台虚拟机服务器和存储服务器。下次升级时我会把它们迁移到机架式机箱里,但搭建机柜本身已经是个不小的工程了,所以这件事先往后放一放。

机柜有“盖子”吗?

我一直想找却没找到的东西,是机柜的“盖子”。我的机柜顶部就是一块空旷的开放空间。

我很想找一块能稳稳嵌进机柜顶部空隙的盖板,让我可以在上面放点东西。

如果你知道有什么解决方案,欢迎告诉我。

避坑指南:我踩过的坑

先测试 UPS 再上架

UPS 毫无疑问是机柜里最难安装的组件。我真不明白别人是怎么装的。它大小约等于半台窗式空调,但安装时需要一只手把它托得纹丝不动,另一只手去拧螺丝。最后我认定这必须两个人配合,才把妻子叫来帮忙。

你肯定不想费了半天劲把沉重的 UPS 装好,才发现它吵得要命。或者它本身就是坏的,结果装好后才发现。

买 UPS 前看看关于噪音的评价

有些 UPS 完全静音,有些则会持续发出噪音。如果 UPS 会放在离你不远的地方,一定要把噪音考虑进去。

留意退货政策

我以前在 Newegg 上从没见过“只换不退”的商品,所以想当然地以为如果不喜欢,UPS 也能退。

好在 Newegg 的客服很帮忙,还是给我退了款,但以后我会提前确认清楚。

只要有 PoE 设备,就买带 PoE 的交换机

现在,我的机柜里占了 2U 的交换机和 2U 的配线架,却只用了 44 个端口中的 11 个。

我后悔没有多花点时间去找一台既支持 PoE、又能保持静音的网管交换机。最理想的是有一台无风扇的网管交换机,其中至少 8 个口支持 PoE,至少 3 个口支持 10 Gbps。

笼式螺母本不该弄疼手

把设备装进机柜时,你需要用笼式螺钉和笼式螺母把它固定在机柜上。

我以为笼式螺母和我以前见过的所有螺母一样——用手在要固定的东西后面托住螺母,然后把螺钉拧进去。

我错误安装笼式螺母的方式

装了大概八个笼式螺母后,我开始咒骂到底是哪个蠢货会在一个需要用指尖捏住的东西上设计出这么锋利的边角。然后我才意识到,可能是我装错了。

提示:如果你在组装电脑硬件时发现自己要用很大力气、甚至感到疼,那很可能是你装错了。服务器设备都是按让不怎么健壮的中年 IT 人员也能轻松操作来设计的,所以不需要你有很好的体能。

笼式螺母的设计很巧妙,它可以直接卡进机柜。这样你就不需要在拧螺钉时还用手扶着螺母了。

正确安装笼式螺母的方法是让它从机柜立柱孔的背面卡进去。

别把配线架模块装反了

说出来有点丢人,但我在意识到正确装法之前,已经把配线架模块装反了两次。

现在知道了正确方法,再回头看之前自以为正确的装法,简直荒唐可笑,但毕竟这是我的第一个机柜嘛!

所以,我第一次是这么装的:

它卡得很紧,网线也能轻松插进去,所以我以为这就是对的。但几乎每次拔网线时,模块都会跟着被一起拔出来。

“肯定是我装反了,”我想。于是我改成从后面往里插。装进去更费劲了,但确实更牢固了。

尴尬的是,我有大约六个月都以为 RJ45 模块就该这么装。

我就这样用了六个月!

直到买了第二块配线架,摆弄那些模块时,我才发现还有另一种装法。

原来,顶部那个小卡扣不是装饰。卡到正确位置时会听到轻微的“咔嗒”声,正面应该与配线架面板大致齐平。

配线架模块应该与面板正面齐平,卡扣在背面卡到位。

如果主板识别不到 10G 网卡,试试换个 PCI 插槽

当我把 Mellanox 10G 网卡装进台式机时,Windows 完全识别不到。我试着重新插拔,结果还是一样。我试着下载最新驱动,但在设备管理器里根本看不到这块网卡。

最后,我在一个论坛帖子里看到有人说,把 Mellanox 卡换到另一个 PCI 插槽就好了。我在主板上换了个插槽试试,嘿!竟然真的好了。

我到现在也不明白为什么 PCI 插槽会有影响。按主板说明书的说法,两个 PCI 插槽应该是完全一样的,但一个能用,一个不能用。

别把 SFP+ 单模和多模光纤混用

我在 Windows 台式机上装好 Mellanox 网卡的第一天,一切正常。

大约 24 小时后,台式机的以太网连接突然开始每隔几秒就断开重连一次。我重启后,问题消失了。

一天后,问题又出现了。我试着把台式机的线直接连到交换机上,跳过配线架。问题解决了,这说明问题出在跳线或配线架模块上。

最后,我发现了问题:我的跳线是单模的,而系统的其他部分都是多模的。我甚至都不知道光纤还有不同“模式”之分,但显然是有的,而且它们互不兼容。

我的网络连接每隔 24 小时就陷入一次重置循环,就是因为我在单模光纤系统里误用了多模跳线。

我买了一套新的多模光纤跳线,问题就消失了。可惜的是,我发现问题时,距离那盒价值 70 美元的单模光纤跳线的退货期刚过了三天。

考虑买二手设备

这篇指南的一个盲点是,除了 10G 网卡之外,我没有考虑二手设备。

这倒不算是个“错误”,因为我是 consciously 决定买全新设备的,而且对这个选择很满意。我更看重时间而不是金钱,所以在 Newegg 这样的零售商那里找配件,比在 eBay、Facebook 或 Craigslist 这类二手市场上淘货要快得多。

如果你愿意多花点时间,买二手设备可以大幅降低机柜的成本。

有架子的生活

我对新机柜很满意,对这笔投资毫不后悔。它肯定比以前那种把各种基础设施零零散散堆在办公室各处的 setup 强多了。

现在,所有东西都集中在一个高效、有序的地方。当有客人来家里时,我看起来像个古怪的极客,而不是个线缆满地的邋遢怪人。

我低估了把 TinyPilot 放在所有设备旁边的好处(再次披露:TinyPilot 是我开发的产品)。搭机柜之前,我的 TinyPilot 一直放在书桌旁的地上。每次要用它去修服务器,都很麻烦:得先关掉 TinyPilot,拔掉一堆线,再到房间另一头重新接好,用完后又得全部拆掉重来。

现在所有设备都紧挨在一起,我可以轻松地把 TinyPilot 插到任何出问题的设备上,进行底层访问。这在很多场景下都派上了用场,比如研究如何在树莓派上安装 NixOS,以及把我的虚拟机服务器升级到最新版 Proxmox。

本文章由 muse-spark-1.2-contributor 进行翻译

评论