Building My First Homelab Server Rack

Michael Lynch

搭建我的第一个家庭实验室机架

七年前,我搭建了我的第一台家庭服务器。它让我的软件开发工作更快、更愉快,于是我越来越深入家庭服务器这个圈子。我又陆续搭建了一台定制存储服务器另一台开发服务器,还有一台专用防火墙。

某天,我妻子委婉地指出,我的办公室里堆满了难看的线缆。“什么?”我问,“这可是正常数量的线缆。”但随后我环顾四周,发现线缆确实有点多……

我办公室里一大堆线缆的照片我办公室里一大堆线缆的照片

仔细一看,我的办公室里线缆确实有点多

很多家庭服务器爱好者都会购买服务器机架,但我从没觉得自己是“机架党”。我对服务器的热爱还没到需要一整个机架的程度;我只是这里有一台虚拟机服务器,那里有一台数据服务器,也许还散落着几台交换机。买机架意味着承认自己不再只是个随意的家庭服务器玩家,而是一个狂热的 homelab 怪人。

有一天,我妥协了,买了一台机架,而且因此变得更好了。它让我的服务器用起来更舒心,也消灭了我那摊蔓延的线缆乱局。

我不想听你的人生故事——直接给我看机架

如果你想跳过解释直接看我的机架,请参见下文的最终配置

什么是 homelab?

“Homelab”是一个近十年来日益流行的口语化说法。

Homelab 是你家中一个可以摆弄通常只出现在办公室或数据中心里的 IT 软硬件的地方。你可以把它当作练习新职业技能的环境,也可以当作把玩酷炫技术的乐园。

为什么要在家里搭服务器机架?

如果你从未接触过服务器,可能会疑惑为什么会有人在家里放一堆服务器,甚至为它们建一个小小的神龛。

每个人玩 homelab 的理由各不相同,以下是我的理由:

  • 软件开发:我用一台专用服务器跑虚拟机,这样重启或升级主力工作站不会影响服务器上正在运行的东西。我可以轻松创建新的实验性虚拟机,而不影响其他项目。
  • 存储:让所有设备共享一个大容量存储,比为每台设备买大硬盘并把数据散落各处要方便得多。存储服务器使用 ZFS,即使硬盘损坏也能降低数据丢失的风险。
  • 网络:用开源软件自建路由器让我对网络有更多控制权,也让我摆脱了大多数消费级路由器上那些满是 bug 的软件。

为什么要写这篇指南?

新手写给新手

尽管我已经玩了几年 homelab,但这是我第一次搭建服务器机架,所以这是一篇入门级指南。

我读过的其他关于服务器机架的文章,读起来都像是某人在介绍自己的第 20 个机架。他们不解释如何选择组件,也不解释为什么否决了其他方案。他们做得太久了,决策已经成了无意识的动作。

因为这是我第一次搭建服务器机架,所以我免受知识的诅咒之苦。我会带你走一遍我第一次面对这个过程时的思路。

没有利益冲突

写这篇文章我没有拿任何人的钱,也没有收任何免费产品。我没有需要讨好的广告主,也没有需要维护的合作关系。

大多数 homelab 博客的一个令人不安的真相是,它们靠联盟链接(affiliate links)维持运营。也就是说,当读者通过文章中的链接购买产品时,作者会获得佣金。

使用联盟链接的作者仍然可以提供有价值的信息,一些最优秀的 homelab 博主也是这样资助自己工作的。尽管如此,联盟链接会在作者和读者之间制造利益冲突。如果商家按比例向作者支付佣金以换取产品链接,就会激励作者推荐昂贵的产品和劣质的商家。

我不是在标榜自己心地纯洁,也不是在谴责靠写作赚钱的人,只是我的激励与读者的利益更加一致。我写博客是出于虚荣心——我喜欢别人告诉我他们觉得我的文章有趣或有用。写下自己的思考过程也有助于我改进方法,并获得读者有用的反馈。

我的机架上确实有一台 TinyPilot,那是我创造的一款硬件设备,但这不影响我的其他选择。每次提到 TinyPilot 时我都会披露这层关系。

选择机架

如果你要搭建服务器机架,似乎第一件事就是选机架本身。其实没那么简单。

选机架是一个迭代的过程。在你不知道机架要装什么组件之前,无法决定买哪种机架;但了解市面上有哪些机架,也会反过来影响你买什么组件。

以下是我挑选服务器机架的过程:

  1. 随意浏览各种机架,对价格、功能和尺寸选项有个大致了解。
  2. 粗略列出我想放进机架的组件清单。
  3. 计算这些组件需要多少机架高度和深度。
  4. 缩小满足需求的机架范围。
  5. 重复步骤 2–4,直到做出最终决定。

需要多少个机架单位?

机架的容量以机架单位(RU)计量。1 个机架单位等于 1.75 英寸。机架尺寸通常表示为一个数字加 U,比如 8U 机架就有 8 个 RU,即 8 × 1.75" = 14 英寸的组件高度空间。

服务器机架以机架单位计尺寸,每个机架单位为 1.75 英寸。

如果一个组件设计为可上架安装,其高度会是机架单位的某个倍数。大多数网络交换机是 1U,电池备份通常是 2U,服务器一般是 2U。

你不想买太矮的机架导致组件放不下,但也不想要一个占用的垂直空间远超实际所需的巨大机架。

挑选组件时,把它们需要的机架单位数加起来。再根据未来几年想扩展多少留出一些余量。

需要多深?

服务器机架深度不一。大多数服务器机架是为企业级服务器设计的,那些服务器最长可达 50 英寸。

在我办公室里有一台 HP ProLiant DL380 G7 服务器,它是个大麻烦。它长 29 英寸,重 50 磅。安装它很痛苦,将来卖掉它也会很痛苦。

我的家庭办公室相对较小,我不想让机架式服务器占据整个空间。对于家用机架,我决定只选用足够浅、只需前部安装的组件。

我寻找深度至少 19 英寸的机架。这样我有足够的深度来安装机架搁板和前装式服务器机箱,又不会占用太多额外空间。

需要四柱还是两柱?

机架有两种样式:两柱或四柱。四柱机架上,组件可以同时固定在前部和后部。

如果你打算购买又长又重的服务器,肯定需要两端都固定。如果想节省空间,两柱机架可能就够了。

我只想要前装组件,所以两柱本可以应付,但四柱感觉更稳固一点,那就何乐不为呢。

需要轮子吗?

有些服务器机架带轮子,可以把整个结构推来推去。轮子对我来说是关键功能,因为我想方便地清理机架后面的灰尘。

候选机型

品牌型号最小深度立柱轮子高度价格
StarTech4POSTRACK18U22"418U$316
StarTech4POSTRACK15U22"415U$301
StarTech2POSTRACK1612"216U$165

15U 看起来够用了,但 18U 的价格相差无几,我心想不如多要那 3U 的空间。

评测:StarTech 4POSTRACK18U 18U 机架

  • 评级:A

这台机架用起来很不错。感觉很结实,轮子让它移动起来很容易。

组装很简单。从头到尾花了我大约两个半小时。一个小抱怨是所有零件都没有标签,不过我可以根据形状对照说明书把它们匹配上。

机架深度可调,我选择了最浅的深度:22 英寸。这个机架有一个设计缺陷:在最浅深度下,某些螺丝孔无法触及。我的解决办法是先把深度调大,拧上浅深度下够不到的位置的螺丝,再把深度调回来。

选择网络交换机

网络交换机成了整个机架中最难做的决定。

网络交换机的价格涨得很快,所以我不想花 300 美元买了之后还得再补一个组件或者日后更换。

你需要什么速度?

除非你要买非常特别的东西,机架式交换机可选的速度有:

  • 1 Gbps
  • 2.5 Gbps
  • 10 Gbps

我家用 1 Gbps 以太网已经十多年了,一直挺好。我的大部分工作都在线上进行,瓶颈几乎总是我的 ISP 而不是家庭网络。

最近我发现家庭存储服务器的瓶颈正是我的 1 Gbps 交换机,所以我对网络升级产生了兴趣。

鉴于我对 1 Gbps 一直很满意,我觉得 10 Gbps 是不必要的跨越。但我越读关于 2.5 Gbps 硬件的内容,看到的抱怨就越多,说它不稳定、不可靠。大家的共识似乎是,升级到 10 Gbps 和升级到 2.5 Gbps 的难度差不多,那还不如直接上 10 Gbps。

我确实遇到了麻烦,稍后会在下文详述。

注意:如果你看到一台 10 Gbps 交换机,检查有多少端口支持 10 Gbps。通常,一台 10 Gbps 交换机只有部分端口提供 10 Gbps 速度,其余都是 1 Gbps。

管理型还是非管理型网络交换机?

网络交换机有两种:管理型和非管理型。

  • 管理型交换机允许你为交换机配置规则和设置。想要管理型交换机最常见的原因是创建虚拟局域网(VLAN),以提高网络安全性。

  • 非管理型交换机没有任何配置。它们只是转发网络流量的“傻盒子”。连接到交换机的任何主机都可以向交换机上任何其他端口发送网络流量。

我原本想要一台普通的非管理型交换机。我从没用过管理型交换机,也不想多管一套配置。

结果发现,符合我条件的网络交换机没有一台是非管理型的,于是我就买了管理型的。拿到手之后,我发现给网络上不同设备划分 VLAN 挺好玩的。现在,我恨不得给一切都配上 VLAN!

PoE 还是标准以太网?

某些低功耗设备可以完全依靠以太网线提供的电力运行。这叫作以太网供电(PoE)

比如,我家里的 WiFi 接入点 Ruckus R310 支持 PoE,所以它只需要一根以太网线就能同时供电和联网。

我的 Ruckus R310 WiFi 接入点支持 PoE,所以只需要一根以太网线即可供电和传输数据。

要使用 PoE 设备,你需要一台支持 PoE 的网络交换机。

PoE 交换机的缺点是功耗更高、价格更贵。如果你买了 PoE 交换机却没有 PoE 设备,非 PoE 设备照样能用,但你是在为不需要的功能浪费金钱和电力。

需要多少个端口?

显然,你的交换机至少要有和有线网络设备一样多的端口。

更难的问题是,除了当前需求之外还要买多少个额外端口。答案取决于你对未来几年 homelab 发展的计划。

你可以以后再买额外的交换机,但如果买的是昂贵的交换机,你可不想几年后整台换掉。而且,明明当初可以买一台端口更多的交换机,你也不想在机架上再浪费 1U 的宝贵空间给另一台交换机。

我现在有八台带以太网口的设备,所以我找的是至少 16 口的交换机。

候选机型

品牌型号端口速度管理型PoE价格
TP-LinkTL-SG3428X244x10Gbps 24x1Gbps$299.00
MicrotikCRS328-24P-4S+RM284x10 Gbps SFP+ 24x1Gbps$490.50
TP-Link未命名的中国型号182x10 Gbps SFP+ 16 x 2.5 Gbps$499.90
TP-LinkT1600G-28TS244x10 Gbps SFP 24x1Gbps$299.00
TP-LinkT1600G-28PS244x10 Gbps SFP 24x1Gbps$295.99
TP-LinkT1700G-28TQ244x10 Gbps SFP 24x1Gbps$958.40

我以前用过 Microtik,而且很想喜欢它。它是一家小型独立硬件公司。有些人喜欢它那种怪异的 90 年代风格界面,但我觉得它令人困惑、难以导航。

我很想喜欢 Microtik,但实在过不了它那个怪异的 90 年代风格管理界面这一关

我用非管理型 TP-Link 交换机的体验很好,所以对这个品牌很有好感。

我差点就选了那台 16 x 2.5 Gbps 端口的 TP-Link 设备,但它只能从中国买到,而且似乎没有任何美国的安全或合规认证。我决定不冒这个险。

我也考虑过 TP-Link T1600G-28PS,它具备我喜欢 TL-SG3428X 的一切,而且还带 PoE。但我读到好几条评论说它的风扇很吵,我不想要一台吵闹的交换机。我最终选了 TL-SG3428X,心想反正我不需要 24 个 PoE 口,可以另买一台更便宜、安静的的非管理型 PoE 交换机。

评测:TP-Link TL-SG3428X

  • 评级:B-

总体来说,我对 TP-Link TL-SG3428X 交换机相当满意。它是静音的,这是个大加分项。可靠性方面没遇到任何问题。TP-Link 的网页管理界面体验很差,但对网络硬件来说这也算标准水平了。

我花了很长时间才搞明白怎么配置 VLAN。我见过其他品牌(如 QNAP)如何呈现 VLAN 控制界面,我认为它们做得比 TP-Link 好得多。

TP-Link 网页界面的这个页面显示了哪些端口属于 Guest VLAN,但我每次都要花几分钟才能想起怎么看懂这个界面。

评测:Netgear GS116LP 16 口非管理型 PoE 交换机

  • 评级:A

我的 PoE 设备只有寥寥几台,所以最初计划用一个放在架子上的小型 5 口 PoE 交换机来供电。去年年底,我开始为我办公室的搬迁做准备,决定把那里的 Netgear GS116LP 交换机挪过来用。

作为一台非管理型交换机,它能满足我的需求。它给我的设备供电,安装简单,而且是静音的。

回想起来,我应该更努力地找一台带 PoE 口的管理型交换机,而不是用两台独立的交换机。我会在下文详细说明。

选择 10G 网卡

如果你选了 10 Gbps 交换机,事情还没完。要达到 10 Gbps 速度,每台你想跑满 10 Gbps 的设备都需要一块 10G 网络接口控制器(NIC)。普通 1 Gbps 网卡接在 10 Gbps 交换机上也能用,但会被限制在 1 Gbps 以太网速度。

我为我的系统找 10G 网卡费了不少劲。首先,10G 网卡的市场几乎完全是企业级数据中心,每块要将近 1000 美元。我能找到 100 美元以下的二手网卡,但不得不翻遍论坛帖子,寻找别人购买不同二手网卡的经验报告。

折腾了一阵之后,我在 Windows 台式机上让一块 10G 网卡跑起来了,但在 TrueNAS 存储服务器上试了三块不同的网卡,没有一块能用。

  • Mellanox ConnextX-3 CX311A
    • 在我的 Windows 台式机上,活动指示灯不闪,Windows 在 PCI 插槽里什么都识别不到。
    • 我看到一个论坛帖子,有人提到换到主板上的另一个 PCI 插槽解决了问题。我半信半疑,结果真的管用。
    • 我的 TrueNAS 服务器完全识别不了它。
  • Chelsio T520-LL-CR
  • Chelsio Dual Port T520-CR

我最合理的猜测是我的 TrueNAS 服务器主板兼容性有限。它是一块消费级的 ASUS 主板,可能不支持这些面向企业的 10G 网卡。

我计划在未来几个月内搭建一台新的存储服务器,到时候我会换一块更好的主板,看看能不能用上我现在攒下的三块闲置 10G 网卡之一。

目前,我网络中唯一的 10 Gbps 链路位于我的 Windows 台式机和我的管理型交换机之间。如果需要在 TP-Link 那糟糕的网页界面上点一个复选框,我可以以风驰电掣的 10 Gbps 速度完成。

选择 UPS(电池备份)

住在曼哈顿时,我每年大约经历五次停电。都很短暂,但足以让我的电脑重启并丢失工作成果。

为了避免意外关机,我买了一套电池备份系统,也叫不间断电源(UPS)。那是一台 APC BR1500G,同一台电池备份我已经用了六年。

短时间停电时,电池让我免于任何停机。长时间停电时,电池给我足够的时间关闭系统,避免数据丢失。

电池备份的缺点是它给我的办公室增加了大量布线。我的台式机、服务器和路由器分布在办公室的不同角落,所以我得到处拉粗大难看的电源线。

优雅关机需要多少时间?

遇到长时间停电时,你需要足够的时间在 UPS 电池耗尽之前关闭系统。所需时间取决于 UPS 电池的大小以及所接系统的功耗。

理论上,我可以用我的 Kill A Watt 功率计测量每台设备在典型运行时的功率,然后据此挑选电池。我懒得做到那么严谨,就根据上一台 UPS 的指标做了估算。

我的 APC UPS 是 865 W 的,它在带动一台台式机、一台虚拟机服务器、一台存储服务器、一台防火墙和一台网络交换机时报称续航 12 分钟,所以我认为 800 W 是电池容量的合理下限。

需要能发送警报吗?

装好机架后,一位同事提到,大多数现代 UPS 可以向本地网络上的设备发送警报,通知它们优雅关机。

对我来说,用 UPS 自动化关机不值得折腾,但如果你的系统对硬断电更敏感,或者你所在地区停电更频繁,你可能会做不同的选择。

候选机型

品牌型号功率插座数价格
CyberPowerCP1500PFCRM2U1000 W8$335
Tripp LiteSMART1500LCD900 W8$298
CyberPowerCPS1500AVR950 W8$460

评测:CyberPower CP1500PFCRM2U

  • 评级:A

CyberPower 的 LCD 屏幕用户友好,并提供有用的功耗指标。你还可以关闭显示屏,让机架上少些闪烁的灯。

这台 UPS 在带动一台虚拟机服务器、一台存储服务器、一台防火墙和一台网络交换机时报称续航 30 分钟。这些系统在典型负载下的总功耗为 200 W。

CyberPower 提供 PowerPanel Business,这是一款用于控制 UPS 的免费管理工具。使用它需要通过 USB 线将电脑连接到 UPS。这种活儿本来很适合交给树莓派,可惜 CyberPower 不提供在 ARM 系统上安装 PowerPanel 的途径。

我给 CyberPower 的 UPS 管理软件打“还行”的分。

我摆弄了几分钟 PowerPanel,觉得还可以但没必要。其品质就是你对闭源、厂商专属硬件管理软件的预期。UPS 本身的物理按键对我来说已经够用了。

PowerPanel 可以在 UPS 断电时运行自定义脚本,所以理论上我可以自动化关闭机架上的设备,但在我的环境里不值得折腾。

更新(2024-04-07):几位读者推荐了 Network UPS Tools (NUT) 项目,这是专有 UPS 厂商软件的开源替代品。我还没测试过,但看起来挺有意思。

另一个优点是这台 UPS 是静音的。我原以为电池备份静音是天经地义的,事实证明并非如此……

评测:Tripp Lite SMART1500LCD

  • 评级:D

我为机架买的第一台 UPS 是 Tripp Lite SMART1500LCD,但它吵得离谱。

我甚至不知道电池备份还能。我的 APC UPS 除了断电切换到电池的时候之外都是静音的。

Tripp Lite 这台 UPS 不仅是我机架里最吵的东西,还是我整栋房子里最吵的东西。就好像办公室里永远开着一台吹风机。我妻子在一层楼之外的办公室里都能听到。

难道我只是碰到了一台次品? surely 一台 UPS 总不至于被设计成一直这么响吧?

我联系了 Tripp Lite 客服,附上了 UPS 发出噪音的视频。他们说这是正常工作状态。

我试着适应噪音,但它实在太让人分心了,第二天我就放弃了。

令我惊讶的是,Newegg 对这台 UPS 的退货政策是“仅换不退”。我一直觉得在 Newegg 退货很容易,所以事先根本没想到去查退货政策,但看来他们对这种 29 磅的重物要求更严格。

幸运的是,我好言好语地向 Newegg 客服申请退款,他们批准了,这也是我一直愿意回头光顾 Newegg 的又一个原因。

选择插线板

虽然我的机架上有一台带很多插座的 UPS,但我发现再配一个简单的插线板也很有用。

我机架上的某些组件并非必需品,停电时不必保持在线。

例如,我在机架里放了一个小 IoT 设备,用来监控太阳能板的发电情况。这个设备完全无关紧要,所以停电时它掉线我也无所谓。事实上,我更希望它掉线,因为我不想把宝贵的电池容量浪费在一个太阳能监控器上。

候选机型

说实话,插线板没什么激动人心的,所以我没怎么货比三家,只看了两款。

品牌型号插座数价格
Tripp LiteRS-1215-RA12$78
CyberPowerCPS1215RMS12$60

评测:Tripp Lite RS-1215-RA

  • 评级:B+

这个插线板表现不错。背面插座的间距足够宽,砖头式的电源适配器不会挡住相邻插座。

我机架上没有东西插前面板的插座,但偶尔当我有个设备想测试几个小时时,它们还挺有用。

评测:CyberPower CPS1215RMS

  • 评级:C

几年前我买过这个插线板,用于我工作办公室的机架。我的主要问题是插座间距太近。我在办公室插的很多东西都有宽大的电源砖,会占掉两个插座。

选择机架搁板

我已经有几件现有组件是从无机架时代带来的,计划放进机架,所以我至少需要 2U 的机架搁板来放置它们。

候选机型

品牌型号价格
PylePLRSTN62U 19" 2U$64 两块
StarTechCABSHELFV 2U 16"$88 两块

评测:Pyle PLRSTN62U 机架搁板

  • 评级:A

我从没听说过 Pyle 这个牌子,但这些搁板是我在网上找到的,用下来效果很好。

我把无法上架的组件放在两块 2U 的 Pyle 机架搁板上。

它们易于安装,价格合理,还有一条挡边防止组件滑落。

评测:StarTech CABSHELFV 2U 机架搁板

  • 评级:D

我最初买 StarTech 的搁板是因为 StarTech 在服务器圈子里口碑极好。

把它们装进机架时,我以为自己一定是误解了它们的用法。它们的底边有一条向下弯进下一个机架槽位的折边。

StarTech 搁板有一条朝下的折边,会打乱机架其余部分的布局。

这条向下的折边迫使你要么给每块 2U 搁板分配 3U 空间,要么把所有东西整体下移 0.5U。

我完全想不出这条折边有什么用途。如果它向上弯倒还说得通,那样可以防止搁板上的东西滑落,可为什么要向下弯?而且它看起来也没有给搁板提供任何结构支撑。

更新(2024-04-09):几位热心的读者指出,这条折边确实能提高搁板的结构强度,防止搁板向中间弯曲。

我翻遍了评论,看看有没有其他人谈论过这个奇怪的设计。其他评论者提到它时似乎并不介意。评论的语气大概是:“哦对,它会超出 2U 一点。无所谓啦。”

评论者承认 StarTech 的 2U 机架搁板占了 3U 空间,仍给出 4/5 分。

我实在无法理解怎么会有人接受一块占 3U 空间的 2U 搁板。我立刻退掉了,换成了 Pyle 的搁板。

选择配线架

这些年读 homelab 博客时,我注意到很多其他 homelab 爱好者在机架里集成了配线架。

终于到了搭建服务器机架的时候,我不得不问出那个萦绕心头已久的问题。

配线架到底是个什么东西?

逛配线架让我更加困惑了。不就是一排空位吗?意义何在?

直到我自己搭好机架,我才恍然大悟。简而言之,配线架让你杂乱的网络线缆留在机架后面而不是前面。

配线架通过把网络线缆引到机架后方,保持机架前面的整洁。

提示:我建议机架里的每台交换机旁边都配一个配线架。

候选机型

品牌型号价格
NewYork Cables24 口 1U$19
Tripp Lite16 口 1U$13

评测:NewYork Cables 24 口 1U 配线架

  • 评级:B+

归根结底,配线架就是一些金属和塑料,没什么做得好坏之分。但 NewYork 这款摸起来结实,装进机架也很顺当。

我选 NewYork 品牌配线架的原因之一,是有评论提到它背部有一根横杆可以帮助支撑以太网线。在我的机架里,这根横杆毫无作用。它离以太网口太近,起不到支撑作用,反正线缆似乎也不需要支撑。

我本以为配线架背部的横杆能帮我支撑以太网线,结果发现根本用不上。

我唯一的抱怨是端口标签。它们是塑料片下面塞纸条的做法,就像 90 年代座机电话上的快速拨号标签。其他配线架用的是小白板条,方便擦写重用,我更喜欢那种样式。

NewYork 配线架上的标签就像 90 年代座机电话上的快速拨号小标签。

评测:Tripp Lite 16 口 1U 配线架

  • 评级:A

和 NewYork Cables 的配线架一样,Tripp Lite 这款也没问题,但配线架本来就没什么值得兴奋的。

我喜欢它的标签是小块白板。我手头有白板笔,但笔尖太大,没法在那么窄的地方写字,于是我买了超细头白板笔,效果很好。

Tripp Lite 配线架配有小标签,可以用超细头白板笔书写。

选择树莓派机架支架

我经常用树莓派(一种小巧廉价的单板计算机)做职业和业余项目。

我见过树莓派的机架支架,觉得往机架里加一个会挺好玩的。我懒得货比三家挑 Pi 机架,就买了第一个看着还行的。

品牌型号价格
UCTRONICSUltimate Rack with PoE Functionality$190

评测:UCTRONICS Ultimate Rack

  • 评级:C+

这个机架支架还行,不算出色。

以它的价格来说还算划算。树莓派 4 的 PoE HAT 一般要 20 美元左右,四个 PoE HAT 就已经是 80 美元的价值了。此外你还得到了机架支架本身、四个 microSD 延长器、四个 HDMI 延长器、四个 OLED 屏幕和四个风扇。

机架支架本身的做工一般。零件之间咬合得不太好。HDMI 和 microSD 接口周围有明显缝隙。

UCTRONICS Pi 机架支架在 HDMI 和 microSD 接口周围有明显缝隙。

HDMI 接口在支架上也固定得不牢。插 HDMI 线时,接头会弯曲受力。我担心哪天它们会崩断。

PoE 会产生额外热量,所以自带集成风扇是好事,但风扇会发出持续的高频嗡嗡声。我把所有风扇都断了电。没有风扇树莓派可能会过热,但那只会导致 CPU 降频或关机,对我的业余项目来说不是什么大事。

说明书糟透了。第一步是把 OLED 拧上去。好吧,没问题。第二步是把电源按钮拧上去。当然,轻而易举。第三步是同时组装剩下的五个部件。

UCTRONICS Pi 机架支架的说明书难度陡增。

选择以太网线

如果你要把现有配置改造成服务器机架,很可能需要新的以太网线。对于配线架,记得买短的(6–12 英寸)线缆(有时叫“跳线”)来连接配线架和交换机。

你可能需要不同长度的跳线混搭。比如,在我的机架上,交换机的 16 号口距配线架的 16 号口只有 1.5 英寸,但交换机的 1 号口距对应的配线架端口有 6 英寸。

请注意,交换机和配线架端口之间的距离可能因各组件的端口布局而异。

我按大约 5:2:1 的比例买了 6 英寸、12 英寸和 3 英尺的以太网线。

有些人很有创意,买不同颜色的线代表不同功能。我很无聊,只用蓝色和黑色的以太网线,因为在我看来它们显得标准和正经。

选择光纤线缆

双绞线、DAC 还是光纤?

如果你搭建的是 1 Gbps 网络,买普通的带 RJ45 接头的双绞线以太网线就完事了。

大多数网络使用简单的带 RJ45 接头的双绞线以太网线。

如果要超过 1 Gbps 的速度,你就得在双绞线和光纤之间做选择。

用双绞线以太网线很简单。如果你的网络用双绞线以太网口,就买带 RJ45 口的网络设备,处处使用标准双绞线以太网线。轻松愉快!

用光纤的话,布线就复杂多了。

光纤网络设备会有 SFP 或 SFP+ 端口,但并不存在所谓的 SFP 或 SFP+ 线缆。你需要把 SFP/SFP+ 转换成别的东西。

我的网络交换机和 10G 网卡都有 SFP+ 端口,所以我知道连接必须以 SFP+ 开始和结束。这意味着我的连接会是这样的:

  1. 网络交换机上的 SFP+ 端口
  2. SFP+ 转某种东西的收发模块
  3. 某种东西线缆
  4. SFP+ 转某种东西的收发模块
  5. 10G 网卡上的 SFP+ 端口

我需要把 SFP+ 转换成别的介质来连接两端。选项有:

  1. RJ45(双绞线)
  2. LC(光纤)
  3. DAC(铜缆)

连接必须穿过我的配线架。我找到了以太网和光纤的配线模块,但没有 DAC 的。我至今不确定是不存在 DAC 的配线模块,还是有我没发现的某种穿配线架的办法。

这就把选项缩小到 RJ45 或 LC 了。

双绞线 vs. 光纤

我没找到 RJ45 和 LC 之间多少实际差异。LC 更细,所以我觉得它稍微好看一点,但它意味着与所有其他双绞线组件不同的线缆类型。

双绞线和光纤之间的价差让我吃惊。SFP+ 转 RJ45 收发模块比 SFP+ 转光纤贵得多,但双绞线线缆比光纤线缆便宜。

我把所有东西都算了一遍价,光纤的总成本明显更低:

组件双绞线价格光纤价格
三个收发模块(用于交换机、台式机和存储服务器)$150$60
一根 16 英尺线缆(台式机到交换机)$9$15
一根 3 英尺线缆(存储服务器到交换机)$7$10
两根 7 英寸跳线$0*$30
四个配线模块$0*$19
合计$163$134

* 这些实际上不会增加额外花费,因为我反正要为交换机上的其他端口买这些东西。

注意:如果你用光纤,确保线缆和收发模块的“模式”兼容。单模光纤线缆不能和多模线缆或收发模块混用。我建议搭建多模系统,因为它支持 10 Gbps 速度,而且比单模便宜得多。

我购买的所有线缆都列在下文

我已有的设备

路由器:Qotom Q355G4 运行 OPNsense

我的家用路由器是一台便宜的 Qotom Q355G4,运行 OPNsense。它没有机架支架,所以现在它待在自己的专用机架搁板上。

运行在 Qotom Q355G4 迷你主机上的 OPNsense 防火墙

WiFi 接入点:Ruckus R310

严格来说,我的接入点并不在机架里,但它插在 PoE 交换机上。这是个不错的接入点,它允许我创建多个带不同 VLAN 标签的 WiFi 网络,这样访客 WiFi 能上网却碰不到我的其他设备。

我的 Ruckus R310 WiFi 接入点

带外管理:TinyPilot Voyager 2a PoE

完整披露:TinyPilot 是我创造的、如今也在销售的产品。

我一般通过 SSH 或网页界面连接机架中的组件。但当我重装系统、修改启动设置或修复网络设置时,我需要物理层面的控制。

与其拖着键盘和显示器走到机架前,我可以在需要硬件级访问时插上我的 TinyPilot Voyager 2a:

我用 TinyPilot 通过浏览器获取 homelab 服务器的物理级访问权限。

软件测试:Dell Optiplex 7040 迷你主机

在做 TinyPilot 的开发工作时,我经常通过远程控制真实设备来测试新软件功能。这台 Dell 迷你主机是很趁手的测试设备,因为我可以频繁重启它或抹掉系统,而不影响任何其他工作。

如何在机架中排列组件?

选定机架组件后,下一步就是琢磨怎么布局。我找不到排列组件的公认最佳实践,所以就自己推理出了对我而言合理的方案。

为了规划布局,我用了一个电子表格并做了颜色标记。这对思考该买多大尺寸的机架也很有帮助。

我通过在电子表格里调换元素来考虑不同的机架布局。

把重的组件放在机架底部

有一条规则大家似乎都同意:把最重的组件装在底部。

机架里有不少昂贵的设备。你不希望它翻倒砸坏东西,更不希望砸伤人。所以,要让机架重心低,以最大化稳定性。

到目前为止,我机架里最重的组件是 UPS,重达 27 磅。

配线架几乎没重量,网络交换机也相当轻。正因如此,大多数服务器机架把这些组件放在机架顶部两个槽位。

让正面接口的组件彼此靠近

直到我搭好自己的服务器我才意识到,把通过正面端口连接的组件聚在一起很重要。比如,我的配线架和网络交换机放在相邻的机架槽位,否则以太网线就得横跨机架里的其他组件。

后面的线缆没那么重要

我读到的一些指南说要安排组件位置以尽量缩短电源线的长度。我看不出这有什么意义。

也许在数据中心里,同样的配置要复制几百遍,缩短线缆长度很重要。但在家庭环境里,用 2 英尺还是 4 英尺的电源线把服务器接到 UPS 上,我看不出区别。

我的最终机架配置

组件选择价格满意度
服务器机架StarTech 4POSTRACK18U$316A
网络交换机(管理型)TP-Link TL-SG3428X$299C+
网络交换机(PoE,非管理型)Netgear GS116LP$139A
UPSCyberPower CP1500PFCRM2U$335A+
插线板Tripp Lite RS-1215-RA$78B+
机架搁板Pyle PLRSTN62U 19" 2U$64A
配线架(24 口)NewYork Cables 1U$19B+
配线架(16 口)Tripp Lite 1U$13A
树莓派机架支架UCTRONICS Ultimate Rack with PoE Functionality$190C+
合计$1,453

以下是一些小件:

组件价格
Cable Matters SFP+ 转 LC 多模光纤收发模块(2 只装)$40
Cat6 keystone 对接头(25 只装)$23
光纤 LC 对接头(5 只装)$19
12 英寸以太网线(10 根装)$19
6 英寸以太网线(25 根装)$34
16 英尺光纤 LC 多模线缆$14
3 英尺光纤 LC 多模线缆$10
8 英寸光纤 LC 多模跳线(5 根装)$30
NavePoint M6 笼式螺母$16

机架的下一步计划

机架式服务器

你可能注意到,我的服务器机架明显缺了一个常见组件:服务器。

我无机架时代的虚拟机服务器和存储服务器还在。下次升级时我会把它们迁移到机架式机箱里,但因为搭建机架本身就是个足够大的工程,这项任务被我暂时搁置了。

我的机架有“帽子”吗?

我一直在徒劳地寻找的一样东西是机架的“帽子”。我的机架顶部只是一片开放空间。

我很想找到一个能牢牢嵌入机架顶部开放空间的盖子,让我能在上面放东西。

如果你知道解决方案,请告诉我。

避免我犯过的错误

上架前先测试 UPS

UPS 是目前为止最难装进机架的组件。我不明白人们是怎么做到的。它大约有窗式空调一半大小,但要安装它,你得一只手把它端得水平,另一只手拧螺丝。最后我认定这是两个人的活儿,把我妻子叫来增援了。

你不会想费尽千辛万苦装好一台沉重的 UPS,却发现它吵得难以忍受。也可能它干脆就是坏的,你不会想在装好之后才发现这一点。

查看 UPS 评论中的噪音投诉

有些 UPS 完全静音,有些则持续发出噪音。如果 UPS 会放在离你不远的地方,务必把噪音因素考虑进去。

查看退货政策

我以前从没在 Newegg 见过仅换不退的商品,所以理所当然地以为不喜欢就能退。

幸好 Newegg 客服很帮忙,接受了退货退款,但今后我会主动查清楚。

如果有任何 PoE 组件,就买支持 PoE 的交换机

目前,我有 2U 的网络交换机和 2U 的配线架,44 个端口里只用了 11 个。

我后悔当初没有多找找既支持 PoE 又安静运行的管理型交换机。我的理想配置是一台无风扇的管理型交换机,至少八个端口带 PoE,至少三个端口支持 10 Gbps 速度。

笼式螺母不该弄疼你

把组件装进机架时,你要用笼式螺丝和笼式螺母把它固定在机架上。

我以为笼式螺母和我见过的所有其他螺母一样——我把它捏在要拧入的东西背后,然后把螺丝拧进螺母。

我错误安装笼式螺母的方式

装了大约八个笼式螺母之后,我痛骂那个决定给一个需要我用指尖捏住的东西加上锐利边角的人愚蠢至极。然后我意识到自己可能做错了。

提示:如果你在组装计算机硬件时发现自己用了很大力气或感到身体疼痛,那你多半是做错了什么。服务器设备的设计初衷就是让中年发福的 IT 人员也能使用,所以你不需要顶级的体能。

笼式螺母的设计很巧妙:它们可以卡进机架。这样,把组件拧上机架时你就不必扶着螺母了。

正确安装笼式螺母的方法是让它从机架立柱孔的后面卡入。

不要把配线模块装反

接下来我要说得像个傻子了,但我把配线架模块装错了两次才搞明白正确的做法。

现在知道了正确方式之后,我以前以为正确的样子看起来荒谬可笑,可这毕竟是我的第一个机架!

所以,我的第一次尝试是这样的:

它装得很紧,插以太网线也很容易,所以我以为这就是对的。但几乎每次拔以太网线时,配线模块都会跟着弹出来。

“我一定是装反了,”我想。于是我从背面插入模块。插入更费劲了,但它们确实待得更牢。

尴尬的是,我以为 RJ45 配线模块就该这么用,足足用了六个月。

我就这么用了六个月!

直到我买了第二个配线架,摆弄了一下模块,才发现还有另一种装法。

原来顶部的小凸起不是装饰。当凸起咔哒一声卡进正确位置时,你会听到轻微的咔哒声。模块正面应该大致与配线架面板齐平。

配线模块应与配线架面板齐平,其卡扣在背面咔哒到位。

如果主板检测不到 10G 网卡,换个 PCI 插槽试试

我把 Mellanox 10G 网卡装进台式机时,Windows 完全检测不到它。我重新插拔了一次,结果相同。我试着下载最新驱动,Windows 的设备管理器里还是没有显示这块网卡。

最后,我偶然看到一个论坛帖子,有人报告说他们的 Mellanox 卡换到另一个 PCI 插槽后就能用了。我换了主板上的另一个 PCI 插槽,瞧!完美运行。

我至今不明白 PCI 插槽为什么会有影响。根据我主板的文档,两个 PCI 插槽 supposedly 完全相同,但一个能用,另一个不能用。

不要混用 SFP+ 多模和单模光纤线缆

我把 Mellanox 网卡装到 Windows 台式机上的第一天,一切正常。

大约 24 小时后,我台式机的以太网连接突然开始每隔几秒断开又重连。重启后问题消失了。

一天后,问题又出现了。我试着绕过配线架,把台式机的线缆直连到交换机。问题解决了,这就把故障范围缩小到了跳线或配线架模块。

终于,我发现了问题所在:我的跳线是单模的,而我系统的其余部分是多模的。我甚至不知道光纤线缆还有不同的“模式”,但 apparently 确实有,而且它们互不相容。

因为我不小心在单模光纤系统里用了多模跳线,我的网络连接每 24 小时就进入一次重置循环。

我买了一套新的多模光纤线缆,问题消失了。不幸的是,我发现问题时,我那盒 70 美元的单模光纤线缆的退货期已经过了三天。

考虑二手设备

这篇指南的一个盲点是,除了 10G 网卡之外,我没有探索二手设备。

买全新设备并不算什么“错误”,因为我是有意为之,并且对这个选择很满意。我优先考虑的是时间而非金钱,在 Newegg 这类零售商那里搜索组件比在 eBay、Facebook 或 craigslist 这类二手市场上快得多。

如果你愿意多投入一点时间,通过淘二手设备可以大幅降低机架的成本。

我与机架的生活

我对新机架很满意,对这笔投资毫无悔意。它绝对胜过我过去那种基础设施零碎散落在办公室各处的老配置。

现在,一切都集中在一个高效、整洁的位置。人们来我家做客时,我看起来像个古怪的极客,而不是一个满地线缆的邋遢怪人。

我低估了让 TinyPilot 与所有设备物理相邻有多爽(再次披露:TinyPilot 是我创造的产品)。有机架之前,我把 TinyPilot 放在书桌旁的地板上。用它排查服务器问题的摩擦很大:我得先关掉 TinyPilot,拔掉一堆线,把它挪到房间另一头重新接好,用完后再全部复原。

现在一切都在触手可及之处,我可以轻松地把 TinyPilot 快速插到任何不听话的设备上进行底层访问。它在诸如研究如何在树莓派上安装 NixOS 以及把我的虚拟机服务器升级到最新版 Proxmox 之类的事情上都派上了用场。

原文由 Michael Lynch 发布

本文章由 stealth/ox-alpha 进行翻译