Building My First Homelab Server Rack

Michael Lynch

打造我的第一座 Homelab 機櫃

原文由 Michael Lynch 發布,訂閱此部落格

七年前,我打造了我的第一台家用伺服器。它讓我的軟體開發工作變得更快、也更有樂趣,於是我愈來愈投入家用伺服器的世界。我又打造了一台客製化的儲存伺服器另一台開發用伺服器,以及一台專用的防火牆。

有天,我太太委婉地指出,我的辦公室塞滿了雜亂的線材。「蛤?」我說:「這線的數量很正常啊。」但環顧四周後,我才發現,線好像真的有點多……

我辦公室裡大量線材的照片我辦公室裡大量線材的照片

仔細一看,我的辦公室裡線真的有點多

很多家用伺服器愛好者會買機櫃,但我從不覺得自己是會用機櫃的人。我又沒有那麼沉迷伺服器,需要用到整座機櫃;我只是這裡放一台 VM 伺服器、那裡放一台資料伺服器,再散落幾台交換器而已。買機櫃就等於承認,我不只是個隨便玩玩家用伺服器的人,而是個重度的 homelab 怪咖。

有一天,我還是妥協買了一座機櫃,而且很慶幸自己這麼做了。它讓伺服器用起來更順手,也徹底解決了滿地蔓延的線材亂象。

我不想聽你的人生故事——直接給我看機櫃

如果你想跳過解說直接看成果,請見下方我的最終配置

什麼是 homelab?

「Homelab」是過去十年來愈來愈常見的俗稱。

Homelab 是你在家中打造的一個空間,讓你可以實驗那些平常只會在辦公室或資料中心看到的 IT 硬體與軟體。你可以把它當作練習專業新技能的實驗環境,也可以單純當作把玩酷炫科技的地方。

為什麼要在家裡組一座伺服器機櫃?

如果你從沒接觸過伺服器,可能會好奇為什麼有人要在家裡放一堆伺服器,更別說還為它們蓋一座小神龕。

每個人投入 homelab 的理由都不同,以下是我的原因:

  • 軟體開發:我用一台專門跑虛擬機器的伺服器,這樣重開或升級我的主力工作站時,就不會影響伺服器上跑的東西。我可以輕鬆建立新的實驗用 VM,而不會干擾其他專案。
  • 儲存:與其為每台裝置都買大容量硬碟、把資料散得到處都是,不如擁有一座所有裝置都能共享的大容量儲存空間來得方便。儲存伺服器使用 ZFS,即使硬碟壞掉也能降低資料遺失的風險。
  • 網路:用開源軟體自己打造路由器,讓我對網路有更多掌控,也不用受限於大多數家用路由器那充滿 bug 的軟體。

為什麼要寫這篇指南?

寫給新手的新手指南

雖然過去幾年我一直在玩 homelab,但這是我第一次組伺服器機櫃,所以這是一篇入門等級的指南。

我讀過的其他機櫃文章,讀起來都像是在講解他們的第 20 座機櫃。他們不會解釋自己怎麼挑零件、為什麼淘汰其他選項。做太久了,很多決定都變成無意識的了。

因為這是我第一次組伺服器機櫃,我沒有知識的詛咒。我會帶你走一遍我第一次摸索這個過程的做法。

沒有利益衝突

我沒有收任何人的錢,也沒有拿免費產品來寫這篇文章。我沒有需要討好的廣告主,也沒有要維持的合作關係。

多數 homelab 部落格有個令人不太舒服的事實:它們靠聯盟行銷連結來賺錢。意思是當讀者透過文章中的連結購買產品時,作者就能抽佣。

作者即使使用聯盟連結,還是能提供有價值的資訊,有些最優秀的 homelab 部落客就是這樣支撐創作的。儘管如此,聯盟連結還是在作者與讀者之間造成了利益衝突。如果廠商按比例付佣金給作者來推廣產品,作者就會有誘因去推薦更貴的產品和較差的商家。

我不是要標榜自己心地純潔,也不是要譴責靠寫作賺錢的人,只是我的誘因和讀者比較一致。我寫部落格是出於虛榮心——我喜歡聽到別人說我的文章有趣或有用。把思考過程寫下來也能幫我改進做法,並引來讀者有用的回饋。

我的機櫃裡確實有一台 TinyPilot,那是我打造的硬體裝置,但它並不影響我的其他選擇。每當提到 TinyPilot,我都會揭露我和它的關係。

挑選機櫃

如果你要組伺服器機櫃,直覺上會覺得第一件事就是挑機櫃本身。但事情沒那麼簡單。

挑機櫃是一個反覆推敲的過程。在你不知道機櫃要裝哪些零件之前,就無法決定要買哪種機櫃。但了解市面上有哪些機櫃,也會影響你要買哪些零件。

以下是我挑選機櫃的流程:

  1. 隨意瀏覽機櫃,對價格、功能和尺寸選項有個大致概念。
  2. 粗略列出想放進機櫃的零件清單。
  3. 計算這些零件需要多少機櫃高度與深度。
  4. 篩選出符合需求的機櫃清單。
  5. 重複步驟 2 到 4,直到做出最終決定。

需要幾 U?

機櫃的容量以機櫃單位(RU)來計算。1U 是 1.75 吋。你通常會看到機櫃以數字加 U 來標示,例如 8U 機櫃就是有 8 個 RU,也就是 8 x 1.75 吋 = 14 吋的可用高度。

伺服器機櫃以機櫃單位計算,每 1U 為 1.75 吋。

如果某個零件是設計來上機櫃的,它的高度會是 U 的倍數。大多數網路交換器是 1U,不斷電系統通常是 2U,伺服器則多為 2U。

你不會想買太矮的機櫃導致零件放不下,但也不會想買一座巨大、占掉比你實際會用到還多的垂直空間的機櫃。

挑零件時,把它們需要的 U 數加起來。然後根據未來幾年想擴充的幅度,預留一些緩衝空間。

需要多深?

伺服器機櫃的深度各不相同。大多數機櫃是為企業級伺服器設計的,深度可達 50 吋。

在公司,我的辦公室有一台 HP ProLiant DL380 G7 伺服器,非常麻煩。它長 29 吋、重 50 磅。安裝時很費事,將來要賣掉時也很費事。

我的居家辦公室不算大,我不想讓機櫃伺服器占據整個空間。所以我的家用機櫃決定只挑淺到只需要前面固定的零件。

我找深度至少 19 吋的機櫃。這樣既有足夠深度安裝層板和前掛式伺服器機箱,又不會占太多額外空間。

需要四柱還是兩柱?

機櫃有兩種樣式:兩柱式與四柱式。在四柱式機櫃上,你可以同時在前面和後面固定零件。

如果你打算買又長又重的伺服器,肯定需要前後兩端都固定。如果你想盡量省空間,兩柱式機櫃或許就夠了。

我只想要前掛式零件,所以用兩柱式也夠,但四柱式感覺更穩固,想想何樂而不為。

需要輪子嗎?

有些伺服器機櫃配有輪子,可以移動整座機櫃。輪子對我來說是關鍵功能,因為我想輕鬆清理機櫃後方。

候選名單

品牌型號最小深度支柱輪子高度價格
StarTech4POSTRACK18U22"418U$316
StarTech4POSTRACK15U22"415U$301
StarTech2POSTRACK1612"216U$165

15U 感覺已經夠用,但 18U 的價格非常接近,我想乾脆多拿 3U 的空間。

評測:StarTech 4POSTRACK18U 18U 機櫃

  • 評分:A

這座機櫃表現很好。感覺很穩固,輪子也讓移動變得很輕鬆。

組裝很直觀。從頭到尾大概花了我兩個半小時。一個小缺點是零件都沒有標示,不過我還是能靠形狀對照說明書找到對應零件。

這座機櫃的深度可調,我選了最淺的 22 吋。機櫃有個設計瑕疵,就是在最淺深度時,有些螺絲孔會被擋住鎖不到。我的解法是先把深度調大,鎖好那些在淺深度時鎖不到的位置,再把深度調回來。

挑選網路交換器

網路交換器最後成了整座機櫃中最難的決定。

網路交換器的價格很容易飆高,所以我不想花 300 美元買了東西,結果還得另外加購零件或沒多久就得換掉。

需要什麼速度?

除非你要買非常特殊的產品,否則機櫃型交換器可選的速度有:

  • 1 Gbps
  • 2.5 Gbps
  • 10 Gbps

過去十多年來,我家裡都是 1 Gbps 的乙太網路速度,一直都夠用。我大部分工作都在線上完成,所以瓶頸幾乎都是 ISP,而不是家裡的網路。

最近我發現,家用儲存伺服器的瓶頸就在我的 1 Gbps 交換器上,所以開始想升級網路。

既然 1 Gbps 一直都讓我滿意,我原本覺得跳到 10 Gbps 有點太大了。但愈深入研究 2.5 Gbps 的硬體,就看到愈多抱怨說它不穩定、不可靠。普遍的共識似乎是,升級到 10 Gbps 和 2.5 Gbps 一樣費事,倒不如直上 10 Gbps。

我確實遇到了一些麻煩,稍後會再細說

注意:如果你看到一台標榜 10 Gbps 的交換器,要確認有多少埠真的支援 10 Gbps。通常只有部分埠是 10 Gbps,其餘仍是 1 Gbps。

要網管型還是非網管型交換器?

網路交換器有兩種:網管型與非網管型。

  • 網管型交換器讓你可以設定交換器的規則與組態。你會想要網管型交換器最常見的原因,是為了建立虛擬網路(VLAN)來提升網路安全性。

  • 非網管型交換器無法設定。它們只是單純轉送網路流量的笨盒子。任何連到交換器的主機都可以把流量送到交換器上的任何其他埠。

我本來想要一台單純的非網管型交換器。我從沒用過網管型交換器,也不想多管額外的設定。

結果發現,符合我條件的交換器沒有一台是非網管型的,所以我最後還是買了網管型。入手之後,才發現為網路上不同裝置設定 VLAN 還滿好玩的。現在我什麼都想上 VLAN!

要 PoE 還是一般乙太網路?

某些低功耗裝置可以完全靠乙太網路線供電,這就是乙太網路供電(PoE)

例如,我家裡的 WiFi 無線基地台 Ruckus R310 就支援 PoE,所以只需要一條乙太網路線就能同時供電與連網。

我的 Ruckus R310 WiFi 無線基地台支援 PoE,只需一條乙太網路線就能同時傳輸電力與資料。

要使用 PoE 裝置,你需要一台支援 PoE 的網路交換器。

PoE 交換器的缺點是更耗電、也更貴。如果你買了 PoE 交換器卻沒有 PoE 裝置,非 PoE 裝置還是能用,但就等於在不需要的功能上浪費錢和電。

需要幾個埠?

顯然,你的交換器至少要有和你有線網路裝置一樣多的埠。

比較難的問題是,要在現有需求之外多買幾個埠。答案取決於你未來幾年打算如何擴充 homelab。

你之後可以再加買交換器,但如果你買的是一台昂貴的交換器,你不會想過幾年就整台換掉。你也不會想為了多加一台交換器而浪費機櫃上 1U 的空間,明明當初買一台埠數更多的交換器就能解決。

我目前有八個有乙太網路埠的裝置,所以我找至少有 16 埠的交換器。

候選名單

品牌型號埠數速度網管PoE價格
TP-LinkTL-SG3428X244x10Gbps 24x1Gbps$299.00
MicrotikCRS328-24P-4S+RM284x10 Gbps SFP+ 24x1Gbps$490.50
TP-LinkUnnamed Chinese Model182x10 Gbps SFP+ 16 x 2.5 Gbps$499.90
TP-LinkT1600G-28TS244x10 Gbps SFP 24x1Gbps$299.00
TP-LinkT1600G-28PS244x10 Gbps SFP 24x1Gbps$295.99
TP-LinkT1700G-28TQ244x10 Gbps SFP 24x1Gbps$958.40

我以前試過 Microtik,很想喜歡它們。它們是一家小型的獨立硬體公司。有些人很愛它們那種 90 年代風格的介面,但我覺得很難懂、很難操作。

我很想喜歡 Microtik,但就是無法接受它們那種 90 年代風格的管理介面

我用非網管型的 TP-Link 交換器經驗很好,所以對這個品牌有信心。

我差點就選了那台 16 個 2.5 Gbps 埠的 TP-Link 機種,但它只能從中國出貨,而且似乎沒有任何美國安全或合規認證。我決定不冒這個險。

我也考慮過 TP-Link T1600G-28PS,它具備我喜歡的 TL-SG3428X 的所有優點,多了 PoE。但我看到好幾篇評論說它的風扇很吵,而我不想要一台吵雜的交換器。我最後選了 TL-SG3428X,心想反正可以另外買一台便宜、安靜的非網管型 PoE 交換器,因為我也不需要 24 個 PoE 埠。

評測:TP-Link TL-SG3428X

  • 評分:B-

整體來說,我還算喜歡 TP-Link TL-SG3428X 這台交換器。它很安靜,這點很加分。可靠性方面也沒出過問題。我對 TP-Link 網頁管理介面的體驗很差,但這在網路設備中算是常態。

我花了很久才搞懂如何設定 VLAN。我看過其他像 QNAP 這樣品牌呈現 VLAN 控制的方式,我覺得它們做得比 TP-Link 好太多了。

TP-Link 網頁介面上的這一頁顯示了哪些埠是 Guest VLAN 的成員,但我每次都要花幾分鐘才想起來怎麼解讀這個畫面。

評測:Netgear GS116LP 16 埠非網管型 PoE 交換器

  • 評分:A

我只有少數幾台 PoE 裝置,所以本來打算用一台放在層板上的小型 5 埠 PoE 交換器來供電。去年底,我開始為搬離工作室做準備,就決定把那裡的 Netgear GS116LP 交換器搬回來用。

作為一台非網管型交換器,它正好符合我的需求。它能為裝置供電、安裝簡單,而且很安靜。

回頭看,我應該更努力找一台有 PoE 埠的網管型交換器,而不是用兩台獨立的交換器。稍後會再詳述

挑選 10G 網路卡

如果你選了 10 Gbps 交換器,工作還沒結束。要達到 10 Gbps 的速度,你想跑 10 Gbps 的每台裝置都需要一張 10G 網路介面卡(NIC)。一般的 1 Gbps 網卡還是能跟 10 Gbps 交換器搭配使用,但速度會被限制在 1 Gbps。

要找到適合我系統的 10G 網卡非常困難。首先,10G 網卡的市場幾乎都是企業級資料中心,所以一張就要將近 1000 美元。我有找到 100 美元以下的二手網卡,但得在論壇上到處翻文,看別人回報買了哪些二手網卡能用。

我在 Windows 桌機上折騰了一下就讓 10G 網卡動起來了,但在 TrueNAS 儲存伺服器上試了三張不同的網卡都失敗了。

  • Mellanox ConnextX-3 CX311A
    • 在我的 Windows 桌機上,指示燈沒閃,Windows 也完全沒在 PCI 插槽上偵測到任何東西。
    • 我找到一篇論壇文章,有人提到換到主機板上另一個 PCI 插槽就解決了。我半信半疑地試了,結果真的好了。
    • 我的 TrueNAS 伺服器完全抓不到它。
  • Chelsio T520-LL-CR
  • Chelsio Dual Port T520-CR

我猜最有可能的原因是 TrueNAS 伺服器主機板的相容性有限。它是消費級的 ASUS 主機板,所以可能不支援這些企業導向的 10G 網卡。

我打算在未來幾個月內組一台新的儲存伺服器,到時候會試試看更高階的主機板,看能不能讓我手上這三張閒置的 10G 網卡派上用場。

目前,我的網路中唯一一條 10 Gbps 連線是在我的 Windows 桌機和網管型交換器之間。如果我需要在 TP-Link 那難用的網頁介面上點個選項,現在可以用飆速 10 Gbps 來完成。

挑選不斷電系統(UPS、備用電池)

住在曼哈頓時,我一年會遇到大約五次停電。每次都很短暫,但都足以讓電腦重開、讓我丟失工作成果。

為了避免無預警關機,我買了一套備用電池系統,也就是不斷電系統(UPS)。那是一台 APC BR1500G,我已經用了六年。

遇到短暫停電時,電池能讓我完全不斷線;遇到長時間停電,電池也能給我足夠時間把系統關機,避免資料遺失。

備用電池的缺點是讓我的辦公室多了很多線。我的桌機、伺服器和路由器分別在辦公室的不同角落,所以得拉一堆又粗又難看的電源線。

優雅關機需要多少時間?

遇到長時間停電時,你需要在 UPS 電池耗盡前有足夠時間把系統關機。需要多少時間,取決於 UPS 電池的大小以及接在上面系統的耗電量。

理論上,我可以用Kill A Watt 電力計去量每台裝置在平常運作時的瓦數,再以此去挑電池。但我懶得做得那麼嚴謹,所以就根據舊 UPS 的數據來估算。

我的 APC UPS 電池是 865W,在同時供電給一台桌機、一台 VM 伺服器、一台儲存伺服器、一台防火牆和一台網路交換器時,它顯示還有 12 分鐘的續航力,所以我想 800W 會是電池容量的合理下限。

需要發送警報嗎?

組好機櫃後,有位同事提到,大多數現代 UPS 都能在區域網路內發送警報,通知裝置優雅地關機。

對我來說,讓 UPS 自動關機不值得費那個功夫,但如果你的系統對強制斷電更敏感,或你住的地方更常停電,你可能會做出不同的選擇。

候選名單

品牌型號功率插座數價格
CyberPowerCP1500PFCRM2U1000 W8$335
Tripp LiteSMART1500LCD900 W8$298
CyberPowerCPS1500AVR950 W8$460

評測:CyberPower CP1500PFCRM2U

  • 評分:A

CyberPower 的 LCD 顯示器很人性化,也提供了實用的耗電資訊。你也可以把螢幕關掉,讓機櫃少一些閃爍的燈號。

這台 UPS 在同時供電給一台 VM 伺服器、一台儲存伺服器、一台防火牆和一台網路交換器時,顯示還有 30 分鐘的續航力。所有系統在一般負載下的總耗電量是 200W。

CyberPower 有提供PowerPanel Business,一套免費的 UPS 管理工具。要使用它,你需要透過 USB 線把電腦接到 UPS。這種東西用樹莓派來跑再適合不過,但很可惜 CyberPower 並沒有提供在 ARM 系統上安裝 PowerPanel 的方式。

我給 CyberPower 的 UPS 管理軟體評價是「還可以」。

我玩了幾分鐘 PowerPanel,覺得還可以,但沒必要。品質就是你對封閉原始碼、廠商專屬硬體管理軟體的預期。UPS 本體上的實體按鍵對我來說就夠用了。

PowerPanel 可以在 UPS 斷電時執行自訂腳本,所以理論上我可以自動化機櫃內裝置的關機,但在我的環境中不值得這麼做。

更新(2024-04-07):有幾位讀者推薦了 Network UPS Tools(NUT)專案,這是專有 UPS 廠商軟體的開源替代方案。我還沒試過,但看起來很有趣。

另一個優點是這台 UPS 很安靜,我本來以為備用電池安靜是理所當然的,但後來發現並非如此……

評測:Tripp Lite SMART1500LCD

  • 評分:D

我為機櫃買的第一台 UPS 是 Tripp Lite SMART1500LCD,但它吵得要命。

我完全沒想過備用電池也吵。我的 APC UPS 除了在斷電切換到電池時,平常都是安靜無聲的。

Tripp Lite 這台 UPS 不只是機櫃裡最吵的東西,更是全家最吵的東西。就像辦公室裡一直有一台吹風機在運轉。我太太在樓上的辦公室都聽得到。

是我剛好拿到機王嗎?UPS 應該不可能設計成一直這麼吵吧?

我帶著 UPS 噪音的影片聯繫了 Tripp Lite 客服。他們說這是正常現象。

我試著習慣這個噪音,但兩天後就受不了放棄了。

讓我驚訝的是,Newegg 對這台 UPS 的退貨政策是「僅能換貨」。我以前在 Newegg 退貨都很順利,所以事先根本沒想過要看退貨政策,但看來他們對這種 29 磅重的商品管得比較嚴。

幸好,我客氣地向 Newegg 客服要求退款,他們還是同意了,這也是我一直回頭在 Newegg 買東西的原因。

挑選電源延長線

雖然我的機櫃有一台有很多插座的 UPS,但我覺得另外有一條簡單的延長線也很有用。

機櫃裡有些零件是非必要的,不需要在停電時保持運作。

例如,我在機櫃裡放了一台小小的 IoT 裝置,用來監測太陽能板的效能。那個裝置完全是額外的,停電時離線也沒關係。事實上,我反而希望它離線,因為我不想把有限的電池電量浪費在太陽能監測器上。

候選名單

說實話,延長線沒什麼好挑的,所以我沒有貨比三家。只看了兩款。

品牌型號插座數價格
Tripp LiteRS-1215-RA12$78
CyberPowerCPS1215RMS12$60

評測:Tripp Lite RS-1215-RA

  • 評分:B+

這條延長線表現不錯。後面的插座間距夠寬,變壓器型的插頭不會擋到旁邊的插座。

機櫃裡沒有東西插在前面的插座上,但我偶爾覺得它們很有用,當我有想短暫測試幾小時的裝置時。

評測:CyberPower CPS1215RMS

  • 評分:C

這條延長線是我幾年前為公司辦公室的機櫃買的。我主要的不滿是插座靠得太近。我在辦公室插的很多東西都是寬大的變壓器,會占掉兩個插座。

挑選機櫃層板

我在組機櫃之前就已經有幾個現有的零件打算放進機櫃,所以至少需要 2U 的機櫃層板來放這些零件。

候選名單

品牌型號價格
PylePLRSTN62U 19" 2U$64 兩入
StarTechCABSHELFV 2U 16"$88 兩入

評測:Pyle PLRSTN62U 機櫃層板

  • 評分:A

我以前沒聽過 Pyle 這個品牌,但在網路上找到這款層板,用起來效果很好。

我把無法上機櫃的零件放在兩個 2U 的 Pyle 層板上。

它們安裝簡單、價格合理,而且有擋板可以防止零件從層板上滑落。

評測:StarTech CABSHELFV 2U 機櫃層板

  • 評分:D

我本來買了 StarTech 的層板,因為 StarTech 在伺服器領域有很好的名聲。

當我把它們裝進機櫃時,我還以為自己搞錯了用法。它們底部有個向下彎折的擋板,會卡到下一個機櫃單位。

StarTech 層板有個向下彎的擋板,會搞亂整個機櫃的配置。

這個向下的擋板迫使你必須為每個 2U 層板分配 3U 空間,或是把所有東西往下挪 0.5U。

我完全想不通這個擋板的用途。如果它是向上彎,還能防止層板上的東西滑落,但為什麼要向下彎?看起來也不像是為了提供結構支撐。

更新(2024-04-09):幾位熱心的讀者指出,這個擋板確實能提升層板的結構強度,防止層板中間彎曲。

我到處翻評論,看有沒有其他人在討論這個層板奇怪的設計。其他評論者提到時,語氣都像是:「喔,對,它會比 2U 多占一點。算了啦。」

評論者承認 StarTech 的 2U 層板實際上占了 3U 空間,卻還是給了 4 顆星。

我無法理解為什麼有人能接受一個 2U 層板占掉 3U 空間。我馬上把它們退掉,改買了 Pyle 的層板。

挑選跳線面板

多年來讀 homelab 部落格時,我注意到很多 homelab 玩家都會在機櫃裡整合跳線面板。

終於要組自己的伺服器機櫃時,我不得不問那個放在心裡很久的問題。

跳線面板到底是什麼?

到處看跳線面板時,我反而更困惑了。它不就是一排空的孔位嗎?有什麼用?

直到我組好機櫃,這個概念才真正讓我搞懂。簡單來說,跳線面板能把雜亂的網路線藏到機櫃後方,而不是堆在前面。

跳線面板透過將網路線導向機櫃後方,讓機櫃正面保持整潔。

小技巧:我建議在機櫃裡的每台交換器旁邊都配一塊跳線面板。

候選名單

品牌型號價格
NewYork Cables24 埠 1U$19
Tripp Lite16 埠 1U$13

評測:NewYork Cables 24 埠 1U 跳線面板

  • 評分:B+

說到底,跳線面板就是一塊金屬加塑膠,沒什麼好壞之分。但 NewYork 這款感覺很紮實,裝進機櫃也很牢固。

我選 NewYork 這個品牌的原因之一,是看到評論提到後方有根支撐條可以幫忙支撐乙太網路線。在我的機櫃裡,那根支撐條完全沒派上用場。它離乙太網路埠太近,起不了支撐作用,而且線材本來也不需要支撐。

我以為跳線面板後方的支撐條能幫忙支撐乙太網路線,結果發現根本不需要。

我唯一抱怨的是埠位標籤。它們是像 90 年代市話快速撥號那種、壓在塑膠片下的小紙條。其他跳線面板用的是可擦拭的小白板條,我比較喜歡那種,而不是紙條。

NewYork 跳線面板上的標籤,就像 90 年代市話上的快速撥號小紙條。

評測:Tripp Lite 16 埠 1U 跳線面板

  • 評分:A

和 NewYork 的跳線面板一樣,Tripp Lite 這款也沒什麼好挑剔的,但跳線面板本來就沒什麼好讓人興奮的。

我喜歡它的標籤是小白板。我手邊本來就有白板筆,但筆頭太大,寫不進那麼窄的空間,所以我買了極細白板筆,用起來效果很好。

Tripp Lite 跳線面板上是可以用極細白板筆書寫的小標籤。

挑選樹莓派機櫃支架

我在專業和興趣專案中都很常用樹莓派這款小巧、便宜的單板電腦。

我看過樹莓派的機櫃支架,覺得放在機櫃裡應該很有趣。我懶得貨比三家,就直接買了第一個看起來還不錯的。

品牌型號價格
UCTRONICSUltimate Rack with PoE Functionality$190

評測:UCTRONICS Ultimate Rack

  • 評分:C+

這個機櫃支架普普通通,不算好也不算差。

以價格來說還算划算。樹莓派 4 的 PoE 擴充板一般就要 20 美元左右,光是四片 PoE 擴充板就已經值 80 美元了。再加上機櫃支架本身、四個 microSD 延長線、四個 HDMI 延長線、四個 OLED 螢幕和四個風扇。

支架本身的做工普通。零件之間密合度不太好。HDMI 和 microSD 埠周圍有明顯的縫隙。

UCTRONICS 的 Pi 機櫃支架在 HDMI 和 microSD 埠周圍有明顯的縫隙。

HDMI 埠固定得很差。插上 HDMI 線時,接頭會彎曲、受力。我很擔心哪天會直接斷掉。

PoE 會產生額外的熱量,所以有內建風扇是好事,但它們會發出持續的高頻嗡嗡聲。我把所有風扇都關掉了。沒有風扇,Pi 可能會過熱,但也只是 CPU 降頻或關機,對我的興趣專案來說不是什麼大問題。

說明書寫得很爛。第一步是鎖上 OLED。好,沒問題。第二步是鎖上電源按鈕。行,簡單。第三步是要你同時把剩下五個零件組起來。

UCTRONICS Pi 機櫃支架的說明書難度急速上升。

挑選乙太網路線

如果你是要把現有配置改裝成伺服器機櫃,很可能需要新的乙太網路線。別忘了,為了跳線面板,要買短的(6 到 12 吋)網路線(有時稱為「跳線」)來連接跳線面板和交換器。

你很可能會需要混用不同長度的跳線。例如,在我的機櫃裡,交換器上的第 16 埠離跳線面板上的第 16 埠只有 1.5 吋,但交換器上的第 1 埠離它對應的跳線面板埠卻有 6 吋。

要考慮到交換器和跳線面板上不同埠之間的距離,會因各自的埠位配置而有所不同。

我買了 6 吋、12 吋和 3 呎的乙太網路線,比例大約是 5:2:1。

有些人很有創意,會買不同顏色來代表不同功能。我很無聊,就只用藍色和黑色的網路線,因為在我看來它們看起來最標準、最正式。

挑選光纖線

雙絞線、DAC 還是光纖?

如果你要組的是 1 Gbps 網路,買一般的 RJ45 接頭雙絞線乙太網路線就好,不用想太多。

大多數網路使用簡單的 RJ45 接頭雙絞線乙太網路線。

如果你要超過 1 Gbps 的速度,就得在雙絞線和光纖之間做選擇。

用雙絞線乙太網路線很簡單。如果你要用雙絞線乙太網路埠來組網路,就買有 RJ45 埠的網路設備,然後全部都用標準的雙絞線乙太網路線。輕鬆搞定!

用光纖的話,佈線就比較複雜。

光纖網路設備上會有 SFP 或 SFP+ 埠,但世界上沒有所謂的 SFP 或 SFP+ 線。你需要把 SFP/SFP+ 轉成別的東西。

我的網路交換器和 10G 網卡全都是 SFP+ 埠,所以我知道連線的兩端都必須是 SFP+。也就是說,我的連線會長這樣:

  1. 網路交換器上的 SFP+ 埠
  2. SFP+ 轉某種接頭的收發器
  3. 某種線材
  4. SFP+ 轉某種接頭的收發器
  5. 10G 網卡上的 SFP+ 埠

我需要把 SFP+ 轉成別的東西來連接兩端。可選的有:

  1. RJ45(雙絞線)
  2. LC(光纖)
  3. DAC(銅線)

這條連線得經過我的跳線面板。我找到了乙太網路和光纖用的跳線面板卡扣,但 DAC 用的怎麼找都找不到。我到現在還不確定是根本沒有 DAC 用的光纖卡扣,還是我漏掉了某種讓它穿過跳線面板的方法。

這讓我的選項只剩下 RJ45 或 LC。

雙絞線 vs. 光纖

我找不到 RJ45 和 LC 之間太多實務上的差異。LC 比較細,所以我覺得視覺上比較好看,但它代表要多一種不同於其他零件的線材,而其他零件都是雙絞線。

我很驚訝雙絞線和光纖之間的價差。SFP+ 轉 RJ45 的收發器比 SFP+ 轉光纖的貴很多,但雙絞線比光纖便宜。

全部算下來,光纖的總成本明顯較低:

零件雙絞線價格光纖價格
三個收發器(給交換器、桌機和儲存伺服器)$150$60
一條 16 呎線材(桌機到交換器)$9$15
一條 3 呎線材(儲存伺服器到交換器)$7$10
兩條 7 吋跳線$0*$30
四個跳線面板卡扣$0*$19
總計$163$134

* 這些實際上不需要額外花錢,因為我本來就為了交換器上的其他埠買了這些。

注意:如果你用光纖,要確保你的線材和收發器的「模式」相容。你不能把單模光纖線和多模線材或收發器混用。我建議組多模系統,因為它支援 10 Gbps 速度,而且比單模便宜很多。

我把所有買的線材都列在下方

我本來就有的東西

路由器:搭載 OPNsense 的 Qotom Q355G4

我的家用路由器是一台便宜的 Qotom Q355G4,跑的是 OPNsense。它沒有機櫃套件,所以現在住在自己專屬的層板上。

我在 Qotom Q355G4 迷你電腦上跑的 OPNsense 防火牆

WiFi 無線基地台:Ruckus R310

我的無線基地台嚴格來說不住在機櫃裡,但它插在我的 PoE 交換器上。它是一台不錯的基地台,讓我可以建立多個帶有不同 VLAN 標籤的 WiFi 網路,所以訪客 WiFi 可以上網,卻連不到我的其他裝置。

我的 Ruckus R310 WiFi 無線基地台

帶外管理:TinyPilot Voyager 2a PoE

完整揭露:TinyPilot 是我打造販售的產品。

一般來說,我都是透過 SSH 或網頁介面連到機櫃裡的零件。當我需要重灌作業系統、更改開機設定或修正網路設定時,就需要在實體層面操作。

與其每次都要把鍵盤和螢幕拖到機櫃旁,我可以在需要硬體層級存取時直接插上我的 TinyPilot Voyager 2a:

我用 TinyPilot 透過瀏覽器取得 homelab 伺服器的實體層級存取權。

軟體測試:Dell Optiplex 7040 迷你電腦

在 TinyPilot 的開發工作中,我經常透過遠端控制一台實體裝置來測試新軟體功能。這台 Dell 迷你電腦是個方便的測試裝置,因為我可以頻繁重開或重灌作業系統,而不會影響其他工作。

該怎麼擺放機櫃裡的零件?

選好機櫃零件後,下一步就是思考怎麼配置。我找不到擺放零件的既定最佳做法,所以就靠自己的邏輯來推敲。

為了規劃配置,我用了試算表並加上顏色標示。這在思考要買多大機櫃時也很有幫助。

我用試算表交換元件來嘗試不同的機櫃配置。

把重的零件放在機櫃底部

有一條大家都認同的規則:把最重的零件裝在最下面。

機櫃裡有很多昂貴的設備。你不會想讓它傾倒、弄壞東西,更糟的是弄傷人。所以你會想讓重心盡量低,以提升穩定性。

我機櫃裡最重的零件,無疑是那台重達 27 磅的 UPS。

跳線面板幾乎沒有重量,網路交換器也相當輕。基於這個原因,大多數伺服器機櫃都會把這些零件放在機櫃最上面的兩個位置。

把前面有接孔的零件盡量靠在一起

直到我組好伺服器才發現,把透過前面板埠連接的零件集中在一起很重要。例如,我的跳線面板和網路交換器就放在相鄰的機櫃位置,因為否則乙太網路線就得跨過機櫃裡的其他零件。

後面的線就沒那麼重要

我讀過的一些建議說要這樣擺放零件,才能讓電源線盡量短。我覺得沒必要。

也許在資料中心裡,把同樣的配置複製上百次時,最短化線長很重要。但在家用環境中,我看不出用 2 呎電源線把伺服器接到 UPS 和用 4 呎電源線有什麼差別。

我的最終機櫃配置

零件選擇價格滿意度
伺服器機櫃StarTech 4POSTRACK18U$316A
網路交換器(網管型)TP-Link TL-SG3428X$299C+
網路交換器(PoE、非網管型)Netgear GS116LP$139A
UPSCyberPower CP1500PFCRM2U$335A+
電源延長線Tripp Lite RS-1215-RA$78B+
機櫃層板Pyle PLRSTN62U 19" 2U$64A
跳線面板(24 埠)NewYork Cables 1U$19B+
跳線面板(16 埠)Tripp Lite 1U$13A
樹莓派機櫃支架UCTRONICS Ultimate Rack with PoE Functionality$190C+
總計$1,453

以下是其他小東西:

零件價格
Cable Matters SFP+ 轉 LC 多模光纖收發器(2 入)$40
Cat6 直通對接頭(25 入)$23
光纖 LC 對接頭(5 入)$19
12 吋乙太網路線(10 入)$19
6 吋乙太網路線(25 入)$34
16 呎多模光纖 LC 線$14
3 呎多模光纖 LC 線$10
8 吋多模光纖 LC 跳線(5 入)$30
NavePoint M6 笼式螺帽$16

機櫃的下一步

上機櫃的伺服器

你可能已經注意到,我的伺服器機櫃裡明顯少了一個常見的零件:伺服器。

我還是留著組機櫃前的 VM 和儲存伺服器。下次升級時我會把它們遷移到機櫃型機箱,但因為組機櫃本身已經是個不小的專案,所以這件事就先擱著了。

機櫃有沒有上蓋?

我一直在找卻找不到的東西之一,就是機櫃的「帽子」。我的機櫃頂部就是一片開放空間。

我很想找到一個能穩固卡進機櫃頂部開放空間、讓我可以在上面置物的上蓋。

如果你知道解法,請告訴我。

避免我犯過的錯誤

先測試 UPS 再上機櫃

UPS 是機櫃裡最難安裝的零件,沒有之一。我不懂大家是怎麼裝的。它大概只有窗型冷氣的一半大,但要安裝時,你得一手把它平穩托住,另一手去鎖螺絲。我最後認定這是需要兩個人做的工作,於是把太太叫來幫忙。

你不會想費了九牛二虎之力把沉重的 UPS 裝上去,才發現它吵到讓人無法忍受。或者它根本就是台壞掉的機器,而你卻是在裝好之後才發現。

查看 UPS 評價中有沒有噪音抱怨

有些 UPS 完全安靜,有些則會持續發出噪音。如果 UPS 會放在離你不遠的地方,請把噪音納入考量。

確認退貨政策

我在 Newegg 上從沒看過只能換貨不能退貨的商品,所以理所當然地以為不喜歡 UPS 也能退。

幸好 Newegg 客服很幫忙,同意讓我退款,但以後我會先主動確認。

如果有任何 PoE 裝置,就買支援 PoE 的交換器

目前,我的機櫃裡有 2U 的網路交換器和 2U 的跳線面板,卻只用了 44 個埠中的 11 個。

我很後悔沒有多花點時間找一台在保持安靜運作的同時還支援 PoE 的網管型交換器。我理想的是一台無風扇的網管型交換器,至少有八個埠支援 PoE,至少有三個埠支援 10 Gbps。

籠式螺帽本來不該讓你受傷

當你把零件裝進機櫃時,是用籠式螺絲和籠式螺帽固定到機櫃上的。

我以為籠式螺帽和其他螺帽一樣——把它按在要鎖的東西後面,然後把螺絲鎖進螺帽裡。

我錯誤安裝籠式螺帽的方式

裝了大約八個籠式螺帽後,我開始咒罵到底是哪個天才決定在一個需要用指尖用力擠壓的東西上做尖角。然後我才意識到可能是我做錯了。

小技巧:如果你在組電腦硬體時發現自己要用很大力氣或感到疼痛,那你很可能是做錯了。伺服器設備是設計給身材走樣、體能普通的中年 IT 人員用的,所以不需要絕佳的體能也能操作。

籠式螺帽有個巧妙的設計,就是它們會卡進機櫃裡。這樣一來,你在把零件鎖進機櫃時,就不需要用手扶著螺帽。

正確安裝籠式螺帽的方式,是讓它從機櫃支柱孔位後方卡進去。

別把跳線面板的卡扣裝反了

接下來我要說的會讓我聽起來像個笨蛋,但我在發現正確做法之前,跳線面板的卡扣就裝錯了兩次。

現在看到正確的做法,當初以為對的方式看起來就很荒謬,但這畢竟是我的第一座機櫃!

所以,我第一次是這樣裝的:

它卡得很緊,插乙太網路線也很輕鬆,所以我以為這樣是對的。但幾乎每次拔掉乙太網路線時,卡扣都會跟著一起被拔出來。

「我一定是裝反了,」我想。於是我從後面把卡扣插進去。雖然比較難塞進去,但它們固定得比較牢。

很丟臉的是,我有長達六個月都以為 RJ45 跳線卡扣就該這樣裝。

我就這樣放了六個月!

直到我買了第二塊跳線面板並試著擺弄卡扣時,才發現有不同的方法。

原來,上面的小缺口不是裝飾用的。當缺口卡到正確位置時,你會聽到輕輕的喀嚓聲。正面應該要和跳線面板的前緣大致切齊。

跳線卡扣應該和跳線面板的表面切齊,卡榫會在後方喀嚓扣住。

如果主機板抓不到 10G 網卡,換個 PCI 插槽試試

當我把 Mellanox 10G 網卡插進桌機時,Windows 完全偵測不到。我試著重插,結果還是一樣。我試著下載最新的驅動程式,但 Windows 在裝置管理員裡完全沒顯示這張網卡。

最後,我偶然看到一篇論壇文章,有人回報把 Mellanox 網卡換到不同的 PCI 插槽就好了。我在主機板上換了另一個 PCI 插槽試試,嘿!居然就正常了。

我到現在還是不懂為什麼 PCI 插槽會有差。根據主機板的手冊,兩個 PCI 插槽應該是一樣的,但一個能用,一個不能。

別混用 SFP+ 多模與單模光纖線

我在 Windows 桌機上裝好 Mellanox 網卡的第一天,一切都很正常。

大約 24 小時後,桌機的乙太網路連線突然開始每隔幾秒就斷線重連。我重開機後,問題就消失了。

一天後,問題又出現了。我試著把桌機的線直接接到交換器,跳過跳線面板。這樣就修好了,代表問題出在跳線或跳線面板的卡扣上。

最後,我發現了原因:我的跳線是單模的,而系統其他部分都是多模的。我根本不知道光纖線還有分不同的「模式」,但顯然是有區別的,而且它們不能混用。

我的網路連線每 24 小時就進入重連循環,是因為我在單模光纖系統中不小心用了多模跳線。

我買了一組新的多模光纖線,問題就解決了。可惜的是,我發現問題時,已經超過那盒 70 美元單模光纖線的退貨期限三天了。

考慮二手設備

這篇指南的一個盲點是,除了 10G 網卡之外,我沒有考慮二手設備。

這不完全算是「錯誤」,因為我是刻意買全新設備的,而且對這個選擇很滿意。我以時間為優先,而不是省錢,對我來說在 Newegg 這類零售商搜尋零件,比在 eBay、Facebook 或 Craigslist 這類二手市集上找要快得多。

如果你願意多花一點時間,透過尋找二手設備可以大幅降低機櫃的成本。

有了機櫃之後的生活

我很滿意我的新機櫃,對這筆投資毫不後悔。它絕對比以前把基礎設施零零散散放在辦公室各處要好。

現在,所有東西都集中在一個高效、有條理的位置。當有人來我家時,我看起來像個古怪的宅客,而不是一個線材散落各處的邋遢怪人。

我低估了把 TinyPilot 放在離所有裝置都很近的地方有多方便(再次揭露:TinyPilot 是我打造的產品)。在有機櫃之前,我都把 TinyPilot 放在書桌旁的地板上。每次要用它來修伺服器問題都很麻煩:我得先把 TinyPilot 關機、拔掉一堆線、在房間另一頭重新接好,用完後再全部復原一次。

現在所有東西都在隔壁,要快速把 TinyPilot 插到任何出問題的裝置上以取得底層存取權就變得非常容易。在像是搞懂如何在樹莓派上安裝 NixOS,以及把我的 VM 伺服器升級到最新版 Proxmox 這類事情上,它都派上了用場。

本文章由 muse-spark-1.2-contributor 進行翻譯

留言