Card PCIe (CEM form factor)¶
Trang này trình bày các tiêu chuẩn cơ khí và điện của card mở rộng PCI Express (add-in card) ở góc nhìn thiết kế board: kích thước card và các ký hiệu FHFL, FHHL, HHHL, bracket, edge connector theo độ rộng link, cấp nguồn qua slot và qua đầu nguồn phụ, tản nhiệt, cách đọc ký hiệu slot trong datasheet server và danh sách kiểm tra khi thiết kế card. Thứ tự đi từ hình dạng bên ngoài của card vào tới connector và nguồn.
Trang chỉ xét card như một tấm mạch in lắp vào slot. Giao thức PCIe (lớp transaction, data link, physical) và SerDes thuộc tab Chip & SoC, driver PCIe trong Linux thuộc tab Linux Kernel, còn layout cặp vi sai của lane PCIe nằm ở trang Cặp vi sai trên PCB (xem mục Liên quan).
Đặc tả CEM¶
Kích thước card, connector và mức công suất được quy định trong PCI Express Card Electromechanical Specification (CEM) của tổ chức PCI-SIG. CEM tách khỏi đặc tả giao thức (PCI Express Base Specification): Base quy định tín hiệu và giao thức, còn CEM quy định hình dạng card, vị trí bracket, edge connector, sơ đồ chân và công suất cấp qua slot. Mỗi thế hệ PCIe có một bản CEM đi kèm. Bản CEM 5.1 bổ sung đầu nguồn phụ 12V-2x6 và nâng tổng công suất tối đa của một card lên 675 W (igor'sLAB).
Đặc tả CEM chỉ cung cấp cho thành viên PCI-SIG. Số liệu trong trang này lấy từ nguồn thứ cấp liệt kê ở mục Tài liệu tham khảo; khi thiết kế sản phẩm cần đối chiếu với bản CEM đúng thế hệ.
Cấu tạo một card¶
Một card PCIe gồm tấm PCB mang linh kiện, bracket kim loại bắt vào khung máy, edge connector mạ vàng (gold finger) cắm vào slot trên mainboard, và tùy công suất có thêm đầu nguồn phụ và bộ tản nhiệt. Connector I/O như RJ45, lồng SFP hoặc cổng video nằm trên cạnh gắn bracket và đi xuyên qua bracket ra mặt sau máy.
Edge connector có một rãnh định vị (key notch) chia thành đoạn ngắn và đoạn dài. Đoạn ngắn chứa chân nguồn và các tín hiệu sideband (tín hiệu phụ ngoài các lane dữ liệu, ví dụ reset và SMBus), đoạn dài chứa các cặp vi sai TX/RX của từng lane và clock tham chiếu (Altium). Rãnh nằm ở cùng vị trí trên mọi độ rộng link, nên card hẹp vẫn cắm được vào slot rộng hơn.
Ký hiệu kích thước¶
Kích thước card được mô tả bằng hai thông số độc lập: chiều cao và chiều dài. Chiều cao có hai mức, full-height (FH) và low-profile, trong đó low-profile thường được gọi là half-height (HH). Chiều dài có hai mức chính, full-length (FL) và half-length (HL). Ghép hai thông số cho ra các ký hiệu thường gặp trong datasheet: FHFL, FHHL và HHHL.
Các giá trị trong bảng là kích thước tối đa của PCB. Card ngắn hơn giới hạn vẫn được xếp vào nhóm tương ứng; ví dụ một card dài 120 mm và cao 68 mm là card HHHL.
| Ký hiệu | Chiều cao tối đa | Chiều dài tối đa | Bracket đi kèm | Ứng dụng thường gặp |
|---|---|---|---|---|
| FHFL | 111,15 mm | 312,00 mm | Full-height | GPU, accelerator, card FPGA lớn |
| FHHL | 111,15 mm | 167,65 mm | Full-height | NIC tốc độ cao, card RAID, card FPGA |
| HHHL (low-profile) | 68,90 mm | 167,65 mm | Low-profile | NIC, HBA, SSD dạng card trong server 1U và 2U |
Các giá trị chiều cao và chiều dài lấy theo cnblogs và vocus; Thomas-Krenn ghi các giá trị làm tròn tương ứng là khoảng 111 mm, 167 mm và 311 mm.
Card low-profile được chia tiếp theo chiều dài thành MD1 (ngắn) và MD2 (dài tối đa 167,65 mm). Với card PCI song song (conventional PCI), National Instruments ghi card low-profile MD1 dài 119,91 mm, MD2 dài 167,64 mm và cao tối đa 64,41 mm tính cả edge connector (NI). Chiều cao low-profile của PCI (64,41 mm) và của PCIe (68,90 mm) vì vậy không trùng nhau, và các bảng tổng hợp trên mạng thường lẫn hai giá trị này.
Todo
Đối chiếu với bản CEM: chiều cao 111,15 mm và 68,90 mm được đo từ mốc nào (cạnh dưới gold finger hay mặt phẳng tiếp xúc của slot), chiều dài MD1 của card PCIe, và độ dày tối đa của card một slot.
Bracket và độ dày card¶
Bracket có hai loại theo chiều cao: full-height khoảng 120 mm và low-profile khoảng 79,2 mm (Thomas-Krenn). Bracket cao hơn PCB vì phần trên gập lại thành tai bắt vít vào khung máy và phần dưới kéo dài thành lưỡi cài vào khe trên vỏ. Nhiều card low-profile được bán kèm cả hai loại bracket để lắp được vào cả máy full-height lẫn máy low-profile; khi đó chỉ thay bracket, PCB giữ nguyên.
Theo chiều vuông góc với mặt PCB, mỗi slot cho phép card chiếm một bề dày nhất định, bằng khoảng cách giữa hai slot liền kề trên mainboard. Card có bộ tản nhiệt lớn (GPU, accelerator) chiếm bề dày của hai hoặc ba slot, gọi là card dual-slot hoặc triple-slot, và che mất slot bên cạnh. Khi chọn card cho một khung máy cần kiểm tra cả ba thông số: chiều cao, chiều dài và số slot chiếm chỗ.
Edge connector và độ rộng link¶
Số chân của edge connector tăng theo số lane. Bảng dưới liệt kê số chân và chiều dài connector theo độ rộng link.
| Độ rộng | Tổng số chân | Số chân mỗi mặt | Chiều dài connector |
|---|---|---|---|
| x1 | 36 | 18 | khoảng 25 mm |
| x4 | 64 | 32 | khoảng 39 mm |
| x8 | 98 | 49 | khoảng 56 mm |
| x16 | 164 | 82 | khoảng 89 mm |
Số chân lấy theo TechOverflow, chiều dài lấy theo Profesional Review. Giá trị chiều dài của x4 và x8 mới chỉ có một nguồn thứ cấp, chưa đối chiếu với bản CEM.
Độ rộng cơ khí của slot và độ rộng điện (số lane thực sự được nối) có thể khác nhau. Mainboard thường dùng slot cơ khí x16 nhưng chỉ nối 8 hoặc 4 lane, ký hiệu dạng "x16 (x8 electrical)" (TechSpot). Khi card và slot có độ rộng khác nhau, link được thiết lập ở độ rộng lớn nhất mà cả hai bên cùng hỗ trợ; ví dụ card x16 cắm vào slot nối 8 lane sẽ hoạt động ở x8 với băng thông giảm một nửa. Một số slot hẹp có đầu hở (open-ended) để cắm được card dài hơn, phần gold finger thừa nằm ngoài slot.
Cấp nguồn¶
Card nhận nguồn từ slot qua các ray +3,3 V và +12 V (cùng ray +3,3 V aux dùng khi máy ở trạng thái chờ), và khi cần công suất lớn hơn thì nhận thêm từ đầu nguồn phụ nối trực tiếp với bộ nguồn. Slot x16 cấp tối đa 75 W, gồm 3 A trên ray +3,3 V và 5,5 A trên ray +12 V (Intel ATX 3.0).
Công suất tối đa qua slot phụ thuộc vào độ rộng và kích thước card. Các nguồn thứ cấp thống nhất ở các mức sau: card x1 bị giới hạn 10 W khi vừa cấp nguồn và được phép lên 25 W sau khi hệ thống cấu hình nó là thiết bị công suất cao; card đồ họa x16 full-height bị giới hạn 25 W khi vừa cấp nguồn và 75 W sau khi cấu hình. Giới hạn cho card low-profile x4, x8 và x16 không thống nhất giữa các nguồn đã tìm.
Todo
Kiểm chứng bảng giới hạn công suất theo độ rộng và kích thước card (x1, x4/x8, x16; full-height và low-profile; lúc khởi động và sau khi cấu hình) với bản CEM. Các giá trị 10 W, 25 W và 75 W ở đoạn trên mới có nguồn thứ cấp.
Bảng dưới liệt kê các đầu nguồn phụ dùng cho card PCIe theo cách phân loại trong hướng dẫn thiết kế ATX 3.0 của Intel.
| Đầu nguồn phụ | Công suất tối đa | Ghi chú |
|---|---|---|
| 2x3 (6 chân) | 75 W | |
| 2x4 (8 chân) | 150 W | |
| 12V-2x6 (16 chân, gồm 12 chân nguồn và 4 chân sense) | 600 W | Bản sửa của 12VHPWR; chân sense chỉ tiếp xúc khi chân nguồn đã cắm đủ sâu. Không tương thích với 2x3 và 2x4 |
Nguồn: Intel ATX 3.0, igor'sLAB.
Tổng công suất của card bằng công suất qua slot cộng công suất qua các đầu nguồn phụ. Ví dụ card dùng một đầu 2x4 và một đầu 2x3 có ngân sách 75 + 150 + 75 = 300 W; card dùng 12V-2x6 theo CEM 5.1 có tối đa 75 + 600 = 675 W (igor'sLAB). Đầu nguồn phụ thường đặt ở cạnh trên hoặc cạnh cuối card; với server low-profile cần kiểm tra khoảng trống phía trên card trước khi đặt connector ở cạnh trên.
Tản nhiệt¶
Công suất của card biến thành nhiệt, và khả năng giải nhiệt phụ thuộc vào khung máy chứ không chỉ vào card. Card cho máy trạm thường có quạt riêng (active cooling). Card cho server thường dùng tản nhiệt thụ động (passive cooling), dựa vào luồng gió của quạt hệ thống thổi dọc theo card; datasheet của loại card này ghi yêu cầu lưu lượng gió hoặc vận tốc gió tối thiểu và nhiệt độ gió vào tối đa. Card thụ động lắp vào máy trạm không có luồng gió phù hợp có thể quá nhiệt dù nằm đúng form factor.
Todo
Bổ sung số liệu yêu cầu luồng gió điển hình (LFM) của một card server thụ động từ datasheet cụ thể, và quy định về vùng cấm linh kiện (keep-out) và chiều cao linh kiện ở mặt sau card theo CEM.
Ký hiệu slot trong datasheet server¶
Datasheet của server và khung máy mô tả slot bằng ký hiệu viết tắt của form factor mà slot chấp nhận. Thomas-Krenn dùng các ký hiệu như "LP/HL" cho slot nhận card low-profile, half-length và "FP/LP/HL" cho slot nhận được cả card full-height lẫn low-profile; card thì được ghi dạng "MD2 Low Profile" hoặc "Half-Length, Full Height" (Thomas-Krenn). Một slot thường được mô tả đủ bằng bốn thông tin: form factor cơ khí, độ rộng cơ khí, độ rộng điện và thế hệ PCIe, ví dụ "FHHL, x16 mechanical, x8 electrical, Gen4".
Server 1U thường chỉ có chỗ cho card low-profile, hoặc dùng riser card (card chuyển hướng) để cắm card nằm ngang song song với mainboard. Khi card đi qua riser, chiều dài cho phép phụ thuộc vào vị trí riser trong khung máy và có thể ngắn hơn giới hạn half-length hoặc full-length của CEM.
Danh sách kiểm tra khi thiết kế card¶
Các bước dưới áp dụng khi thiết kế một card PCIe mới:
- Chọn form factor theo khung máy mục tiêu: chiều cao (full-height hay low-profile), chiều dài, số slot chiếm chỗ. Nếu card phải lắp được vào cả hai loại khung máy, thiết kế PCB theo low-profile và cung cấp hai bracket.
- Lấy bản vẽ cơ khí của CEM đúng thế hệ làm đường bao PCB, gồm vị trí bracket, vị trí key notch, vùng cấm linh kiện và chiều cao linh kiện cho phép ở hai mặt.
- Chọn độ rộng edge connector theo băng thông cần dùng, kiểm tra slot của hệ thống đích có nối đủ số lane về điện hay không.
- Lập ngân sách công suất cho từng ray (+3,3 V, +12 V, +3,3 V aux), so với giới hạn của slot và quyết định có cần đầu nguồn phụ hay không. Dòng khởi động phải nằm trong giới hạn công suất ban đầu trước khi card được cấu hình là thiết bị công suất cao.
- Tính tản nhiệt theo môi trường đích (luồng gió của server hoặc quạt riêng trên card) và ghi yêu cầu luồng gió vào datasheet.
- Layout các lane theo quy tắc cặp vi sai và yêu cầu của gold finger (độ dày board, vát cạnh, mạ vàng cứng); xem Cặp vi sai trên PCB.
- Kiểm tra lắp ráp thực tế trên ít nhất một khung máy full-height và một khung máy low-profile (nếu hỗ trợ cả hai) trong giai đoạn EVT, xem Quy trình phát triển sản phẩm phần cứng.
Liên quan¶
- PCI Express (PCIe) (Linux Kernel): driver PCIe, enumeration và cấu hình thiết bị trong Linux.
- Line Coding (NRZ, PAM4, 8b/10b) (Chip & SoC): mã hóa đường truyền của SerDes, gồm 8b/10b và 128b/130b dùng trong PCIe.
- Platform Management (BMC) (Embedded): quản lý card qua SMBus và BMC trong server.
- Cặp vi sai trên PCB, Power và Quy trình phát triển sản phẩm phần cứng (Hardware Design).
Tài liệu tham khảo¶
- PCI-SIG, Specifications: danh mục đặc tả, gồm PCI Express Card Electromechanical Specification (CEM). Bản đầy đủ chỉ dành cho thành viên; chưa đọc trực tiếp khi viết trang này.
- Thomas-Krenn Wiki, Size specification / form factor of additional cards. Kích thước làm tròn, chiều cao bracket, ký hiệu slot trong datasheet.
- National Instruments, What Is a Low-Profile PCI Card?. Kích thước MD1, MD2 của card PCI low-profile.
- cnblogs, PCIe 全高/半高,全长/半长 尺寸介绍. Kích thước tối đa 111,15 mm, 68,9 mm, 167,65 mm, 312,00 mm.
- vocus, PCIE Add-in Card 相關筆記. Kích thước card PCIe add-in.
- Altium, PCB Design and Pinout For PCIe Edge Cards. Sơ đồ chân và thiết kế edge connector.
- TechOverflow, How many pins does a PCIe connector have?, 04/2021. Số chân theo độ rộng.
- Profesional Review, bài về kích thước slot PCIe. Chiều dài connector theo độ rộng.
- TechSpot, PCI-E x4 slot with 164 pins?. Slot cơ khí x16 nối điện ít lane hơn.
- Intel, ATX 3.0 Design Guide, mục PCI Express Add-in Card Considerations (trang 23, trang 25, bản lưu trên ManualsLib). Công suất slot x16, phân loại đầu nguồn phụ.
- igor'sLAB, Rest in peace 12VHPWR connector, welcome 12V-2x6 connector, 2023. CEM 5.1, đầu 12V-2x6, tổng công suất 675 W.