HPE 全方位運算解決方案為企業 AI 賦能
HPE 提供全方位 AI 運算配套解決方案 (HPE Compute AI Package Solution)，包含適用於 AI 所需的硬體基礎架構、AI 與機器學習管理軟體、以及 GreenLake 服務提供之 AI 雲端資源與企業導入之整合顧問服務。除了 HPE 全方位與軟硬多元的 AI 配套方案，HPE 亦與台灣在地 AI 產業結盟，推出各式兼顧本地需求與全球化競爭力之 AI 應用服務，專業賦能，順利達標產業轉型。
HPE 運算技術滿足 AI 發展三階段
從發展到導入分為三階段，包含建模訓練 (Training)、最佳化微調 (Fine Tuning)，AI 推論 (Inference) ，不同階段所仰賴的運算資源亦有所差異，HPE AI 運算配套解決方案均有對應的設備滿足所需。
建模訓練 (Training)
建立全新的 AI 模型時需要最龐大的運算效能，根據模型複雜度花費時間從數周到數小時之間，也是 AI 三階段中需投入最多資源的，如氣象、基因、LLM 建模等，主要以 AI 服務供應商、需打造 AI 自主的應用服務等。
※ 參考機種：HPE Cray XD670、HPE ProLiant Compute XD680、HPE ProLiant Compute XD685 超級電腦架構
最佳化微調 (Fine Tuning）
導入 AI 應用時，需要將訓練完畢的 AI 模型再進行微調訓練，讓 AI 模型具備企業獨有的專業知識，根據模型規模花費數日到數分鐘等情況均有，當企業要導入、建置 AI 應用服務初期會需要反覆微調，當 AI 模型上線運行一段時間後，也可能根據最佳化需求再次微調。
※ 參考機種：HPE Cray XD670、HPE ProLiant Compute XD680、HPE ProLiant Compute XD685、HPE ProLiant Compute DL380a Gen12、HPE ProLiant DL380a Gen11、HPE ProLiant DL384 Gen12
AI 推論 (Inference)
AI 模型訓練完畢、佈建應用服務後，AI 作業時也需要許多的運算資源來提供日常推論運算，為了能在第一線充分發揮效益而要求系統低延遲，通常處理時間以微秒到秒級來計算，例如智慧製造、智慧客服或生成式 AI 等系統後端運算等。
※ 參考機種： HPE ProLiant DL380a Gen11、HPE ProLiant DL384 Gen12、其他 HPE ProLiant 系列伺服器
HPE Private Cloud AI 是由慧與科技（Hewlett Packard Enterprise, HPE）與 NVIDIA 合作開發的一款企業級 AI 解決方案，旨在幫助企業加速生成式 AI（Generative AI）的採用與部署。簡單來說，它是一個專為私有雲環境設計的 AI 平台，提供了一個整合的、端到端的 AI 基礎設施，讓企業可以在保護數據隱私與安全的同時，快速開發、訓練和運行 AI 應用。
可用配置
開發者系統
- 1個 HPE ProLiant DL380a Gen11 AI 優化型節點 (總共 2 個 NVIDIA H100NVL 96GB GPUs )
- 1 個 HPE ProLiant DL325 Gen11 控制節點
- HPE AI Essentials with NVIDIA AI Enterprise 軟體
- 32TB Integrated Storage
- 2 個 200 Gb ports (1 x P65333-B21)
- 3 或 5年訂閱
小型 - AI 推理
- 1 個 HPE ProLiant DL380a Gen11 AI 優化型節點（總共 4 個 NVIDIA L40s GPU）
- 3 個 HPE ProLiant DL325 Gen11 控制節點
- 109 TB HPE GreenLake for File Storage（支持對象存儲）
- NVIDIA SN4600cM 交換機（100GbE 網絡）
- 帶 PDU 的 42U 機架
- HPE AI Essentials，作為 NVIDIA AI 企業軟件的補充
- 3 或 5 年訂閱
小型擴展配置 - AI 推理
- 2 個 HPE ProLiant DL380a Gen11 AI 優化型節點（總共 8 個 NVIDIA L40s GPU）
- 3 個 HPE ProLiant DL325 Gen11 控制節點
- 109 TB HPE GreenLake for File Storage（支持對象存儲）
- NVIDIA SN4600cM 交換機（100GbE 網絡）
- 帶 PDU 的 42U 機架
- HPE AI Essentials，作為 NVIDIA AI 企業軟件的補充
- 3 或 5 年訂閱
中型配置 - AI 推理和檢索增強生成 (RAG)
- 2 個 HPE ProLiant DL380a Gen11 AI 優化型節點（總共 8 個 NVIDIA L40s GPU）
- 3 個 HPE ProLiant DL325 Gen11 控製節點
- 217 TB HPE GreenLake for File Storage（支持對象存儲）
- NVIDIA SN4700M 交換機（200GbE 網絡）
帶 PDU 的 42U 機架 - HPE AI Essentials，作為 NVIDIA AI 企業軟件的補充
- 3 或 5 年訂閱
中型擴展配置 - AI 推理和檢索增強生成 (RAG)
- 4 個 HPE ProLiant DL380a Gen11 AI 優化型節點（總共 16 個 NVIDIA L40s GPU）
- 3 個 HPE ProLiant DL325 Gen11 控製節點
- 217 TB HPE GreenLake for File Storage（支持對象存儲）
- NVIDIA SN4700M 交換機（200GbE 網絡）
帶 PDU 的 42U 機架 - HPE AI Essentials，作為 NVIDIA AI 企業軟件的補充
- 3 或 5 年訂閱
大型 - AI 推理、檢索增強生成 (RAG) 和模型微調
- 4 個 HPE ProLiant DL380a Gen11 AI 優化型節點（總共 16 個 NVIDIA H100NVL GPU）
- 3 個 HPE ProLiant DL325 Gen11 控製節點
- 670 TB HPE GreenLake for File Storage（支持對象存儲）
- NVIDIA SN4700M 交換機（400GbE 網絡）
- 2 個帶 PDU 的 42U 機架
HPE AI Essentials，作為 NVIDIA AI 企業軟件的補充 - 3 或 5 年訂閱
大型擴展配置 - AI 推理、檢索增強生成 (RAG) 和模型微調
- 8 個 HPE ProLiant DL380a Gen11 AI 優化型節點（總共 32 個 NVIDIA H100NVL GPU）
- 3 個 HPE ProLiant DL325 Gen11 控製節點
670 TB HPE GreenLake for File Storage（支持對象存儲） - NVIDIA SN4700M 交換機（400GbE 網絡）
- 2 個帶 PDU 的 42U 機架
HPE AI Essentials，作為 NVIDIA AI 企業軟件的補充 - 3 或 5 年訂閱
AI 模型與 LLM 應用服務
HPE 組織全球各地與台灣在地的 AI 服務整合業者 (ISV)，提供各類 AI 應用服務如智慧客服、智慧製造等應用服務。在台灣的 AI 業者將能就近提供技術支援與應用服務建置
AI 服務最佳化
HPE 協助提供 AI 整合顧問服務，將 AI 系統營運環境依企業所需調整至最佳狀態之服務，藉以打造出以 AI 為導向之商業服務
AI 軟體
HPE 提供 AI Essentials 與 HPE Data Lakehouse 等 AI 開發輔助工具，並結合 NVIDIA AI Enterprise 雲端導向的 AI 軟體服務，提供企業於建立 AI 應用系統的開發生命週期中的各個環節，提供對應且全面之輔助管理系統，包含 AI 模型專案管理、AI 資料訓練管理等功能
AI 就緒之硬體架構
HPE Cray XD670、HPE ProLiant Compute XD680、HPE ProLiant Compute XD685、HPE ProLiant DL380a、HPE ProLiant DL384 等機架式伺服器可提供 AI 運算所需之 GPU 等龐大運算資源，並有完整資料儲存與管理方案因應資料池所需
HPE GreenLake 服務
包含硬體基礎架構、軟體授權，以及整合維護服務等，HPE GreenLake 服務均能提供企業以更彈性的資源規劃組織強大的 AI 應用
技術規劃與諮詢顧問服務
HPE 匯集 IT 軟硬體整合技術與各類產業營運，為有意導入 AI 應用之企業提供前期評估、中期整合到後續維護等技術與商業營運等知識服務。
HPE ProLiant機架式伺服器針對 AI應用所需，特別加強 NVIDIA GPU整合效率，搭配市場最齊全的產品線，從需要超高算力的生成式 AI模型建立，到第一線的低延遲邊緣運算推論機種，HPE ProLiant伺服器一應俱全。
企業 AI應用所需的運算力，須仰賴伺服器的擴充能力，容納越多的 GPU模組代表其運算能力越強大，因此 HPE ProLiant的高擴充設計以及絕佳的散熱架構，能在標準機箱內提供業界最高密度的 GPU模組，同時支援 NVIDIA NVLink傳輸匯流排技術，大幅提升 GPU運算時的資料傳輸速度，全面提升 AI應用與模型訓練。
HPE ProLiant DL320 Gen11
滿足即時性邊緣環境之 AI 應用所需
1U 機架式伺服器內最高可安裝 4 組 NVIDIA L4 GPU 模組，緊湊的設計提供最大的空間規劃，適用於電腦視覺或 AI 影像分析等工作負載。
HPE ProLiant DL380a Gen11
性能擴充兼容並蓄，因應 AI 推論運算
2U 機架式伺服器最高可容納 4 組 NVIDIA H100/ L40s PCIe GPU 模組，具備進階的擴充性，滿足泛用型圖形處理的算力需求，處理 AI 應用時的推論運算。
HPE ProLiant DL384 Gen12
高密度記憶體設計，RAG AI 推論絕佳選擇
以 NVIDIA 為核心之 2U 機架式伺服器，支援 Dual NVIDIA GH200 NVL2 / Dual NVIDIA GB200 GPU 模組，強化 PCIe 匯流排傳輸，讓 GPU 效能提升 30%，包含生成式 AI 推論，以及非 AI 之高密度記憶體的運用均能勝任。
HPE ProLiant DL380a Gen12
充 GPU加速能力， 適用大型 LLＭ模型
具備卓越的 AI 效能與擴充性，搭配 NVIDIA H200 NVL GPU 模組，提供更大且更高速之記憶體效能；支援 NVLink 連接技術，提升 GPU 間資料傳輸速度，藉此應對 LLM 模型推論負載所需的龐大算力。
HPE ProLiant Compute XD 680
滿足即時性邊緣環境之 AI 應用所需
可安裝 8 組 Intel Gaudi 3 AI 加速器。記憶體為 24 組 DDR5 DIMM 插槽，支援 3.7TB/sec HBM 高頻寬記憶體，單一伺服器節點容量可高達 3TB 以上。 支援第五代 Intel Xeon 可擴充處理器。
HPE ProLiant Compute XD 685
性能擴充兼容並蓄，因應 AI 推論運算
可安裝 8 組 AMD Instinct MI325X GPU 模組。可安裝 8 組 NVIDIA H200 Tensor Core GPU 模組或 NVIDIA Blackwell Ultra GPU 模組。支援 2 個第五代 AMD EPYC 9005 系列處理器。記憶體採用 HBM3E 傳輸技術，支援 24 組 DDR5 6400 RDIMM 插槽，最高頻寬可達 6TB/s。
HPE Cray XD670
高密度記憶體設計，RAG AI 推論絕佳選擇
支援第六代 Intel Xeon 可擴充處理器。記憶體為 32組 DDR5 DIMM 插槽、8 通道傳輸，傳輸速率達 5600MT/s，單一伺服器節點容量可達 4TB 以上。支援 PCIe Gen5 高速 I/O 傳輸，幫助 SSD 與 GPU 模組充分發揮。5U 高度，可選擇氣冷或液冷方案。
HPE Cray Storage System C500
超擴充性 GPU 加速能力，適用大型生成式模型
對於企業一般 AI 應用時的推論運算或模型微調等，可以搭配 HPE Cray Storage System C500 儲存系統，源自 HPE Cray Storage 系列超級電腦儲存架構，針對 AI 中低量級的需求而開發的入門級超級儲存架構，
HPE Cray ClusterStor E1000
超擴充性 GPU 加速能力，適用大型生成式模型
不同等級的 AI 應用需求，企業亦可依需搭配相應的儲存方案，如 LLM 大型語言模型訓練或需搭配超級電腦的極速 I/O 時，可透過 HPE Cray ClusterStor E1000 儲存系統的超高速I/O效能加速模型訓練的節奏，不僅可靠，在競爭激烈的 AI 商務方案開發中也有助於縮短上市時程，搶占先機的競爭優勢。
