當 AI 從概念驗證(PoC)走向全天候推論與正式營運,企業面對的問題已不只是「要不要導入 AI」,而是算力如何建置、成本如何控制,以及資料與 AI 如何治理。尤其 24 小時推論帶來持續累積的 Token 費用,加上資料主權、資安與合規要求,AI 正從技術議題走向 CIO 與企業決策層的經營課題。
HPE 與大同世界科技(以下簡稱大世科)從基礎架構、資料治理到 AI 應用攜手合作:HPE 提供高效、安全且可擴展的 AI 基礎架構,大世科則結合產業知識、資料治理與系統整合能力,協助企業建立從算力到應用的完整價值鏈,讓 AI 從 PoC 真正走向規模化營運。
痛點|AI 進入 24 小時推論,成本、資料與治理成為新挑戰
HPE 台灣暨香港董事長王嘉昇觀察,AI 正從雲端逐漸擴散至企業內部。當 AI 進入正式生產環境,24 小時推論讓 Token 費用持續累積,公有雲 OPEX 也因「Token 經濟學」變得難以掌控;再加上資料主權與合規需求,穩定的 AI 工作負載開始出現回歸地端的需求。
王嘉昇指出,企業導入 AI 不能只靠採購,而必須重新思考工作負載如何配置。波動型負載可留在雲端彈性調度,穩定負載則可回到地端精算成本,藉由混合架構在效能、成本與治理之間取得平衡。
另一方面,大世科總經理劉盈秀則從資料端看到另一項關鍵問題:「AI 價值來自資料庫,但企業內部資料多為孤島。」
企業內部的 ERP、CRM、Excel 與各式文件往往彼此分散。劉盈秀認為,AI 導入成敗很大程度不在模型本身,而在於是否完成資料清洗、品質管理與 AD 權限盤點;唯有先建立資料治理基礎,AI 才真正具備落地條件。
解法|HPE 打造 AI Factory,大世科從資料治理打通落地最後一哩
面對 AI 規模化需求,王嘉昇以「五層蛋糕」形容企業 AI 基礎架構:從底層 GPU、CPU 晶片,向上延伸至運算、儲存、網路,再到模型與應用平台。透過分層架構,企業能更清楚辨識自身痛點,並確立技術選型與投資順序。
其中,HPE ProLiant 與 Cray 系列提供從訓練到推論所需算力;預整合的 HPE Private Cloud AI(PCAI) 則將身分驗證、GPU 資源調度與稽核日誌納入平台,並支援 NVIDIA NVLink、Intel XeLink、PCIe 與 Spectrum-X 等技術。
透過 HPE 與 NVIDIA 的深度整合,以及 NIM、NeMo 等工具,企業可減少自行進行軟硬體整合與調校的時間。王嘉昇指出,垂直整合架構可讓企業省下半年軟硬體調校時間,將人力投入更高價值的 AI 開發。
大世科 OneAi|五步驟建立企業 AI 導入方法
如果 HPE 解決的是 AI Factory 的基礎架構,大世科則進一步處理資料與應用落地。
大世科將多年產業與維運經驗轉化為人工智慧賦能解決方案 OneAi,建立五步導入方法:
- 盤點企業痛點
- 定義 KPI
- 整理資料與存取權限
- 建構技術架構
- 納入資安與合規
這套方法奠基於數十萬筆維運資料,並經 OneService 知識庫實際驗證,帶來 新人培訓時間縮短 25%、維護時間降低 22%、整體服務量能提升 7% 的成果。
可信 AI|DAP 三道防線降低 AI 幻覺與資料風險
當 AI 真正進入企業核心系統,「回答得快」已不足以建立信任,資料來源是否正確、權限是否受到控制,以及所有操作能否追溯,都成為企業 AI 治理的重要環節。
為降低 AI 幻覺,大世科推出 DAP 數據助理平台,建立三道防線:
- 強制接地(Forced Grounding):要求 AI 透過 SQL 查詢經授權的真實資料,避免憑空產生內容。
- 讀寫分離:AI 對正式生產環境僅具有讀取權限,避免回寫核心系統。
- 稽核日誌與數據時光機:記錄使用者、查詢時間與資料存取路徑,使操作過程可以回溯。
對金融、醫療等高度重視合規的產業而言,AI 因此不只具備運算能力,也能進一步建立資料安全與治理基礎。
應用成效|從低維運平台到 Agent Factory,讓 AI 交付可衡量 KPI
大世科最終選擇 HPE PCAI 作為企業級 AI 平台,正是考量平台可靠度、資料安全與整合能力。透過預載的身分驗證、GPU 管理與監控機制,行政與 PM 人員即可透過拖拉方式完成流程,降低 AI 平台的維運門檻。
雙方合作形成「公路與車隊」的互補模式:HPE 建構高效、安全且可擴展的 AI 基礎架構,大世科則以產業知識、資料治理與整合服務,協助企業縮短軟硬體整合時間,同時滿足權限、日誌、資安與合規要求。
除了技術,大世科也透過「逆分工」推動組織轉型,成立 AI InnoHub AI 創新基地,以「AI First, Human-Centric」為核心,鼓勵跨域協作與 AI 工具實作。王嘉昇則以平台化思維呼應,認為企業唯有讓文化與架構同步演進,才能進一步推動 Agent Factory,建立持續優化且能以 KPI 衡量的 AI 營運模式。
HPE 角色|讓算力成為可管理、可擴展的企業服務
在 HPE 與大世科的合作架構中,HPE 扮演 AI 基礎架構與平台核心角色,透過 HPE ProLiant、Cray、HPE Private Cloud AI、HPE GreenLake 與 DSCC,串聯運算、儲存、網路、GPU 資源管理與維運能力。
王嘉昇指出,唯有透過預整合平台,才能真正將算力轉化為「可管理、可擴展的服務」,讓企業 IT 團隊從處理維運問題,轉而投入更高價值的創新工作。
搭配大世科在金融、製造、電信與政府領域累積的產業經驗,以及 OneAi、DAP 的資料治理與應用能力,雙方從「算力+治理」兩端切入,協助企業跨越 PoC 與正式營運之間的落差,進一步將 AI 投資轉化為可持續的企業競爭力。
報導來源:CIO Taiwan 連結