從“卷”訓練到“重”推理,企業部署大模型的“芯”要求
相比2023年企業紛紛訓練自己的大模型,2024年企業對大模型的關注轉向推理,以實現差異化和變現。
2024-04-18 09:45:42
來源:中國電子報、電子信息產業網 張心怡??

在消費者對ChatGPT等消費級AI應用進行嘗鮮和玩票之后,企業也迎來了AI發展的轉折點。相比2023年企業紛紛訓練自己的大模型,2024年企業對大模型的關注轉向推理,以實現差異化和變現。一方面,企業部署大模型對計算架構帶來了新的挑戰;另一方面,企業對推理的重視,也使其對算力架構的選擇走向多元。

“隨著越來越多的通用大模型被訓練出來,今年企業的關注點轉向了推理?!庇⑻貭柟臼袌鰻I銷集團副總裁、中國區數據中心銷售總經理莊秉翰向《中國電子報》表示,“我們看到一些客戶愿意嘗試用CPU做大模型推理,還有一些互聯網公司,之前更多提供的是基于GPU的大模型服務,現在也提供基于CPU的大模型,尤其是在推理上?!?/p>

企業迎來大模型部署浪潮 數據與模型結合成最大挑戰

企業級場景,正在成為AI大模型的藍海市場。市調機構數據顯示,預計2026年80%的企業會使用生成式人工智能,至少50%的企業會在邊緣計算部署機器學習或者深度學習,從而提升企業競爭力。在企業支出方面,預計企業在生成式人工智能的投資將在今年達到400億美元規模,到2027年達到1510億美元規模。

莊秉翰指出,企業AI的發展可以分為三個階段。一是AI輔助階段,AI作為企業的輔助工具,提供會議紀要總結、大綱提煉、文生圖等輔助功能。二是AI助手階段,AI賦能各領域的工作流程自動化,提供行程管理等助手型功能,以及面向客戶的智能客服功能。三是全功能AI階段,AI提供全方位、更精準的自動化服務,為企業經營帶來更大價值。

無論是AI助手階段還是全功能AI階段,最大的挑戰都在于企業數據與通用模型的結合。

“企業對自己的數據,比如傳統的數據如何保存使用,哪些數據應該在公有云或者私有云使用,有很明確的規定。但是,現有AI模型大多是通用模型,一旦企業把數據上傳到這些AI模型再做提煉升華,就存在數據泄漏的風險,也會對企業的競爭力帶來影響。所以我們提出企業AI的概念,其核心在于以更加開放、更具規模性、更加可靠的方式,幫助企業釋放AI潛力?!鼻f秉翰向記者表示。

按照技術架構,企業AI能力的構建可以分為四個層次。一是兼具可獲取性和隱私性的底層算力。二是具備可擴展性和標準化的基礎設施。比如企業在私有云部署AI,可能采用單節點、多節點或者平均式的部署,或者根據企業的發展規劃從單節點小集群逐步走向更大的集群,這就需要算力基礎設施具備可擴展性和標準化。三是安全可靠的軟件生態。四是便捷開放的應用生態。

面向企業AI的部署需求,英特爾搭建了算力、基礎設施、軟件、應用四層生態的開放生態堆棧。其中算力生態包含基于酷睿處理器、vPRO商用PC芯片平臺的AI PC,基于至強處理器、Gaudi AI加速芯片、ARC顯卡的邊緣AI與數據中心AI?;A設施生態包含OEM、ODM、CSP(云端服務供應商)、OSV(操作系統集成商)等。

比如在英特爾與金山云的合作中,金山云在云服務器 X7 中引入了第四代至強可擴展處理器,并基于英特爾AMX原生加速能力發布了StableDiffusion、LLaMa2、ChatGLM2三款針對X7服務器調優的大模型鏡像。相較優化之前的模型,基于AMX優化的文生圖大模型 Stable Diffusion推理性能提升了4.96倍,Llama2 和 ChatGLM2優化后的推理性能也分別提升了2.62倍和2.52倍。

英特爾公司市場營銷集團副總裁、中國區云與行業解決方案部總經理梁雅莉表示,英特爾與金山云合作的云服務器對客戶的吸引力來自三個方面。一是便捷的部署,即用戶無需部署專用的AI推理服務器,而是可以在通用云服務器的基礎上,通過調優的大模型鏡像,快速、靈活地實現模型推理;二是成本優化;三是除了大模型推理之外,用戶還可以調度金山云云服務器運行其它工作負載,實現敏捷切換。

“企業在面對不同選擇之時,會考慮幾點。第一是‘可及’,即該算力是能夠購買、能夠獲取,且是通用的;二是對性能的追求;三是在易部署的情況下,能夠擁有可靠的保障?!绷貉爬蛘f。

從注重訓練走向注重推理 CPU成為AI推理選項

2023年,AI大模型迎來“百模大戰”的盛況。但在大模型走向落地期的過程中,企業越來越注重大模型的投入產出比和后續的盈利能力,這一點也反應在企業對底層算力架構的選擇上。

莊秉翰在接受《中國電子報》專訪時表示,2023年,企業對大模型的關注聚焦在訓練,更注重性能,對成本和功耗沒有那么重視。由于企業都希望訓練自己的通用大模型,也出現了“百模大戰”的現象。

隨著越來越多的通用大模型被訓練出來,今年企業的關注點轉向了推理。對于企業來說,大模型是需要變現且能夠盈利的,但目前市場上的大模型大多基于開源,用做訓練的數據也差不多,很難通過差異化來盈利。而企業AI能夠讓企業將自身數據融合在大模型的訓練過程中,使大模型真正幫助企業解決業務上的問題,增強產品競爭力。

而企業對于大模型盈利能力的重視,也體現在對底層算力架構的選擇上。莊秉翰表示,推理基于大規模的算力部署,需要對智算中心的成本、功耗以及整體的運營運維進行考量。在這種趨勢下,一些企業正在嘗試用CPU做大模型推理。從許多案例可以看到,CPU可以支持130億參數規模以下大模型的推理。

“對一些企業來說,大模型部署處在初始階段。如果立即部署一個很大的GPU集群,對于運維和開發來說都是很大的挑戰。如果采用逐步部署生成式人工智能的節奏,就可以通過CPU先來做一些大模型的應用部署。當不需要生成式大模型時,還可以轉換到通用的應用,這也是一種可以實現盈利的方式。我們看到一些客戶愿意嘗試用CPU做大模型推理,還有一些互聯網公司,之前更多提供的是基于GPU的大模型服務,現在也提供基于CPU的大模型,尤其是在推理上?!鼻f秉翰向《中國電子報》記者表示。

而算力架構的選擇,也與企業類型和所處階段息息相關。梁雅莉表示,企業要因地制宜,選擇最適合企業的人工智能策略,并基于該策略選擇最適合的基礎設施和架構。

“對于頭部互聯網和大模型公司來講,今年面臨的挑戰是大模型的落地和變現。對于其他企業來說,如何挑選合適的大模型融入生產或業務流程以創造價值,是更重要的命題?!绷貉爬蛳颉吨袊娮訄蟆酚浾弑硎?,“當大模型和生成式人工智能熱度褪去,需要變現并產生價值的時候,就需要思考落地的經濟適用性和最適合的方案?!?/p>

最新文章
1
松下投影易主,助攻愛普生商用市場,家用短板仍是“命門”
2
不是TCL華星和LGD,投建8.6代OLED產線的第三巨頭,為何是它?
3
全球顯示盛會DIC 2024將于7月2-5日在上海舉辦
4
618電視選購寶典出爐:品牌、畫質、質量成為關鍵詞
5
年度最強影像滅霸vivo X100 Ultra正式開售
6
九號公司高祿峰隨總理出席第八屆中日韓工商峰會
7
步入新階段 新型工業化如何上量起勢?
8
5G-A大勢肇啟 規模商用可期!
9
趙明談榮耀MagicOS信息安全:排在所有應用前面 用戶自主選擇授權
10
創新顯示技術驅動換新,618 Mini LED電視將實現逆勢突破
11
今年618 空調將爆發最慘烈價格戰?
12
vivo S19系列將搭載新一代硅碳負極電池:6000mAh厚度僅7.19mm
13
觀察:空調為什么無法“送裝一體”?
14
線上觀察:海爾奧克斯TCL科龍降價競位,空調價格大戰醞釀中
15
觀察:跑路容易交付難,家居家裝行業為何頻現“信任危機”?
16
首批20個國家級“數據要素×”典型案例發布,長虹入選!
17
揭秘!容聲冰箱如何以“梭梭”引領低碳生活新潮流
18
容聲冰箱“節能森林計劃”再行動,攜手SEE基金會共筑阿拉善綠色屏障
19
劉強東再談“兄弟”背后:電商格局深度重構
20
小米挑戰年內交付12萬臺汽車,利好半導體產業
關于我們

微信掃一掃,加關注

商務合作
  • QQ:61149512
欧美肥妇BwBWBWBXx_制服丝袜有码中文字幕在线99_秋霞午夜一区二区三区黄瓜视频_欧美年轻男同gay69