模型小型化讓一些端側場景用了起來。

“零售場景下，8B（B為十億參數）模型能做人流預測、商品檢驗、導購；14B可以做一些簡單報表分析；32B在報表出來后還可以給圖譜指引、數據預警；70B可以扮演區域經理、大區經理的角色。” 工控主板廠商吉方工控副總經理李曉濤在近日一場分享中表示。他告訴記者，近期有很多模型已能用于公司實際運營中，且性價比高。

在大模型中，8B~70B參數并不算大。記者了解到，對模型小型化和性價比等的重視，讓端側場景的芯片方案與數據中心有一些不同。相比數據中心硬件投資向GPU等加速芯片傾斜，端側小模型對算力的要求不一定很高，在一些情況下，獨立GPU不一定是必選項。

零售場景擴大AI應用

記者了解到，作為端側場景之一，零售場景過去幾年一直在嘗試擴大AI應用。已經落地的AI應用中，最早實現的包括商品自動識別，隨后擴展至AI自助防損等。

據商業軟硬件廠商海石商用副總經理李昊旻介紹，零售場景AI落地源于芯片算力冗余，“三四年前，我們就看到算力的應用前景，根源在于觀察到CPU和GPU性能在零售場景開始出現冗余，單純的算賬和支付不需要太高的性能。（與此同時）AI場景開始顯現出來。”

據李昊旻介紹，最早被提出并解決的是生鮮識別問題，由攝像頭采集生鮮圖像并由AI識別、算出SKU（最小存貨單位）。如今，一些超市的秤能自動識別生鮮，無須人工選擇，其他應用還包括AI 通道識別方案、AI團餐識別方案，分別用于識別超市收銀是否有異常掃碼行為、提高自選菜餐廳的收銀效率。

AI自主防損是一種更新的應用。李昊旻表示，當前零售行業最需要解決的問題包括自助防損，有2%~3%的商品顧客未能成功完成掃描動作。防損算法、ToF傳感器可用于判斷收銀動作是否完成，有80%無意間造成的掃描異常會被識別。

商用終端設備和系統廠商中科英泰副總經理管建鵬向記者舉例，某區域的龍頭超市有4臺自助收銀機，系統識別異常并提醒顧客后，80%的顧客會重新掃描商品，超市每日平均止損65次。若消費者不重新掃描，系統會通知超市防損員，人力介入后每日止損約1066元。

不過，零售業AI應用還有一些難題待解決，例如，李昊旻稱，實現生鮮識別后，標準品識別在技術上還存在一定難度，業內還在研究。

業內認為大模型將帶來助力。英特爾中國網絡與邊緣技術產品總監王景佳向記者表示，以往AI應用基于計算機視覺、卷積神經網絡技術，現在大模型技術除了可能帶來新功能，還能幫助解決一些傳統AI應用的難題，例如物品遮擋的情況下以往AI可能無法識別，現在識別效率有所提高。

“1.5B模型只能做簡單問答，而且反應不夠快，容易出錯；7B、8B的模型可以做簡單的文案生成和代碼編寫，會出現一些錯誤，但能慢慢修正；14B有很強的能力，可以總結、匯總；32B到70B已經達到普通人無法達到的水平了。”李曉濤稱。

今年4月，絕味食品與騰訊智慧零售聯合發布了中國零售連鎖AI垂直大模型和三個AI應用，可用于與顧客互動、智能排班、庫存預測等。去年，天虹股份下屬子公司則開發了百靈鳥AI大模型，可用于AI搜索推薦、AI導購等。

業內還在展望更多應用。“零售行業站在一個變革潮頭。當走進便利店，你可能會發現便利店里的攝像頭不再是簡單的安防工具，而是成為體驗、消費、情緒的傳感器。當貨架上的電子價簽閃爍，你可能不知道它也在經歷一場毫米級的、非常高難度的算力革命，可能正在打價格戰。” 中國連鎖經營協會副秘書長楊雯表示。

不同芯片搶奪端側市場

以零售業為例，從成本等方面考慮，業內認為參數較小的模型適合端側應用。

李昊旻告訴記者，不太可能在每個門店都部署很大的大模型，無論是從成本還是功耗考慮，都不可行。

端側不運行大參數模型，就不一定要配備十分高端且昂貴的顯卡，一些消費級顯卡、CPU也可以用。英特爾中國零售行業高級技術經理夏耿告訴記者，合作伙伴在32B模型上的投入比較多，這是因為綜合考慮部署成本和應用場景之后，發現32B模型在成本、效率和精準度之間有比較好的平衡。32B模型的運行可以采用4張A770顯卡的方案，如果考慮冗余，該方案在商超中可以支持前端36到48臺設備，整機成本在4萬元~5萬元之間。

李曉濤告訴記者，如果是14B模型用上顯卡，成本基本上能做到萬元級別，該公司用英特爾CPU和顯卡的方案，“我們內部評估認為，如果現在可以做到萬元級別，并服務20個人的公司，這樣客戶就愿意（購買）。” 李曉濤表示，門店級的普通員工一年需要小10萬元的成本，而使用智能體，相關成本可以做到萬元級別。

在不用到獨立顯卡的情況下，夏耿表示，單張酷睿Ultra SoC可以支持14B大模型，單SoC每秒可產生12個token。此前英特爾的芯片已經進行了AI計算重構，去年發布的酷睿Ultra有NPU（神經網絡計算單元）結構，可做AI加速處理。李曉濤則告訴記者，如果不用顯卡，一些情況下CPU能直接運行7B、8B的模型。

業內還在展望端側芯片算力繼續提高。李昊旻表示，端側設備需要部署足夠多的AI功能，并降低對網絡的依賴性，從算力支撐看，端側AI算力會越來越大。

CPU制程演進已在推進。記者從英特爾了解到，Intel 18A制程已進入風險試產階段，將于今年第四季度首度量產，Intel 14A則計劃在2027年進行風險試產。夏耿表示，采用Intel 18A工藝的Panther Lake處理器推出后，搭載Panther Lake的POS機將不僅能運行收銀ERP系統和交互界面，還能通過攝像頭等傳感器接入店鋪數據，用AI算法分析客流，下一步還能在POS機上運行大模型，實現數字導購助手的功能。

從端側的芯片組成看，市場研究機構IDC中國副總裁周震剛告訴記者，未來在端側推理方面，CPU會有很大的進步，但端側究竟是以CPU為主，還是以CPU加協處理器為主，例如CPU GPU或其他處理器，現在還沒有很好的定論，“畢竟終端情況復雜。PC端可能是英特爾和AMD主導，端側手機、車載則比較復雜。”

即便都是CPU，在一些端側AI場景中，CPU架構的組成也較為多元。以筆記本電腦為例，目前還是x86架構的CPU較為主流。集邦分析師黃淑芳表示，不同CPU制造商的AI發展脈絡不同，預計發展最快的是微軟 x86（英特爾和AMD）的陣營，傳統CPU巨頭的市場資源較多，多數人則熟悉微軟系統，預計該陣營AI滲透較快。Arm陣營（包括蘋果、高通等）短期還需接受市場考驗，但有機會快速成長。

“未來幾年不同CPU制造商的市場占有率將會發生變化。AI興起讓大家對終端省電有所期待，比較期待Arm的功耗表現。隨著Windows on Arm組合的生態越來越成熟、AI應用越來越豐富，2029年基于Arm架構的筆記本電腦預計將有接近40%的市場份額。”黃淑芳表示。

AD：

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。