2024中國生成式AI大會上海站圓滿收官，第二日AI Infra峰會演講精華一文看盡

作者 | 智東西編輯部

智東西12月6日報道，為期兩天的2024中國生成式AI大會（上海站）今日圓滿收官。

兩天內，51位產學研投嘉賓代表密集輸出乾貨爆棚，大會報名諮詢人數超4000人，超過1200位觀眾到場參會。其中，在主會場進行的大模型峰會、AI Infra峰會的線上觀看人次更是超過104萬。

現場參會觀眾們的熱情十分高漲，主會場、分會場座無虛席，展覽區附近的產業交流也十分活躍，15家企業的諸多新產品新技術都引起了廣泛關注和討論。

▲大會展區

此次大會以“智慧躍進 創造無限”為主題，51位產學研投嘉賓代表基於前瞻性視角解構和把脈生成式AI的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。

今天的AI Infra峰會上，上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩認為，業界更應該關注單位算力如何實現更高效的token吞吐，大模型實際可用算力不僅取決於晶片理論算力，還可透過軟硬協同最佳化提高算力利用效率，透過多元異構適配放大整體算力規模。

北電數智智算雲負責人郭文，GMI Cloud亞太區總裁King.Cui，阿里雲智算叢集產品解決方案負責人叢培巖，中昊芯英晶片軟體棧負責人朱國樑，光羽芯辰創始人兼董事長周強分別對全棧AI工廠、AI企業出海如何補齊算力短板、高效能智算叢集、國產TPU晶片“No CUDA”軟體棧、通向個人大模型之路幾個主題進行了分享。

楓清科技創始人兼CEO高雪峰，聲網生成式AI產品負責人毛玉傑，騰訊雲向量資料庫技術負責人謝宇，Jina AI聯合創始人兼技術長王楠，Zilliz合夥人、研發VP欒小凡，英飛流創始人兼CEO張穎峰，Alluxio首席架構師傅正佳分別針對“從資料到知識：AI重塑百行千業的基石”、“生成式AI驅動實時互動的技術變革與體驗革新”、“TencentVDB向量資料庫”、“RAG正規化下AI Infra的機遇和挑戰”、“RAG雖強，但向量資料庫絕非萬靈藥”、“新一代企業級多模態RAG引擎”、“高效能AI資料底座”帶來了精彩演講。

下午場的圓桌討論聚焦“大模型行至深水區，AI Infra的新變化與新機會”，由德聯資本執行董事劉景媛主持，Alluxio首席架構師傅正佳，Zilliz合夥人、研發VP欒小凡，英飛流創始人兼CEO張穎峰三位嘉賓給出了自己的真知灼見。

大會首日，17位嘉賓暢談大語言模型、多模態大模型、具身智慧、AI原生應用、音樂生成、3D AIGC、AI智慧體的行業應用、垂類行業大模型等前沿議題。（2024中國生成式AI大會上海站開幕！首日大模型峰會燃爆魔都，17位大咖密集輸乾貨）

除了大會首日主會場進行的大模型峰會，以及今天主會場的AI Infra峰會，大會分會場也在這兩天分別組織了端側生成式AI技術研討會、AI影片生成技術研討會與具身智慧技術研討會，17位青年學者和技術專家帶來了報告分享，後續將會上架這三場收費制研討會的回放。

一、從智算叢集到原生加速技術棧，聚焦產業落地痛點突破大模型算力瓶頸

AI的發展帶來了巨大的資料、算力以及能源挑戰，作為支撐大模型執行以及生成式AI應用開發的關鍵，AI Infra也走到了臺前，發展勢頭強勁。

如何打造優質的智算中心，如何實現AI從晶片到應用端全產業鏈的高效協同？多位嘉賓給出了自己的深入見解。

1、上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩

Scaling Law之下，資料成為制約AI繼續發展的因素之一。以GPT-o1為代表的推理模型可以突破資料瓶頸，但計算正規化的轉變使算力需求呈指數級增長，可能導致硬體系統能耗開銷供不應求，對行業的可持續發展構成挑戰。

對此，戴國浩教授指出，當下業界更應該關注單位算力如何實現更高效的token吞吐，讓大模型的實際可用算力不僅取決於晶片理論算力，還可透過軟硬協同最佳化提高算力利用效率，並透過多元異構適配放大整體算力規模。他分享了其研究團隊在軟硬協同、多元異構與端側智慧方面的研究進展與落地成果，這些成果能助力行業提升面向大模型場景的token吞吐效率。

2、北電數智郭文：以AI工廠填補國產算力供給側與需求側的產業鏈斷層

“產業要發展，創新不能只是停留在技術層面，更要從流程、系統和組織進行全面的創新。”北電數智智算雲負責人郭文分享了從算力、演算法、資料與生態方面全面構建人工智慧時代AI生產線的實踐思考。

郭文稱，當下國產晶片落地人工智慧產業的最大問題是，算力供給側與需求側之間存在產業鏈斷層。為此，北電數智推出首個“國產算力PoC平臺”，以北京數字經濟算力中心為載體打造具備全棧能力的AI工廠，全線適配與拉通場景、模型到晶片層面，推動智算中心從成本中心轉化為推動地區發展新質生產力中心。

3、GMI Clould King.Cui：高穩定GPU叢集成AI企業全球化佈局關鍵

中國AI出海加速，算力作為其中的核心生產資料正發揮重要作用。高穩定性的GPU叢集能降本增效，幫助企業在AI全球化浪潮中取勝。

GMI Cloud亞太區總裁King.Cui提到，為確保GPU叢集的高穩定性，他們使用了具備主動檢測功能的自研雲叢集引擎，實現計算、儲存和網路資源的高效調配。

GMI Cloud是NVIDIA Top10 NCP，交付前會進行嚴格的驗證流程。GMI Cloud與IDC協作，提供備件和維修，擁有更短的交付時間，確保停機時間最小化。

4、阿里雲叢培巖：靈駿智算叢集不僅要實現穩定性和極致效能，更要在不同維度支援規模的極致擴充套件

阿里雲智算叢集產品解決方案負責人叢培巖預測，未來模型效能還會隨引數，資料集和算力的增長繼續提升，Scaling Law仍有增長空間，AI智算叢集的設計正規化轉向要以GPU為核心。

阿里雲推出支援超大規模分散式訓練的靈駿智算叢集，可達到10萬卡擴充套件規模，千卡規模線性加速比達到96%；阿里雲自研磐久伺服器採用CPU和GPU分離，實現單機提升至16顆GPU；網路架構HPN7.0最大規模可連線10萬顆GPU。

智算叢集穩定性至關重要，阿里雲3千卡規模智算叢集，在一個月內穩定訓練時長佔比達99%。

5、光羽芯辰周強：解決“大模型不懂你”問題，個人大模型迎來機遇

作為與通用大模型、行業大模型、企業大模型並行發展的一大分支，個人大模型也進入了快速發展期。光羽芯辰創始人兼董事長周強稱，個人大模型解決的是“大模型不懂你”的問題，隨著手機、PC、可穿戴、XR等端側裝置廠商All in AI，個人大模型之路將越走越寬。

他提到，個人大模型也稱為端側大模型，期待解決端側智慧體在效能、功耗和成本方面的痛點，讓真正的AI手機走進生活。端側AI具備及時性、可靠性、成本低、隱私保護和定製化五大優勢。目前，構建端側大模型的核心是解決儲存頻寬和容量雙重問題。

6、中昊芯英朱國樑：國產TPU晶片“No CUDA”軟體棧的構建實踐

中昊芯英晶片軟體棧負責人朱國樑介紹了他們在為國產TPU晶片構建“No CUDA”軟體棧的實踐經驗。

中昊芯英剎那晶片採用VLIW指令集架構，面對龐大的CUDA生態，他們逐一解決了庫、平行計算與程式設計方面的問題，全自研使用者態和核心態驅動，實現了晶片的高效管理。

為做好生態相容，中昊芯英底層軟體棧相容PyTorch以及所有主流訓推框架，目前，中昊芯英可提供定製的端到端的雲智算解決方案，並支援國產作業系統。

二、從企業智慧體、向量資料庫到RAG，AI Infra基礎軟體湧現諸多新挑戰

下午場，多位嘉賓進一步分享了AI Infra領域關於智慧體開發管理平臺、實時語音、向量資料庫、向量模型、RAG技術、資料編排等方面的行業觀察和深入見解。諸多新平臺、新產品、新技術走向前臺，賦能產業。

1、楓清科技高雪峰：從資料到知識，跨越生成式AI與決策智慧間的鴻溝

楓清科技創始人兼CEO高雪峰談道，要將生成式AI真正應用到企業決策場景中，彌合其與決策智慧之間鴻溝的技術突破點，就是在推理框架側融合符號邏輯推理。

企業智慧化落地需要面臨資料孤島、資料整合、知識校驗、資料實時效等技術挑戰。楓清科技可以為企業提供知識引擎與大模型雙輪驅動的新一代智慧體平臺，透過構建全鏈路最佳化體系，幫助企業提升資料質量，將企業本地資料知識化，並融合大模型沉澱的泛化能力，在知識網路之上進行符號邏輯推理，實現可解釋的智慧，進而使AI在多個場景下能夠實現精準、透明的決策支援，推動企業智慧化轉型的順利實施。

2、聲網毛玉傑：生成式AI+實時互動，讓人機互動變成真正的心靈互動

聲網生成式AI產品負責人毛玉傑講述了生成式AI出現後實時互動（RTE，Real-Time Engagement）技術和體驗的變遷。

毛玉傑介紹，2014年至今十年，RTE從服務質量走向體驗質量；2025年開始，在生成式AI發展的背景下，RTE向AI RTE變革，開始注重跨模態體驗質量，做多模態互動、跨模態轉換，為人和模型而設計，給大模型廠商提供眼睛、耳朵和聲音能力。

毛玉傑說，目前人機對話已經達到“聽得懂”的狀態，期待下一步實現“聽得心”——讓人機互動變成真正的心靈互動。

3、騰訊雲謝宇：向量資料庫助力企業挖掘更大資料價值

AI時代，向量資料庫（VDB）脫穎而出，成為連線結構化與非結構化資料的樞紐。然而，當VDB被運用於RAG場景時，多款開源RAG架構出現了召回率低的問題。

騰訊雲向量資料庫技術負責人謝宇介紹，為解決上述挑戰，騰訊首先提升了複雜文件的識別效果，並對資料處理、Embedding、檢索、總結等其他環節進行最佳化，最終實現了90%以上的召回率。

騰訊自研向量檢索引擎OLAMA已上線5年，日均處理8500億次檢索請求。未來，他們還將在效能、成本、業務效果、容災率等方面發力，持續提升產品表現。

4、Jina AI王楠：長文字大模型、RAG長期共存，長視窗向量模型面臨兩大挑戰

大模型存在幻覺、無法保證私有資料安全、推理成本高三大問題，Jina AI聯合創始人兼技術長王楠認為，RAG正是透過縮小大模型生成範圍，保證檢索準確性、實現結果可溯源，所以長本文大模型不會取代RAG，二者將長期共存。

短視窗會導致上下文背景資訊丟失，因此RAG需要長視窗向量模型支援。但長視窗向量模型面臨兩大挑戰，一是推理成本和記憶體消耗會隨視窗長度呈平方線性增長，共享GPU是解決思路之一；二是長視窗使模型無法完整表示細顆粒度語義，解法是增加向量維度和多向量表示。

5、Zilliz欒小凡：向量資料庫落地面臨成本及擴充套件性挑戰，RAG轉為Graph RAG

Zilliz合夥人、研發VP欒小凡分享了向量資料庫目前面臨的挑戰以及相應解決方案。

欒小凡稱，2025年新生成的資料中，將會有80%以上是非結構化資料。在這一資料壓力下，向量資料庫的落地面臨著成本以及擴充套件性等方面的種種挑戰。而目前的RAG存在搜尋質量難、處理長尾查詢能力差、結果難以解釋和控制、向量儲存成本高等問題。

據此，欒小凡及其團隊提出了兩個解決思路：一是混合查詢，在單個系統內支援密集嵌入、稀疏嵌入和詞彙搜尋；二是Graph RAG，將知識圖譜和向量檢索結合起來。

6、英飛流張穎峰：多模態RAG新正規化

英飛流創始人兼CEO張穎峰認為，RAG作為LLM時代的資料庫，目前面臨著三大挑戰——多模態文件處理、檢索、語義鴻溝。

針對第一個問題，英飛流訓練了深度文件理解模型，能對複雜文件中的多模態內容進行分類處理。而在檢索這一RAG“最後一公里”的問題上，英飛流使用三路召回方案，並增加張量索引進行重排序，這一方案在多模態RAG上展現出明顯優勢。

最後，針對檢索過程中的語義鴻溝，英飛流使用GraphRAG抽取知識圖譜，並與原資料進行聯合檢索，提升檢索質量。

7、Alluxio傅正佳：零改造、無侵入策略，打造高效能AI資料底座

Alluxio首席架構師傅正佳談到了提升大規模模型訓練效率的兩大挑戰：一是資料規模不斷增長、型別更多元化，因此處理資料需要提升算力有效利用率；二是當資料喂到訓練平臺上，資料IO訪問瓶頸會導致算力處於低利用率狀態。

這一背景下，Alluxio提供了統一的資料檢視、豐富協議轉化、高效能資料訪問，以打造整體資料服務。其方案透過零改造、無侵入策略，可以使演算法工程師仍按原有方式工作，無需改變已有指令碼，並且客戶已經有的大量存量資料不需要進行私有化協議改造。

三、AI 2.0時代，大模型行至深水區，AI Infra迎來變革

在圓桌論壇環節，幾位嘉賓分享了對於“大模型行至深水區，AI Infra的新變化與新機會”這一主題的行業洞察，以及各自公司的產品和技術是如何解決AI應用中的核心痛點的。

作為主持人的德聯資本執行董事劉景媛提到，兩年前，ChatGPT將生成式AI推到臺前，迎來AI 2.0時代，Scaling Law和資料量的大規模增長給AI Infra帶來了非常大的增量機會。兩年後的今天大模型行至深水區，AI Infra在幫助大模型及相關產品的落地的過程中，產品邊界和功能需求逐漸明晰。

▲劉景媛

對於Infra這類研發週期長、工程複雜程度高的軟體產品，開源社羣或許可以貢獻一些能量，使產品迭代及技術選型更貼合實際需求，同時提升專案本身的關注度和影響力。

另外，“go global”也幾乎成為Infra軟體的必選項，一方面有商業的考量，另外中國工程師的勤奮和工程攻堅能力全球有目共睹。值得關注的是，在資源有限的情況下也要做好取捨（無論是功能方面還是業務模式方面）。

Zilliz作為向量資料庫企業，其產品可以處理大體量非結構化資料，挖掘資料價值。對AI 2.0時代的需求變化，Zilliz合夥人、研發VP欒小凡認為，AI技術在去年被高估、今年被低估，往後看AI落地還需要等一個機會，這也是整個正規化的發展機會。

談到開源，欒小凡感慨道，Zilliz目前正處於最具挑戰的階段，一方面要讓產品滿足客戶需求，另一方面要讓產品變現。

▲欒小凡

當下，AI Infra公司出海已經成為必答題。欒小凡認為出海的前提條件就是產品要有先發優勢，在擴充套件性、功能等方面碾壓競品。產品定製方面，欒小凡的觀點是Zilliz幾乎不做定製。原因在於其所處的賽道已經足夠大，沒有必要執著於將自己打造成大而全的平臺。

AI時代，資料量的暴增對儲存提出巨大挑戰。Alluxio首席架構師傅正佳介紹，他們透過分散式資料編排軟體系統，高效連線儲存與計算。Alluxio很早就注意到存算分離的趨勢，並在資料遠端訪問環節重點發力，回應了AI儲存挑戰。

Alluxio的儲存系統兼具開閉源版本，傅正佳認為開源幫助他們保持了與技術前沿的同步，也打出了知名度，但他們也面臨著商業化和部分開源使用者貢獻程度低的問題。Alluxio目前正積極出海，傅正佳分享，海內外團隊的優勢互補與產品的本地化是其中的關鍵。

▲傅正佳

英飛流創始人兼CEO張穎峰稱，RAG用起來很容易，但做好非常困難。公司能做成RAG的核心在於，把做系統的人和做AI的人融合在了一起去做產品。

談及開源，張穎峰說，開源是商業化的一種策略，而不是為了開源而開源；為了出海必須開源，但創業第一天就要想明白產品企業版和開發者版之間的區別。

▲張穎峰

目前英飛流的Infra產品還沒有進入商業化階段，結合過往創業經歷，張穎峰稱，商業化過程中，創始人必須對每個產品的特性和定製化的邊界有非常清晰的認識。

結語：生成式AI產業化落地加速，上中下游全產業鏈呼喚合作共贏

過去一年，生成式AI的發展度過了波瀾壯闊的一年，整個產業鏈成為全球創新、投資和應用最活躍的領域之一，每位參與者都在與時間賽跑。

Sora掀起影片生成熱潮，多模態世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，基座大語言模型不再持續狂飆，不僅價格戰、營銷戰硝煙燃起，融資熱度降溫，Scaling Law是否撞牆更是在年底引發熱議。

行業賦能持續進行，包括智慧體在內的應用層的興起仍然備受期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機、AI PC等AI硬體紛紛站上風口。不止AI硬體，大模型驅動下的具身智慧更是熱度空前，人形機器人正開啟星辰大海。

作為智慧產業的長期觀察者，我們期待見證並記錄中國生成式AI浪潮之變，並將持續邀請這股浪潮中的生力軍們，分享他們最新的技術進展與商業化探索。

隨著今日為期兩天的2024中國生成式AI大會（上海站）圓滿收官。2025年線下大會也將正式啟動，除了1月14日的全球自動駕駛峰會，圍繞AI晶片、生成式AI等領域的線下大會也已規劃上了，敬請期待。