黃仁勳明天登港！沈向洋3小時重磅演講：釋出多款大模型，具身智慧激情碰撞

作者 | 許麗思

編輯 | 心緣

智東西11月22日報道，今日，一年一度的2024 IDEA大會在深圳舉行，這場由美國國家工程院外籍院士沈向洋發起的人工智慧盛會，以粵港澳大灣區為視窗，深入探討了全國及全球視角下的大模型算力趨勢、具身智慧、AI+程式設計、AI for Science、低空經濟等熱點議題。

作為IDEA研究院創院理事長，沈向洋進行了近3小時的主題演講，期間釋出多個IDEA研究院創新成果，包括通用視覺大模型、營銷創作大模型、經濟大模型、運籌決策大模型、投資大模型、化學領域專家大模型、低空管理與服務作業系統等。面向具身智慧，IDEA研究院宣佈分別與騰訊、美團、比亞迪展開合作。

在人工智慧發展過程中，沈向洋認為，算力、演算法和資料是最重要的。他直言，過去十幾年，英偉達是人工智慧行業最了不起、最成功的一家公司。“英偉達硬生生把自己從自己從做硬體、晶片的乙方變成了甲方，今天能拿得到英偉達的卡就可以說是成功了一半。”

沈向洋現場透露，明天黃仁勳會到香港科技大學接受榮譽博士學位的授予，而他準備現在和黃仁勳討論一些關於技術、領導力和創業的故事，特別是在針對算力發展的問題，探討未來十年還會不會像過去十年那樣能夠達到100萬倍的增長。

▲沈向洋現場公佈明天將與黃仁勳進行對談

他還強調，具身智慧是接下來非常大的機會。如今的多模態模型實際上沒有真正地理解物理世界，而要走向世界模型，必須要靠機器人。機器人最後會走向千家萬戶、走進每一個家庭，這是一件激動人心的事情。

據瞭解，IDEA大會於2021年首度舉行，匯聚產學研企界領袖，致力構建一個凝聚數字經濟多方力量的國際化平臺，是粵港澳大灣區最具影響力的科技盛會之一。

一、“講卡傷感情，沒卡沒感情”

“我最近一直講的一句話叫作‘講卡傷感情，沒卡沒感情’。”沈向洋說，如果需要進行人工智慧的發展，需要大量高效能顯示卡的支撐，可以把它想象成是信用卡，弄100張卡，就需要三四千萬元的投入。

沈向洋談道，近年來，人工智慧的蓬勃發展讓整個行業充滿期待。在其發展過程中，算力、演算法和資料這“三件套”至關重要。

先看算力。計算行業在過去四五十年裡，算力不斷提升是關鍵。英特爾提出的摩爾定律表明每18個月算力增長一倍，然而隨著人工智慧尤其是深度學習的發展，對算力的需求更高了。

沈向洋覺得，英偉達成為了人工智慧領域最了不起、成功的公司。從硬體晶片製造商轉變為行業主導，其出貨量巨大增長，產品供不應求。如2023年H100的出貨量龐大，國內公司和美國的採購數量都非常可觀，馬斯克還搭建了10萬張H100卡的叢集。

大模型的發展是算力需求增長的重要原因。大模型引數量從百億到千億再到萬億，模型變大對訓練要求高，資料量也需增長，對算力的需求與引數呈平方關係。

從增長倍數來看，如果一年漲十倍，十年的增長倍數驚人。從摩爾定律到黃氏定律，黃氏定律是基於模型訓練對算力的需求概念。摩爾定律18個月漲一倍，十年是100倍，而一年漲四倍，十年則是100萬倍，這解釋了英偉達市值過去十年漲300倍的現象。

對於未來十年算力的需求增長，沈向洋稱目前並不確定。不過明天，黃仁勳將到香港科技大學接受榮譽博士學位的授予，之後雙方會進行對談，討論技術、領導力、創業的故事，也順便請教他一下未來十年的發展還會不會有100萬倍的增長。

而在演算法方面，沈向洋提到自2017年Transformer架構出現以來，人工智慧、深度學習和大模型基本沿著此路線，透過堆資料和算力不斷發展。在GPT-4之後，雖然GPT-5尚未推出，但OpenAI不斷帶來新技術突破，如多模態的GPT-4o以及新的推理學習能力o1。演算法領域不斷有人創造新演算法實現突破，方法正規化的轉移尤其值得思考。

過去幾個月，國內一些公司和初創企業在o1這條道路上取得良好進展。其演算法突破思路在於，此前大家關注的GPT系列主要是預訓練，預測“下一個token”，透過對資料進行聰明壓縮以快速給出答案。而新的正規化變革是增強學習，它更像人的思考過程，有後訓練、後推理過程。

增強學習並非新事物，很多人都用了，特別是AlphaGo下圍棋就用了此方法。如今其新特點是其打法更通用，不像以前一個系統只能解一個問題。就像o1不僅可以處理資料、程式設計，還能涉及物理、化學等多個領域。在演算法方面，未來幾年沿著SRL這條道路有望出現令人驚豔的發展。

針對資料方面，沈向洋提到，大模型的蓬勃發展，不僅體現在大引數上，資料量多也是重要方面。

以GPT為例，GPT-3出現時用了2T資料，GPT-4據說用了12T，不斷訓練後大概用了20T，這是目前網際網路上能獲取的較乾淨的資料量，約20萬億。GPT-5遲遲未出，若出現，他認為資料量大概會到200T規模。網際網路上已難找到這麼多資料，所以要合成資料來訓練未來模型。

沈向洋舉了個例子說明1T資料的含義：約等於500萬本書、20萬張高畫質照片或500萬篇論文。人類歷史上的書籍總量大概21億Token，微博有38億Token，Facebook約140T資料，但社交媒體上的資料質量不高。一個人從小學到大學真正學到的知識大概是0.00018T，讀完大學學到的東西相當於1000本書。

ChatGPT等人工智慧主要用網際網路資料，網際網路發展40年，公眾在網上釋出了的大量資訊，可以說為人工智慧的訓練做了準備工作。另外，無論訓練哪種語言的人工智慧，底層高質量資料多為英文，人工智慧時代英文重要性可能增強。

二、釋出通用視覺大模型DINO-X，具身智慧合作騰訊美團比亞迪

計算機視覺技術在真實世界的應用場景十分廣泛。然而，過去主流的小模型方案，難以應對碎片化、多變的長尾需求，限制了技術落地規模。

自2022年起，IDEA團隊從目標檢測出發，打造了精準度、通用性、泛化能力兼優的DINO系列視覺大模型。本次大會就釋出了該系列最新的DINO-X通用視覺大模型，擁有真正的物體級別理解能力，實現開放世界（Open-world）目標檢測。無需使用者提示，直接檢測萬物。

與此同時，IDEA團隊還推出行業平臺架構，透過一個大模型基座，結合通用識別技術結合，讓模型不需重新訓練，就可邊用邊學，支撐多種多樣的B端應用需求。

沈向洋強調，計算機視覺在機器人和具身智慧方面也將是發展的重要方向，機器人最終會走向每一個廠房、每一個家庭。

現場一連宣佈了IDEA研究院在具身智慧領域布三個合作：與騰訊合作，在深圳福田區、河套深港科技創新合作區落地建設福田實驗室，聚焦人居環境具身智慧技術；與美團合作，探索無人機視覺智慧技術；與比亞迪合作，拓展工業化機器人智慧應用。

活動中，IDEA團隊還分享了正在進行的AI助盲應用研究。

而針對快速騰飛的低空經濟領域，沈向洋總結了低空經濟的發展四大關鍵因素：

一是應用為王；二是政府為主，需要程式、法規、政策支援；三是技術為底；四是安全至上。安全、效率、成本非常重要，只有這些事情做好才能保證支援大規模的飛行。

大會現場，IDEA推出了低空管理與服務作業系統OpenSILAS1.0Alpha版，還攜手17家產業夥伴發起OpenSILAS創新聯合體，旨在打造開放共享、技術領先的系統和平臺，建立有實際系統支撐的標準體系。

三、合成資料能節省八成以上成本，大模型落地金融運籌投資

大模型能力的湧現，離不開網際網路時代的海量資料養料積累。據沈向洋分享，如今資料存量告急，對使用合成資料來訓練未來模型的需求越來越迫切了。

在這個方向上，IDEA團隊研發了IDEA Data Maker，透過自研語境圖譜技術，解決過往文字資料合成方案的多樣性匱乏等問題，還能為合成資料引入“指導手冊”，以圖譜為綱，指導用於合成的語境取樣。

實驗結果顯示，IDEA團隊的方案能持續為大模型帶來能力提升，表現超過目前的最佳實踐（SOTA）；從token消耗來看，平均節約成本85.7%。目前，該技術內測平臺已開放，透過API提供服務。

在拓展新前沿的同時，大模型價值創造也在進行時。大會上，IDEA釋出了多個垂類行業應用落地進展，包括：學術大模型和AI科研神器ReadPaper、營銷創作大模型，以及面向經濟與金融領域的經濟大模型、運籌決策大模型、投資大模型。

▲經濟大模型

▲運籌決策大模型

四、已研發多款化學專家大模型，AI程式設計工具鏈12月份開放

在基礎研究愈發受到重視的當下，AI for Science是技術創新創業的重要方向。今年的諾貝爾物理學獎和化學獎，更是將這場科學革命推向聚光燈下。好的AI工具，可以幫助科學家做出更快、更好的科學發現。

IDEA團隊選擇了化學領域，從預測能力和資料能力入手，進行了研究和產業化實踐。

在預測方面，IDEA研發的多個化學領域專家大模型，分子屬性預測和化學反應預測能力均處業界領先水平；在資料方面，IDEA開發了化學文獻多模態大模型，聯合晶泰科技釋出專利資料探勘平臺PatSight，將藥物領域的專利化合物資料探勘時間，從數週縮短至1小時。

除了科學研究之外，另一個技術正規化正在被AI重塑的領域，是程式語言。

“全世界有那麼多的程式語言，小語言、大語言、中語言，基本上沒有一個語言真正被大家所用的是中國人發明、中國人創造，這種現象我們是有機會可以改變的。”沈向洋說。

此次大會上，IDEA研究院的MoonBit團隊就展示了其AI for coding的最新成果。

MoonBit是專為雲端計算與邊緣計算設計的AI雲原生程式語言及工具鏈，已具備完備的多後端支援和跨平臺能力，可在硬體上直接執行，支援RISC-V。MoonBit的開源開發平臺，將於12月正式開放。

據瞭解，MoonBit去年底剛開源只有幾百位使用者，今年3月使用者數量達到三千，不到半年翻了十倍的增長，如今已有將近3萬使用者。預計2025年底，MoonBit將會有10萬使用者，並爭取2026年底達到百萬級的使用者，成為粵港澳大灣區現象級的程式語言。

結語：AI發展，從推動經濟增長到增加人類福祉

過去十幾年來，人工智慧的發展速度令人驚訝，人類許多自豪的能力都逐漸被AI接近甚至是超越。

更令人驚訝的是，如今人工智慧的能力已經不再是純粹的單點能力的增加，而是通用人工智慧整體能力的提升，對社會帶來帶來的影響也變得更為深遠。

沈向洋認為，從長遠的人類社會發展角度來看，巨大躍遷都是由技術創新帶來的。工業時代的全球GDP年均增速約為1%-2%，資訊時代在3%-4%，而在人工智慧時代，這個數字會是多少？

在他看來，未來人工智慧、機器人的數量會急劇增加，帶來生產效率的巨大提升，GDP也可能會帶來百分之十幾的增長。

但是，AI的發展，能不能從推動經濟增長到轉化為人類的最大福祉？這是在探索AI的道路上，必須要思考的問題。