㈠ 打贏AI爭奪戰，要靠一張算力網
AI算力是未來國家、城市、企業的核心競爭力。
文丨華商韜略 陳必章
在人工智慧時代，AI算力就是電，AI計算中心就是電廠。
電力時代，我們構建了一張「電網」，如今隨著國內各地人工智慧計算中心的相繼落地，我們正在編織一張AI算力網路。
目前，人工智慧的發展已提升到國家戰略層面，加快人工智慧產業發展，保障和提供充沛的AI算力，對於贏在AI時代的國家、城市和企業來說，已經是迫在眉睫的問題。
【沒有算力 就像沒有電】
最近這段時間，全國很多地方政府和企業領導最鬧心的事情什麼？
答案可能是兩個字：缺電。
但這個鬧心的事情還沒解決，在全球各國，乃至一國之內的不同地區，又開始面臨一個像電力一樣，決定國計民生的關鍵要素。
這個關鍵要素就是AI算力。
AI算力，顧名思義，就是支撐AI的計算能力。 此處的計算不是加減乘除，而是對世界萬物的計算，是萬物互聯、人工智慧之下的高度復雜、無所不在的計算。
不同於傳統算力，AI算力為了支撐AI模型的開發、訓練和推理，對並行處理能力的要求特別高，也因此需要專門的AI晶元和框架。
比如， 具備強大浮點運算能力的AI晶元，才能夠通過訓練、持續迭代優化提供滿足行業企業智能化轉型的高質量AI模型。 復雜模型訓練中，需對上千億個浮點參數進行微調數十萬步，需要精細的浮點表達能力。如果沒有強大的訓練晶元，則難以保障演算法模型產出的效率。千億級中文NLP（自然語言處理）大模型「鵬程·盤古」，面向生物醫學領域的「鵬程·神農」平台的發布，都離不開AI晶元的支撐。
再比如，被視為「AI領域操作系統」的AI框架，90%的AI應用是基於AI框架層來開發。在該領域國內 科技 企業已取得重大成果： 業界領先的AI計算框架升思MindSpore，是一款支持端、邊、雲全場景的深度學習訓練推理框架。 除具備自主可控的優勢之外，一套框架即可支持AI+科學計算等多樣性應用。當前升思MindSpore社區累計下載量超過60萬，有超過100家高校選擇升思MindSpore進行教學。
正是有了這些AI晶元和AI框架釋放出的AI算力，我們才能加速進入萬物互聯和人工智慧時代。
今天，從每個人手裡的手機，到企業的雲上平台，再到城市大腦……我們的生產和生活越來越依賴於AI，越來越深入向AI獲取力量。
對中國來說，AI是從製造大國向製造強國轉型升級的關鍵。 最近多年，眾多城市都在努力爭奪各種資源提升城市的發展力和競爭力，而AI算力就是未來發展最重要的「資源」。
在人工智慧的世界，沒有AI算力，就像沒有電。
AI算力已滲入到我們生活和生產的方方面面，以大家較為熟悉的醫院葯房取葯為例：
拿到處方葯單，在葯房前排隊等候，由醫務人員拿著處方照單分葯，這種漫長的等待和焦慮，很多人都有切身體會。現在，已經有企業開發出利用人工智慧技術進行全自動補發葯品的機器人，用到了3D視覺定位、機器人智能抓取、智能視覺復核技術，能夠確保100%補葯准確率，而且效率也更高，發葯速度可以達到每小時2500盒，8秒鍾就可以處理一個訂單。在葯品發放過程中，系統可以自主調度搬運葯品，不需要人工的干預。
它帶來的最直觀的改變，就是可以把葯品分揀的時間從原來的50秒縮短到3秒，患者只需要一分鍾就能取到葯品。
這個過程中，怎麼識別處方單，怎麼准確分揀並發放葯品？要實現這些功能就得看這個機器人使用的AI系統能算得有多快、多好、多准，這就是AI算力。
【要有電 就得有電廠和電網】
AI算力如此重要，但很多企業缺乏足夠的資金來搭建自己的AI算力。那AI算力需求該如何被滿足，國家、城市又該如何提供足夠的AI算力支持，推動AI產業發展並贏得AI時代的競爭力呢？答案是， 要讓AI算力成為公共資源，配套建立新型基礎設施。
這種新型的算力基礎設施就是人工智慧計算中心，用回電氣時代的比喻，那就是要建電廠和電網。
首先是，加快人工智慧計算中心的建設。
人工智慧計算中心，是以基於人工智慧晶元構建的人工智慧計算機集群為基礎，涵蓋了基建基礎設施、硬體基礎設施和軟體基礎設施的完整系統，其核心功能就是，提供從底層晶元算力釋放到頂層應用使能的人工智慧全棧能力，也就是輸出AI算力。
人工智慧計算中心除了是提供公共算力服務的平台，還同時應該是應用創新的孵化平台、產業聚合發展平台和科研創新人才培養平台。只有同時扮演好這些角色，才能打通「政產學研用」，集中最多的力量，形成產業匯聚力並提升AI競爭力。
目前，全世界都在加快人工智慧計算中心建設。尤其是美國，它一方面千方百計地打壓其它國家的發展，一方面則大手筆投入加強本國人工智慧的發展，拜登政府更一度公布了3000億美元的投資計劃，捍衛美國在人工智慧領域的領先地位，而其中很重要的投入，就是加強數據中心和智算中心的新基建。
中國當然不會輕易錯過人工智慧產業發展帶來的機遇。早在2017年，國務院就發布了《新一代人工智慧發展規劃》，並強調要「建設高效能的計算基礎設施」。去年疫情期間，中央進一步明確提出新基建戰略，而加強數據中心和人工智慧計算中心建設，則是整個新基建的重中之重。
因為，沒有強大的算力，以數字化為著眼點的新基建七大領域幾乎都無法實現其建設目標。
國家戰略指引，市場前景召喚，甚至經濟轉型升級的壓力下，諸多地方政府都已積極行動，牽頭人工智慧計算中心建設，並以此為基礎提升本地算力水平，構築數字時代的核心競爭力。
今年5月31日， 科技 部批復的15個國家人工智慧創新發展試驗區中，武漢的人工智慧計算中心已率先竣工並投入運營；西安未來人工智慧計算中心也已經上線，其它省市的人工智慧計算中心建設也陸續規劃中。
武漢人工智慧計算中心投運以後，為武漢乃至湖北地區的經濟發展、科研創新、企業轉型等提供了算力支撐。
比如，武漢大學基於武漢人工智慧計算中心打造了全球首個遙感專用框架武漢.LuojiaNet，針對「大幅面、多通道」遙感影像，在整圖分析和數據集極簡讀取處理等方面實現了重大突破。
再比如，中科院自動化所利用該中心的算力支持，研發了全球首個視頻生成多模態大模型——紫東.太初。作為業內首個千億級三模態大模型，紫東.太初的視頻理解與描述性能已做到全球第一，不僅具有多任務聯合學習能力，還能通過學習實現AI化的圖文搜索，以及音頻、短視頻、MV製作，極大縮短音視頻的創造時間。
9月份，西北地區第一個人工智慧計算中心落子西北重鎮西安市，一期規劃具備300P AI算力的西安未來人工智慧計算中心，基於升騰AI基礎軟硬體平台建設，將提供精準可靠的模型訓練及推理。
西安未來人工智慧計算中心，已經簽約了西安電子 科技 大學遙感項目、西北工業大學語音大模型項目、陝西師范大學「MindSpore研究室」多個項目，在支撐西安「6+5+6+1」現代產業體系發展的同時，也會強化西安乃至整個西北地區的人工智慧產業集群，為西北地區人工智慧產業的發展提供算力支持。
剛剛上線的西安未來人工智慧計算中心，算力使用率已快接近滿負荷狀態。當地各行業企業、科研機構、高校對於算力的渴求可見一斑。
其次，高效利用人工智慧計算中心的算力資源。
當越來越多人工智慧計算中心建成、投運，如何讓它們的算力更高效並服務到更多的行業和企業？如何避免各地算力分布不均衡、使用效率不一致的情況？如何讓沒有規劃建設人工智慧計算中心的地方，也能享受到AI算力的使能？人工智慧計算中心之間的互聯、協同、共享，成為需要各界考慮的一個問題。
這就需要人工智慧算力網路了，就像電網之於電廠和用電對象。
有了算力網路，我們就能將分布在各地的人工智慧計算中心節點連接起來，動態實時根據算力資源狀態和需求，實現統籌分配和調度計算任務，構成全國范圍內的感知、分配、調度人工智慧中心的算力網路，然後在此基礎上匯聚和共享算力、數據、演算法資源。
最重要的是，有了這張網，更多的行業和企業，就能像現在用電一樣使用AI算力了。
那麼，算力網路這張網還會給整個人工智慧行業有哪些作用呢？
首先是算力的匯聚， 就是把不同地區、不同城市的算力資源高速互聯，實現跨節點之間的算力合理調度，資源彈性分配，這有利於提升各個人工智慧計算中心的利用率，實現對於整體能耗的節省，後續可支持跨節點分布學習，為大模型的研究提供超級算力。
其次是數據的匯聚， 政府牽頭與各行業企業合作，在達成人工智慧領域的公共數據開放之後，可依託人工智慧計算中心匯聚高質量的開源、開放的人工智慧數據集，能夠促進人工智慧領域的演算法開發和行業落地。
最後是生態的匯聚， 各個人工智慧計算中心之間，統一互聯標准、應用介面標准，實現網路內大模型能力開放與應用創新成果共享，強化跨區域科研和產業協作，為全國范圍用戶進行人工智慧應用創新提供更多的資源選擇和更便捷的合作方式，加速產業聚合，激活產業共融共生。
簡單總結算力網路，就是匯聚大數據+大算力，使能大模型和重大科研創新，孵化新應用。進而實現算力網路化，降低算力成本，提升計算能效。
科技 部在三年行動規劃中指出，要「布局若幹人工智慧計算中心，形成廣域協同的人工智慧平台」。在這一規劃的指引下，人工智慧計算中心陸續在許多城市落地。就在剛剛結束的HC2021上，20多個人工智慧計算中心建設城市聯合點亮了「人工智慧算力網路」。
這張人工智慧行業的算力網路，已經開始編織構建。
【AI算力建設 不是從長計議而是迫在眉睫】
2020年，麻省理工學院計算機科學家、並行計算先驅Charles Leiserson在《科學》雜志上撰文指出：
深度學習正逼近現有晶元的算力極限。
事實上，過去十年，人類最好的AI演算法對算力的需求幾乎增長了100萬倍，平均每3.4個月翻一倍。
相比之下，全球AI算力的增長卻十分有限。
需求與供給之間的巨大鴻溝，促使各國政府，尤其是中、美、歐、日等AI技術領先的地區大力建設AI算力。
沒有強大AI算力，一個國家或地區必然在未來的 科技 競爭中處於劣勢。
從當前算力基礎設施建設進度來看，深圳、武漢、西安等城市均已建成人工智慧計算中心並投入運營，成都、河南等城市正在建設中，北京、南京、上海等地的人工智慧計算中心加速建設，也是蓄勢待發。
未來，一旦人工智慧計算中心全部建成，並組成人工智慧算力網路，不但將為 社會 提供跨地域、源源不斷的超級算力。而且，還能夠實現跨區域的科研和產業協作，使能大模型和重大科研創新，為千行百業孵化新應用。
最終，使得人工智慧賦能更多的行業和場景，讓我們在未來國家之間的產業和 科技 競爭中立於不敗之地。
——END——
版權所有，禁止私自轉載！
㈡ ICML2024高分！魔改注意力，讓小模型能打兩倍大的模型
改進了Transformer的核心機制注意力，小模型也能與大模型媲美！這篇ICML 2024高分論文，由彩雲科技團隊研發的DCFormer框架，以替換多頭注意力模塊（MHA）為目標，提出了可動態組合的多頭注意力（DCMHA）。
DCMHA解除了MHA中注意力頭查找和變換迴路的固定綁定，讓它們能夠根據輸入動態組合，極大地提升了模型的表達能力。這意味著，原本每層固定的H個注意力頭，現在用相同的參數量和計算資源，能夠按需組合出多達HxH個注意力頭。
DCMHA模塊可以輕松地集成到任何Transformer架構中，以替換原有的MHA模塊，從而創建出通用、高效且具有擴展性的新架構DCFormer。
這項創新由來自北京郵電大學和AI創業公司彩雲科技的研究人員共同完成。通過使用DCFormer架構構建的模型DCPythia-6.9B，在預訓練困惑度和下游任務評估上均超越了開源Pythia-12B，且性能與那些計算量是其1.7-2倍的Transformer模型相當。
在探討大模型的局限性時，研究指出，雖然更大的模型通常會帶來更好的效果，但作為構建塊的Transformer本身仍有巨大的改進空間。DCFormer正是基於這一觀點，通過DCMHA模塊的引入，實現了對Transformer架構的根本性改進。
DCMHA模塊通過引入compose操作，允許動態決定注意力頭的組合方式，最大限度地增強了表達能力。在不犧牲性能的前提下，DCFormer架構的計算和參數復雜度幾乎可以忽略，結合JAX和PyTorch實現層面的優化，使得DCFormer可以高效地進行訓練和推理。
在性能評估方面，DCFormer展示了顯著的規模擴展效果，達到了1.7~2倍算力的Transformer模型性能，意味著在相同算力下，DCFormer能帶來更高的智能轉化率。此外，DCFormer在主流NLP下游任務上的評測中，不僅在Pile驗證集上的ppl更低，而且在大部分任務上都顯著超越了同規模的開源模型Pythia。
在訓練速度和推理速度對比中，DCFormer++在TPU v3 pod環境下的訓練速度為Transformer++的74.5%-89.2%，在A100 80G GPU上的推理速度為81.1%-89.7%，隨著模型參數的增加，額外的計算開銷會逐漸降低。
消融實驗驗證了DCMHA的有效性，以及通過增加局部注意力層比例和僅使用query-wise動態組合方式進一步減少訓練和推理開銷的可行性。
總結而言，DCFormer通過DCMHA模塊的創新，為Transformer架構帶來了新的活力，不僅顯著提升了模型的性能，還展示了在使用softmax注意力的情況下，通過引入動態權重可以大幅提升性能的潛力。這一工作表明，對於追求極限算力智能轉化效率的理想模型架構而言，當前的Transformer架構雖然強大，但仍有巨大的改進空間，模型架構創新同樣至關重要。
彩雲科技計劃在旗下產品彩雲天氣、彩雲小譯、彩雲小夢中率先應用DCformer。更多研究細節，可參考原始論文。讀者可自行訪問ICML2024論文鏈接、Arxiv論文鏈接或代碼鏈接以獲取更多信息。