輝達的「第二擴展法則」

【雙魚之論】英文拷到 G / D 找中文翻譯
我先問Monica：擴展法則，在AI的LLM上，是什麼意思？

Monica：擴展法則（Expansion Principle）在人工智慧的語言模型（LLM）中，通常指的是一種方法或策略，用來增強模型的生成能力或理解能力。具體來說，這可能涉及以下幾個方面：
語言生成擴展： 透過不斷擴展模型的訓練數據集，讓模型能夠學習更多樣的語言結構和上下文，從而提高生成文本的多樣性和質量。
上下文擴展： 在處理特定問題或主題時，擴展上下文信息，讓模型能夠更好地理解和生成相關內容。
功能擴展： 透過引入新的算法或技術，擴展模型的功能，使其能夠解決更複雜的任務或提供更多的服務。
這些擴展策略的目的是提高模型的靈活性和適應性，從而在不同的應用場景中表現得更好。

我再問：「執行長黃仁勳10月在印度一場會議上也表示，輝達發現了推理階段的「第二擴展法則」，為該公司最新AI晶片Blackwell的需求帶來了巨大提升。」詳細說明之

Monica：黃仁勳在10月於印度的會議上提到的「第二擴展法則」主要是針對AI推理階段的需求進行的探討。這一法則可能指的是在推理過程中，AI模型的性能和效率隨著計算資源和數據量的增加而顯著提升。
具體來說，輝達的最新AI晶片Blackwell可能利用了這一法則來增強其推理能力，這樣的設計使得模型能在處理更複雜的任務時，仍然保持高效能和低延遲。這對於AI應用的實時性和準確性有著重要影響。
此外，這一法則的提出也顯示了輝達在推進AI技術方面的前瞻性，並預示著未來在AI領域的需求將會持續增長，尤其是在推理階段的應用。這可能會促使更多企業和開發者採用輝達的技術，進一步推動其市場需求。

******************************

我有注意到：LLM都是「順著話尾」的方式，不是真正的發展知識。現實世界，有些人說話，真的會「順著話尾」，表達自己「也知道」，其實是「無所知」。
LLM這種對於既有的知識，是有整理功能的。

現在「順著話尾的方式」已經到瓶頸，無法應對未來需求，未來，會再度如何發展？很想知道

AI「新智慧演算」求突破瓶頸！　黃仁勳：發現第二擴展法則    ETtoday 20241112

隨著大型語言模型（LLM）規模不斷擴大，OpenAI等人工智慧公司在追求更高效的AI模型過程中遇到挑戰。這些公司正在探索、開發模仿人類思考的訓練技術，幫助演算法進行運算。訓練法的轉變，可能改變AI競賽的格局；揮達執行長黃仁勳此前也表示，發現推理階段「第二擴展法則」，能大幅推進最新的AI晶片。

路透社報導，12位AI科學家、研究員和投資人透露，這些技術已應用於OpenAI最新發布的o1模型，可能重塑AI技術競賽，並對能源、晶片類型等AI公司需求的資源產生深遠影響。

廣受熱議的ChatGPT自2年前問世以來，科技公司普遍認為，透過增加數據量和計算能力來「擴展」現有模型，能夠不斷改進AI。然而，隨著技術發展，一些AI領域的知名科學家開始質疑這種「越大越好」的模式；OpenAI與Safe Superintelligence（SSI）聯合創辦人蘇茨克維爾（Ilya Sutskever）表示，透過「預訓練」大規模未標註數據來理解語言模式的成果已經出現瓶頸。

蘇茨克維爾早期即主張透過擴大數據量與計算資源來推動生成式AI的進步，這一理念最終催生了ChatGPT。然而，蘇茨克維爾已於今年離開OpenAI，創立SSI，並致力於探索新的AI擴展方式。他表示：「2010年代是擴展的時代，而現在我們回到了探索與發現的年代。大家都在尋找下一個突破點。如今，擴展正確的方式比以往更重要。」

根據3位知情人士的說法，主要AI實驗室的研究人員在研發超越GPT-4的下一代大型語言模型時，遇到了延遲和成果不如預期的困難。這些挑戰反映出只依靠更大的數據量與計算能力並不能一直持續下去，促使AI領域重新思考技術創新的新方向。

SSI現正致力於開發一種替代性的方法，雖然蘇茨克維爾並未詳細透露該方法的內容，但這一探索可能會為AI技術的未來帶來新的可能性。隨著競爭加劇，各大AI公司也面臨資源需求的壓力，從能源到專用晶片的需求持續攀升，而這些資源的合理分配成為未來AI競賽的一大關鍵。

此一趨勢可能改變AI硬體需求格局，目前輝達的AI晶片在訓練市場佔據主導地位，但在推理市場將面臨更多競爭，對此，該公司對新技術的需求保持樂觀。執行長黃仁勳10月在印度一場會議上也表示，輝達發現了推理階段的「第二擴展法則」，為該公司最新AI晶片Blackwell的需求帶來了巨大提升。