DeepSeek的新聊天機器人擁有令人印象深刻的介紹：“嗨，我被創建了，您可以問任何東西，並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物，已迅速成為主要參與者，甚至導致NVIDIA的股價大幅下降。
圖片：ensigame.comDeepSeek的成功源於其創新的建築和培訓方法。關鍵技術包括：
- 多語預測（MTP）： MTP不是單獨預測單詞，而是同時預測多個單詞，從而提高準確性和效率。
- 專家的混合物（MOE）：該體系結構利用了DeepSeek V3中的256個神經網絡，為每個令牌處理任務激活了8個神經網絡，加速培訓並提高了性能。
- 多頭潛在註意力（MLA）： MLA反復從文本片段中提取關鍵細節，確保不會錯過關鍵信息，從而更加細微地了解輸入數據。
DeepSeek最初僅使用2048 GPU的DeepSeek V3的培訓成本僅為600萬美元。然而，半分析顯示出更為廣泛的基礎設施：大約50,000個NVIDIA HOPPER GPU（包括10,000 H800，10,000 H100和其他H20）分佈在多個數據中心，代表總服務器投資總額約為16億美元，運營支出約為9.4.4億美元。
圖片：ensigame.comDeepSeek是中國對沖基金高飛行員的子公司，擁有其數據中心，提供了對優化和更快的創新實施的控制。這種自資助的方法增強了靈活性和決策。該公司吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要來自中國大學。
圖片：ensigame.com這筆600萬美元的培訓成本索賠似乎是一種輕描淡寫的輕描淡寫，僅代表培訓的GPU使用情況，不包括研究，改進，數據處理和基礎架構。 DeepSeek對AI開發的實際投資超過5億美元。儘管如此，它的精益結構允許與更大，更官僚的公司相比，具有有效的創新。
圖片：ensigame.comDeepSeek的成功凸顯了資金龐大的獨立AI公司與行業巨頭競爭的潛力。儘管它的“革命預算”主張被誇大了，但它的成功無疑與大量投資，技術突破和強大的團隊有關。在比較培訓成本時，對比很明顯：DeepSeek的R1耗資500萬美元，而Chatgpt-4的價格為1億美元。但是，它仍然比競爭對手便宜。
![Taffy Tales [v1.07.3a]](https://imgs.xfsxw.com/uploads/32/1719554710667e529623764.jpg)
