दीपसेक का $ 1.6B विकास: सामर्थ्य मिथक को डिबंकिंग करना

दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, जल्दी से एक प्रमुख खिलाड़ी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में एक महत्वपूर्ण गिरावट में भी योगदान देता है।

दीपसेक की सफलता अपने अभिनव वास्तुकला और प्रशिक्षण विधियों से उपजी है। प्रमुख प्रौद्योगिकियों में शामिल हैं:

• मल्टी-टोकन भविष्यवाणी (एमटीपी): व्यक्तिगत रूप से शब्दों की भविष्यवाणी करने के बजाय, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, सटीकता और दक्षता को बढ़ाता है।
• विशेषज्ञों का मिश्रण (एमओई): यह आर्किटेक्चर डीपसेक वी 3 में 256 तंत्रिका नेटवर्क का उपयोग करता है, प्रत्येक टोकन प्रसंस्करण कार्य के लिए आठ को सक्रिय करता है, प्रशिक्षण को तेज करता है और प्रदर्शन में सुधार करता है।
• मल्टी-हेड लेटेंट ध्यान (एमएलए): एमएलए बार-बार पाठ के टुकड़ों से महत्वपूर्ण विवरण निकालता है, यह सुनिश्चित करता है कि महत्वपूर्ण जानकारी याद नहीं है, जिससे इनपुट डेटा की अधिक बारीक समझ हो जाती है।

दीपसेक ने शुरू में केवल 2048 जीपीयू का उपयोग करते हुए, डीपसेक वी 3 के लिए केवल $ 6 मिलियन की उल्लेखनीय रूप से कम प्रशिक्षण लागत का दावा किया था। हालांकि, सेमियालिसिस ने कहीं अधिक व्यापक बुनियादी ढांचे का खुलासा किया: लगभग 50,000 एनवीडिया हॉपर जीपीयू (10,000 एच 800, 10,000 एच 100 और अतिरिक्त एच 20 के साथ) कई डेटा केंद्रों में फैले, लगभग $ 1.6 बिलियन के कुल सर्वर निवेश और लगभग $ 944 मिलियन के परिचालन खर्च का प्रतिनिधित्व करते हैं।

चाइनीज हेज फंड हाई-फ्लायर की सहायक कंपनी दीपसेक अपने डेटा सेंटरों का मालिक है, जो अनुकूलन और तेजी से नवाचार कार्यान्वयन पर नियंत्रण प्रदान करती है। यह स्व-वित्त पोषित दृष्टिकोण लचीलापन और निर्णय लेने को बढ़ाता है। कंपनी शीर्ष प्रतिभा को आकर्षित करती है, कुछ शोधकर्ताओं ने मुख्य रूप से चीनी विश्वविद्यालयों से सालाना $ 1.3 मिलियन से अधिक कमाई की।

$ 6 मिलियन प्रशिक्षण लागत का दावा एक महत्वपूर्ण समझ प्रतीत होता है, जो केवल पूर्व-प्रशिक्षण GPU उपयोग का प्रतिनिधित्व करता है, अनुसंधान, शोधन, डेटा प्रसंस्करण और बुनियादी ढांचे को छोड़कर। एआई विकास में दीपसेक का वास्तविक निवेश $ 500 मिलियन से अधिक है। इसके बावजूद, इसकी दुबला संरचना बड़ी, अधिक नौकरशाही कंपनियों की तुलना में कुशल नवाचार के लिए अनुमति देती है।

दीपसेक की सफलता उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने के लिए अच्छी तरह से वित्त पोषित स्वतंत्र एआई कंपनियों की क्षमता पर प्रकाश डालती है। जबकि इसका "क्रांतिकारी बजट" दावा अतिरंजित है, इसकी सफलता निर्विवाद रूप से पर्याप्त निवेश, तकनीकी सफलताओं और एक मजबूत टीम से जुड़ी हुई है। प्रशिक्षण लागतों की तुलना करते समय इसके विपरीत है: दीपसेक की R1 की लागत $ 5 मिलियन है, जबकि CHATGPT-4 की लागत $ 100 मिलियन है। हालांकि, यह अभी भी अपने प्रतिद्वंद्वियों की तुलना में सस्ता है।