जितना उपयोग करें उतना भुगतान करें - AI Model Orchestration and Workflows Platform
हर दिन, एलएलएम भारी मात्रा में डेटा बनाते हैं, जिससे इसे अच्छी तरह से संग्रहीत करना और भेजना महत्वपूर्ण हो जाता है। किसी भी डेटा को खोए बिना फ़ाइल आकार में कटौती करने के लिए दोषरहित संपीड़न सबसे अच्छा विकल्प है। यहां बताया गया है कि यह महत्वपूर्ण क्यों है और यह कैसे काम करता है:
दोषरहित संपीड़न न केवल जगह बचाता है - यह अधिक से अधिक एआई-निर्मित डेटा से निपटने का एक स्मार्ट तरीका है।
दोषरहित संपीड़न एआई-निर्मित टेक्स्ट को बिना कोई डेटा खोए अच्छी तरह से संग्रहीत करने का एक अच्छा तरीका है। यह डेटा में पैटर्न पहचानता है और फ़ाइल आकार में कटौती करने के लिए उनका उपयोग करता है। एआई-निर्मित टेक्स्ट के लिए, यह विधि फ़ाइलों को छोटा करने के अन्य तरीकों से थोड़ा अलग काम करती है। आइए देखें कि यह डेटा को कैसे सही रखता है और इसे अच्छी तरह से करता है।
दोषरहित संपीड़न का बड़ा हिस्सा यह है कि यह डेटा को छोटा कैसे बना सकता है लेकिन सारी जानकारी रखता है। यह बार-बार चीजों को देखता है - पैटर्न की तरह - जो बहुत कुछ दिखाता है और फिर उन्हें संक्षिप्त रूप में लिखता है। उदाहरण के लिए, यदि किसी पाठ में "द" बहुत अधिक है, तो इसे एक छोटे कोड में डाला जा सकता है जो कम जगह भरता है। जब हम इसे दोबारा बड़ा करते हैं, तो टेक्स्ट बिल्कुल वैसा ही वापस आ जाता है।
हफ़मैन कोडिंग और अंकगणित कोडिंग जैसे तरीके यह काम करते हैं। हफ़मैन कोडिंग उन चीज़ों को छोटे कोड देती है जो बहुत अधिक दिखाई देती हैं, जबकि अंकगणित कोडिंग डेटा के लिए सर्वोत्तम छोटे आकार के करीब पहुंचकर और भी बेहतर करती है। नए तरीके सीखने और बदलने से और भी आगे बढ़ते हैं क्योंकि वे देखते हैं कि एलएलएम कैसे डेटा बनाते हैं, जिससे वे इसे संपीड़ित करने में बेहतर हो जाते हैं।
यादृच्छिकता, या डेटा कितना अनिश्चित हो सकता है, यह बहुत मायने रखता है कि आप इसे कितना संपीड़ित कर सकते हैं। कम यादृच्छिक डेटा में अधिक स्पष्ट पैटर्न होते हैं, इसलिए इसे छोटा बनाना आसान होता है। एआई ऐसा डेटा बनाता है जिसका अनुमान लगाना आसान होता है, जिससे इसे संपीड़न के लिए अच्छा बनाने में मदद मिलती है।
हम पाठ को टुकड़ों में कैसे तोड़ते हैं - जैसे अक्षरों में, बाइट्स के समूह में, या पूर्ण शब्दों में - यह प्रभावित करता है कि हम इसे कितना छोटा बना सकते हैं। कोडिंग जो इस बात पर निर्भर करती है कि चीजें कितनी बार घटित होती हैं, सामान्य बिट्स को छोटे कोड देती हैं और दुर्लभ बिट्स को लंबे कोड देती हैं। चूँकि AI इन बिट्स का अच्छी तरह से अनुमान लगाकर टेक्स्ट बनाता है, यह डेटा को संपीड़ित करने के तरीकों के साथ अच्छी तरह से फिट बैठता है। पहले के बिट्स के आधार पर भविष्यवाणी करने से ये अनुमान बेहतर हो जाते हैं, जिससे यह सुधार होता है कि हम डेटा को कितना छोटा बना सकते हैं। स्मार्ट भविष्यवाणी इस पर आधारित होती है, जिससे संपीड़न और भी बेहतर हो जाता है।
डेटा को छोटा करना और उसका सही अनुमान लगाना एक साथ चलता है: एक मॉडल जितना बेहतर डेटा को जानता है, उतना ही बेहतर वह उसे छोटा कर सकता है। एक बेहतरीन उदाहरण LMCompress है, जो सेंट्रल चाइना इंस्टीट्यूट ऑफ आर्टिफिशियल इंटेलिजेंस और वाटरलू विश्वविद्यालय जैसे स्थानों के बड़े दिमागों द्वारा मई 2025 में बनाया गया एक तरीका है। LMCompress ने चीजों को बहुत छोटा बना दिया है, पुराने तरीकों की तुलना में हम टेक्स्ट, चित्र, वीडियो और ध्वनि को कितना छोटा बना सकते हैं, इसे दोगुना कर दिया है।
उदाहरण के लिए, LMCompress ने zpaq जो कर सकता है उसका एक-तिहाई हिस्सा टेक्स्ट बनाया। इसने इमेजनेट 43.4% से चित्र बिट्स को अपना पहला आकार बनाया और लिब्रिस्पीच से केवल 16.4% ध्वनियां बनाईं - पीएनजी (58.5%) और एफएलएसी (30.3%) जैसे अन्य तरीकों से बेहतर प्रदर्शन किया। चीजों को छोटा बनाने का यह उच्च स्तर स्मार्ट अंकगणित कोडिंग से आता है, जो प्रशिक्षण के दौरान एलएलएम द्वारा सीखी गई बातों का उपयोग करता है।
एलकॉम्प्रेस अध्ययन का एक बड़ा हिस्सा मिंग ली ने इस बारे में बात की कि सीखना और चीजों को संपीड़ित करना कैसे जुड़ा हुआ है:
__XLATE_10__
"इस पेपर में: हमने साबित किया कि संपीड़न का तात्पर्य सर्वोत्तम सीखने/समझने से है।"
डीपसीकज़िप और लामाज़िप जैसे अन्य उपकरण भी अच्छा प्रदर्शन करते हैं, पिछले zlib को 10% से अधिक बेहतर स्क्विश दरों से आगे बढ़ाते हैं। प्रॉम्प्ट.एआई जैसी बड़ी साइटों पर, जो एलएलएम-निर्मित बहुत सी चीजों का ध्यान रखती हैं, ये नए कदम कितनी जगह का उपयोग करते हैं और डेटा को स्थानांतरित करने की गति को कम करते हैं। जानने योग्य मुख्य बात? अनुमान लगाने वाले मॉडल और नो-लॉस स्क्विश एक ही चीज़ के दो भाग हैं, और इन दोनों का उपयोग करने से हमारे जानकारी रखने और उपयोग करने का तरीका बदल जाता है।
ये बड़े कदम न केवल जगह बचाते हैं बल्कि एआई सेटअप के साथ अच्छी तरह से मेल खाते हैं, जिससे काम सुचारू रूप से चलता है और लागत भी कम आती है।
एलएलएम (बड़े भाषा मॉडल) आउटपुट को सिकोड़ना कठिन है, लेकिन नई तकनीकी विधियां बहुत मदद कर रही हैं। ये तरीके सिर्फ चीजों को पुराने तरीके से छोटा नहीं करते हैं; वे डेटा का अनुमान लगाने के लिए एआई का उपयोग करते हैं, जिससे हम आज के एआई सेटअप में डेटा को रखने और नियंत्रित करने के तरीके को बदलते हैं।
LMCompress एक शीर्ष पायदान की बिना नुकसान वाली सिकुड़न विधि है जो केवल AI-निर्मित सामग्री के लिए बनाई गई है। यह तीन-चरणीय तरीके का उपयोग करता है: काटना, अनुमान लगाना और गणित कोडिंग। यह शब्द, चित्र, ध्वनि और वीडियो जैसे विभिन्न डेटा प्रकारों को छोटा बनाने में वास्तव में अच्छा काम करता है। इस प्रकार के डेटा को बिट्स में बदलकर, जिन्हें एलएलएम संभाल सकता है, एलकॉम्प्रेस चीजों को अधिक जगह बचाने वाला बनाता है। इसका निर्माण सोलोमनॉफ़ अनुमान लगाने जैसे विचारों पर आधारित है, जो इसे अनुमान लगाने और स्थानांतरित करने में बेहतर बनाता है।
For example, LMCompress got a shrink size of 6.32 on the CLIC2019 picture set, which was way better than JPEG-XL's 2.93. In making sound files smaller, it cut data size by 25%–94%, topping FLAC in stuff like LibriSpeech and LJSpeech. With words, LMCompress nearly made the shrink sizes three times better than older tools like zlib, bzip2, and brotli, giving a bump of 8.5% on MeDAL and 38.4% on Pile of Law compared to the raw Llama3-8B outputs. Even in making videos smaller, it showed more than 20% better results for still scenes and at least 50% better for moving scenes against old ways like FFV1, H.264, and H.265.
__XLATE_16__
"LMCompress गहरी समझ द्वारा संचालित डेटा संपीड़न के एक नए युग की शुरुआत करता है। इसका आर्किटेक्चर, सोलोमनॉफ इंडक्शन से प्रेरित है, न केवल पूर्व बेंचमार्क को हराता है बल्कि भविष्यवाणी और अनुकूलन में निहित एक बुद्धिमान प्रक्रिया के रूप में संपीड़न को फिर से परिभाषित करता है।" -अनिरुद्ध श्रीखंडे
LMCompress प्रॉम्प्ट.एआई जैसी जगहों के लिए एक बड़ी मदद है, जो बहुत सारी एआई-निर्मित सामग्री से निपटती है।
एक नया, अच्छा तरीका यह उपयोग करता है कि भाषा मॉडल अगले शब्द या टोकन का अनुमान कैसे लगाते हैं। नेक्स्ट-टोकन प्रेडिक्शन कम्प्रेशन कहा जाता है, यह ट्रिक डेटा को एक छोटी सी जगह में रखने के लिए इस अनुमान का उपयोग करता है। यह वास्तव में डेटा को उतना पैक करने के लिए बड़े भाषा मॉडल (एलएलएम) विचार का उपयोग करता है जितना शैनन सिद्धांत कहता है कि आप कर सकते हैं।
यह कितनी अच्छी तरह काम करता है यह इस बात पर निर्भर करता है कि भाषा मॉडल कितना अच्छा है। एक शीर्ष मॉडल का मतलब है कि आप डेटा को बेहतर तरीके से पैक कर सकते हैं। साथ ही, यह तरीका वर्तमान एलएलएम सिस्टम के साथ बिल्कुल फिट बैठता है, जिससे बड़ी कंपनियों में बेहतर टेक्स्ट डेटा नौकरियों के लिए इसका उपयोग करना आसान हो जाता है।
और भी बेहतर छोटे आकार के लिए, डबल कंप्रेशन डेटा को बेहतर तरीके से रखने और भेजने के लिए दो तरीकों को एक साथ रखता है। यह परिमाणीकरण जैसी चीजों के माध्यम से मॉडल को छोटा बनाने से शुरू होता है, फिर जो निकलता है उस पर दोषरहित संपीड़न का उपयोग करता है।
एक मामले में, उन्होंने एक टेक्स्ट टूल को 109 मिलियन भागों (438 एमबी) से 52.8 मिलियन भागों (211 एमबी) तक बना दिया। फिर, 4-बिट परिमाणीकरण का उपयोग करके, उन्होंने इसे घटाकर 62.7 एमबी कर दिया। अगला चरण मॉडल के आउटपुट और अन्य डेटा को पैक करता है, जिससे एक ऐसा सिस्टम बनता है जो अकेले एक विधि से बेहतर डेटा पैक करता है।
यह दो-चरणीय विधि बड़े कार्य उपयोग के लिए बहुत अच्छी है, क्योंकि यह जगह बचाती है, डेटा सस्ता भेजती है, और चलाने की लागत कम होती है। लेकिन, डबल कंप्रेशन को अच्छी तरह से काम करने के लिए सावधानीपूर्वक काम करने की आवश्यकता होती है, विशेष रूप से इस बात पर कि मात्रा निर्धारण से मॉडल आउटपुट की संख्याएं कैसी दिखती हैं, उसमें परिवर्तन होता है। जब इसे अच्छी तरह से किया जाता है, तो यह जगह बचाने, प्रक्रियाओं को तेज करने, या कंपनी की जरूरतों के आधार पर कम डेटा का उपयोग करने के बीच चयन करने का एक तरीका देता है।
अपने एलएलएम आउटपुट के लिए शीर्ष संपीड़न विधि चुनते समय, इस बारे में सोचें कि प्रत्येक वास्तविक उपयोग में कैसे काम करता है। प्रत्येक विधि के अपने अच्छे बिंदु और फायदे हैं, खासकर जब बड़े व्यावसायिक मामलों में उपयोग किया जाता है।
संपीड़न विधियों का परीक्षण करने के लिए, हम कुछ प्रमुख बिंदुओं पर नज़र डालते हैं:
चुने गए एल्गोरिदम का प्रकार वास्तव में बदल सकता है कि बड़े व्यवसाय में ऐप्स कितनी अच्छी तरह काम करते हैं। उदाहरण के लिए, एलजेड4 और स्नैपी जैसी विधियां पूरी तरह से गति पर आधारित हैं, जो उन्हें ऑन-द-स्पॉट कार्यों के लिए महान बनाती हैं, भले ही वे आप कितना संपीड़ित कर सकते हैं, उसमें कटौती करती हैं। दूसरी ओर, डेटा को वहां रखने के लिए जहां गति कोई बड़ी बात नहीं है, डायनामिक हफ़मैन टेबल के साथ Zstd या GZIP जैसे विकल्प बेहतर संपीड़न प्रदान करते हैं। CAST से डॉ. कैलिओप-लुईसा सोतिरोपोलू कहते हैं:
__XLATE_27__
"सही एल्गोरिदम का चयन करने के लिए अध्ययन और अनुभव की आवश्यकता होती है क्योंकि यह डेटा सेट, डेटा प्रकार, औसत और अधिकतम फ़ाइल आकार और सही एल्गोरिदम कॉन्फ़िगरेशन पर आधारित होना चाहिए।"
इससे यह देखना आसान हो जाता है कि शीर्ष एल्गोरिदम कैसे पंक्तिबद्ध होते हैं।
यहां, हम प्रमुख एल्गोरिदम बताते हैं और वे कैसे करते हैं:
चीजों पर यह नज़र डालने से पता चलता है कि यह कितनी अच्छी तरह काम करता है, इसे जोड़ना कितना आसान है और इसका उपयोग किस लिए किया जाता है, जिससे कंपनियों को स्मार्ट विकल्प बनाने में सहायता मिलती है।
जब आप देखते हैं कि यह डेटा को कितनी अच्छी तरह पैक कर सकता है तो LMCompress अच्छा प्रदर्शन करता है, CLIC2019 पर 6.32 का स्कोर प्राप्त करता है जबकि JPEG-XL को केवल 2.93 मिलता है। यह सभी प्रकार के डेटा के लिए डेटा पैक करने के पुराने तरीकों के काम को दोगुना या चार गुना बेहतर बना सकता है, लेकिन इसे एलएलएम के साथ काम करने की आवश्यकता है।
नेक्स्ट-टोकन प्रेडिक्शन कंप्रेशन एलएलएम के डेटा के लिए बनाया गया है, जिसमें पैकिंग दरें Gzip की 3 गुना से 20 गुना बेहतर हैं। यह इसे प्रॉम्प्ट.एआई जैसी जगहों के लिए एक शीर्ष पसंद बनाता है, जहां टोकन लागत में कटौती करना बहुत मायने रखता है।
Zstandard, zlib की तुलना में 3 से 5 गुना तेज होने के कारण बीच का रास्ता ढूंढता है और फिर भी डेटा को कसकर पैक करता है। यह अनपैकिंग की गति को लगभग दोगुना कर देता है और इसे जोड़ना मुश्किल नहीं है, जिससे यह उन फर्मों के लिए एक अच्छा विकल्प बन जाता है जो आसानी से समाधान चाहते हैं।
डेटा पैक करने का सही तरीका चुनना वास्तव में किसी व्यवसाय के संचालन के तरीके को बदल सकता है। उदाहरण के लिए, CAST का कहना है कि स्टोरेज में स्मार्ट पैकिंग से बिजली के उपयोग में 40% तक की कटौती हो सकती है। साथ ही, Google ने पाया कि ब्रॉटली पैकिंग 20% कम डेटा का उपयोग करती है, जिससे डेटा ले जाने पर बिजली की बचत होती है। यह एलएलएम को बेहतर बनाने में टाइट पैकिंग की बड़ी भूमिका को दर्शाता है।
एआई टूल्स में कंप्रेशन तकनीक डालना सिर्फ एक अपग्रेड से कहीं अधिक है - यह वर्कफ़्लो को बेहतर बनाता है और लागत में कटौती करता है। इन उपकरणों में संपीड़न जोड़कर, आप उनके काम करने या उपयोग करने के तरीके को प्रभावित किए बिना उन्हें बेहतर ढंग से चलाने में सक्षम बना सकते हैं।
जब आप एआई नौकरियों में दोषरहित संपीड़न जोड़ते हैं तो समय बहुत मायने रखता है। चीजों को तेज़ रखने और भंडारण सुविधाएं बनाए रखने के लिए, डेटा को तब संपीड़ित करें जब कुछ और नहीं चल रहा हो, न कि तब जब सिस्टम चीजों को पूरा करने में व्यस्त हो। जिस कार्य को एक ही समय में करने की आवश्यकता है, उसके लिए सहेजे गए डेटा को चुपचाप पीछे से संपीड़ित करें ताकि कोई रुक न जाए। विभिन्न प्रकार के डेटा को अपने स्वयं के तरीकों की आवश्यकता हो सकती है - उदाहरण के लिए, टेक्स्ट अगले-शब्द अनुमान संपीड़न के साथ अच्छी तरह से काम करता है, लेकिन अन्य प्रकारों को अपने स्वयं के तरीकों की आवश्यकता हो सकती है। ज़िपएनएन जैसे उपकरण एक्स्ट्रा को काटने के लिए एन्ट्रॉपी एन्कोडिंग का उपयोग करके बड़े टेक्स्ट मॉडल आउटपुट से निपटने में अच्छे हैं।
It's key to keep an eye on how many tokens are used. AI models can cost between $10 and $20 for every million tokens, so even a little more efficiency can mean big savings. To manage costs well, you need to know the difference between input tokens and made tokens as this clarity helps find where you’re saving with compression. For example, cutting the number of stored tokens by 22.42% can mean big savings each month. With systems processing billions of tokens every month, tools that guess how many tokens are used give a clear picture of use and cost impacts. Tools like prompts.ai, which you pay for as you use, get a lot from real-time token watching along with compression stats, giving a clear way to watch and make the most of these tweaks. These ways not only keep costs down but also help with bigger and better changes in operations.
कम्प्रेशन जोड़ने के फायदे सिर्फ काम को बेहतर बनाने से ही होते हैं - वे निचले स्तर पर पहुँचते हैं। LMCompress और ZipNN जैसे उपकरण दिखाते हैं कि कैसे स्मार्ट कम्प्रेशन स्टोरेज को बेहतर बना सकता है और व्यवसायों को बढ़ने में मदद कर सकता है। आईबीएम के शोधकर्ता मोशिक हर्शकोविच इन तरीकों के मूल्य बताते हैं:
__XLATE_39__
"हमारी पद्धति वस्तुतः बिना किसी नकारात्मक प्रभाव के एआई भंडारण और स्थानांतरण लागत को कम कर सकती है। जब आप फ़ाइल को अनज़िप करते हैं, तो यह अपनी मूल स्थिति में वापस आ जाती है। आप कुछ भी नहीं खोते हैं।"
यहां एक साधारण मामला है: फरवरी 2025 में, हगिंग फेस ने अपने सिस्टम में ZipNN नामक विधि से डेटा पैक करने के एक नए तरीके का उपयोग करना शुरू किया, और उन्होंने अपनी भंडारण लागत में 20% की कटौती की। ZipNN ने बड़ी सामान्य मॉडल फ़ाइलें भी लगभग एक तिहाई छोटी बनाईं और डेटा को 1.5 गुना तेजी से पैक और अनपैक कर सकता था। उदाहरण के लिए, लामा 3.1 मॉडल ने पुरानी पद्धति, zstd की तुलना में 62% अधिक तेजी से काम किया। जब हर दिन दस लाख से अधिक मॉडलों के साथ काम करने वाले बड़े सिस्टम पर उपयोग किया जाता है, तो ज़िपएनएन बड़ी मात्रा में भंडारण और डेटा बचा सकता है, लागत भी बचा सकता है। न केवल पैसे बचाना, इस स्मार्ट पैकिंग तरीके का उपयोग करने का मतलब 40% तक कम ऊर्जा का उपयोग करना, धन और पृथ्वी की मदद करना भी हो सकता है। Prompts.ai जैसी साइटों के लिए, ये परिवर्तन स्थान या लागत की चिंता किए बिना बड़ी नौकरियों और अधिक जटिल चीजों को संभालना संभव बनाते हैं।
बड़े एआई मॉडल परिणामों को बिना नुकसान के पैक करने के नए तरीके एआई द्वारा बनाए गए बड़े डेटा के प्रबंधन में महत्वपूर्ण हैं। नए एआई-आधारित तरीके न केवल बेहतर काम करते हैं बल्कि सच्ची जानकारी को सुरक्षित भी रखते हैं।
यहां मुख्य लाभ और उनके प्रभाव हैं:
"Our results demonstrate that the better a model understands the data, the more effectively it can compress it, suggesting a deep connection between understanding and compression." – Authors of LMCompress
"Our results demonstrate that the better a model understands the data, the more effectively it can compress it, suggesting a deep connection between understanding and compression." – Authors of LMCompress
ये कदम एआई के काम को बड़ा बनाने और लागत कम करने में मदद करते हैं। डेटा को अच्छी तरह से पैक करके, कंपनियां अधिक डेटा से निपट सकती हैं और टोकन सीमा को प्रभावित नहीं कर सकती हैं, डेटा ढूंढना आसान बना सकती हैं, और जो उनके पास है उसका बेहतर उपयोग कर सकती हैं। जिस तरह दोषरहित संपीड़न काम करता है वह डेटा को सुरक्षित रखता है और डेटा को लोड करना और स्थानांतरित करना आसान और तेज़ बनाता है।
जैसे-जैसे एआई बड़ा और अधिक मिश्रित होता जा रहा है, इन शीर्ष डेटा पैकिंग तरीकों का उपयोग करना जरूरी है - इसे बनाए रखना महत्वपूर्ण है। जो कंपनियाँ इन तरकीबों का उपयोग करती हैं, वे अपने एआई कार्य को अधिक अच्छी तरह से विकसित कर सकती हैं, अपनी ज़रूरतों पर कम खर्च कर सकती हैं और उपयोगकर्ताओं को तेज़, अधिक सुनिश्चित कार्य दे सकती हैं। Prompts.ai जैसे प्लेटफ़ॉर्म पहले से ही टोकन को बेहतर तरीके से ट्रैक करने और स्मार्ट कंप्रेशन के साथ कम खर्च करने के लिए इन तरीकों का उपयोग कर रहे हैं।
कंपनियां दोषरहित संपीड़न विधियों का उपयोग करके अपने एआई कार्यों को बढ़ा सकती हैं जो डेटा को छोटा बनाती हैं लेकिन इसकी पूर्ण गुणवत्ता बनाए रखती हैं। ZipNN और LMCompress जैसे उपकरण इसके लिए काफी अच्छे हैं, जो भंडारण पर कम पैसा खर्च करने और डेटा को तेजी से स्थानांतरित करने जैसे लाभ देते हैं। ये समाधान सभी विवरणों को ध्यान में रखते हुए बड़े डेटा सेट को अच्छी तरह से प्रबंधित करने में मदद करते हैं।
आरंभ करने के लिए, कंपनियां इन संपीड़न तरीकों को अपने चल रहे डेटा सेटअप या एआई डिज़ाइन में जोड़ सकती हैं। इससे गति बढ़ जाती है और भंडारण के लिए जगह और प्रक्रियाओं में उपयोग होने वाली बिजली की बचत करके लागत में कमी आती है। जब क्लाउड लागत में कटौती जैसे कदमों को एक साथ रखा जाता है, तो ये तरीके स्पष्ट नकदी बचत ला सकते हैं और यह बढ़ा सकते हैं कि चीजें समग्र रूप से कितनी अच्छी तरह काम करती हैं।
