हर दिन, एलएलएम भारी मात्रा में डेटा बनाते हैं, जिससे इसे स्टोर करना और इसे अच्छी तरह से भेजना महत्वपूर्ण हो जाता है। बिना किसी डेटा को खोए फ़ाइल के आकार को काटने के लिए दोषरहित संपीड़न सबसे अच्छा विकल्प है। यहां बताया गया है कि यह महत्वपूर्ण क्यों है और यह कैसे काम करता है:

• यह महत्वपूर्ण क्यों है: एलएलएम आउटपुट का अनुमान नहीं लगाया जा सकता है और वे मानवीय लगते हैं, जिससे संपीड़न के पुराने तरीके कमजोर हो जाते हैं। दोषरहित संपीड़न डेटा के सभी बिट को बनाए रखता है, इसका अर्थ रखता है और हम इसका उपयोग कैसे कर सकते हैं।
• मुख्य लाभ: भंडारण की लागत में कटौती करता है, ऊर्जा के उपयोग को 40% तक कम करता है, और AI को बेहतर बनाता है।
• सबसे अच्छे तरीके: नई तकनीक की तरह एलएम कम्प्रेस और अगले-टोकन अनुमान के तरीके Gzip जैसे पुराने टूल की तुलना में बहुत बेहतर हैं, जो 20x तक बेहतर संपीड़न दर तक पहुंचते हैं।
• वास्तविक जीवन में प्रभाव: जैसी साइटें prompts.ai भंडारण पर बचत करने, लागत में कटौती करने और बढ़ते डेटा की जरूरतों को पूरा करने के लिए इन तरीकों का उपयोग करें।

दोषरहित संपीड़न न केवल कमरे को बचाता है - यह अधिक से अधिक AI- निर्मित डेटा से निपटने का एक स्मार्ट तरीका है।

70% आकार, 100% सटीकता: डायनामिक-लेंथ फ्लोट के माध्यम से GPU अनुमान के लिए दोषरहित LLM संपीड़न

दोषरहित संपीड़न कैसे काम करता है

दोषरहित संपीड़न एआई-निर्मित ग्रंथों को बिना किसी डेटा को खोए अच्छी तरह से संग्रहीत करने का एक अच्छा तरीका है। यह डेटा में पैटर्न को स्पॉट करता है और फ़ाइल आकार में कटौती करने के लिए उनका उपयोग करता है। एआई-निर्मित टेक्स्ट के लिए, यह विधि फ़ाइलों को छोटा बनाने के अन्य तरीकों से थोड़ा अलग काम करती है। आइए देखें कि यह कैसे डेटा को सही रखता है और इसे अच्छी तरह से करता है।

डेटा को संपूर्ण और प्रतिवर्ती रखना

दोषरहित संपीड़न का बड़ा हिस्सा यह है कि यह डेटा को छोटा कैसे बना सकता है लेकिन सभी जानकारी को बनाए रख सकता है। यह बार-बार होने वाली चीज़ों को देखता है - जैसे पैटर्न - जो बहुत दिखाई देती हैं और फिर उन्हें थोड़े समय में लिखती हैं। उदाहरण के लिए, यदि “द” टेक्स्ट में बहुत अधिक है, तो इसे एक छोटे कोड में रखा जा सकता है, जो कम जगह भरता है। जब हम इसे फिर से बड़ा बनाते हैं, तो टेक्स्ट उसी तरह वापस आता है।

हफ़मैन कोडिंग और अंकगणितीय कोडिंग जैसे तरीके इस काम को बनाते हैं। हफ़मैन कोडिंग उन चीज़ों को शॉर्ट कोड देती है जो बहुत अधिक दिखाई देती हैं, जबकि अंकगणितीय कोडिंग डेटा के लिए सबसे अच्छे छोटे आकार के करीब पहुंचने से और भी बेहतर होती है। नए तरीके सीखने और बदलने से और भी आगे बढ़ जाते हैं, जब वे देखते हैं कि एलएलएम डेटा कैसे बनाते हैं, जिससे वे इसे कंप्रेस करने में बेहतर होते हैं।

डेटा को कम रैंडम बनाना और इसे तोड़ना

यादृच्छिकता, या डेटा कितना अनिश्चित हो सकता है, यह बहुत मायने रखता है कि आप इसे कितना संपीड़ित कर सकते हैं। कम रैंडम डेटा में अधिक स्पष्ट पैटर्न होते हैं, इसलिए इसे छोटा बनाना आसान होता है। AI ऐसा डेटा बनाता है जिसका अनुमान लगाना आसान हो, जिससे इसे कंप्रेशन के लिए अच्छा बनाने में मदद मिलती है।

हम टेक्स्ट को बिट्स में कैसे तोड़ते हैं - जैसे अक्षरों में, बाइट्स के समूह या पूर्ण शब्दों में - यह प्रभावित करता है कि हम इसे कितना छोटा बना सकते हैं। कोडिंग जो इस बात पर निर्भर करती है कि चीजें कितनी बार होती हैं, इससे सामान्य बिट को छोटे कोड मिलते हैं और दुर्लभ बिट्स को लंबे कोड मिलते हैं। चूंकि AI इन बिट्स का अच्छी तरह से अनुमान लगाकर टेक्स्ट बनाता है, इसलिए यह डेटा को कंप्रेस करने के तरीकों के साथ अच्छी तरह से फिट बैठता है। पहले के बिट्स के आधार पर भविष्यवाणी करने से ये अनुमान बेहतर हो जाते हैं, इस प्रकार यह सुधर जाता है कि हम डेटा को कितना छोटा बना सकते हैं। स्मार्ट प्रेडिक्टिंग इस पर आधारित होती है, जिससे कंप्रेशन और भी बेहतर हो जाता है।

अच्छा कंप्रेशन और स्मार्ट अनुमान

डेटा को छोटा करना और उसका सही अनुमान लगाना साथ-साथ चलता है: एक मॉडल जितना होशियार डेटा जानता है, उतना ही बेहतर वह उसे सिकोड़ सकता है। इसका एक बेहतरीन उदाहरण है LMCompress, जिसे मई 2025 में सेंट्रल चाइना इंस्टीट्यूट ऑफ आर्टिफिशियल इंटेलिजेंस और जैसी जगहों के बड़े-बड़े दिमागों ने बनाया था वाटरलू विश्वविद्यालय। LMCompress ने चीजों को बहुत छोटा बना दिया, यह दोगुना कर दिया कि हम पुराने तरीकों की तुलना में टेक्स्ट, चित्र, वीडियो और ध्वनियों को कितना छोटा बना सकते हैं।

उदाहरण के लिए, lmCompress ने zpaq की तुलना में लगभग एक तिहाई पाठ बनाए। इसने ImageNet 43.4% के पिक्चर बिट्स को अपना पहला आकार और LibriSpeech की ध्वनियों को सिर्फ 16.4% बनाया - जो PNG (58.5%) और FLAC (30.3%) जैसे अन्य तरीकों से बेहतर प्रदर्शन कर रहा है। चीजों को छोटा बनाने का यह उच्च स्तर स्मार्ट अंकगणितीय कोडिंग से आता है, जो एलएलएम प्रशिक्षण के दौरान सीखी गई बातों का उपयोग करता है।

LMCompress अध्ययन के एक बड़े हिस्से, मिंग ली ने इस बारे में बात की कि चीजें सीखना और संपीड़ित करना कैसे जुड़ा हुआ है:

“इस पत्र में: हमने साबित किया है कि संपीड़न का अर्थ है सर्वोत्तम सीखना/समझना।”

अन्य उपकरण जैसे DeepSeekZip और लामा जिप इसके अलावा अच्छा करें, पिछले zlib को 10% से अधिक बेहतर स्क्विश दरों से आगे बढ़ाएं। prompts.ai जैसी बड़ी साइटों पर, जो बहुत सारी LLM-निर्मित चीजों की देखभाल करती हैं, इन नई चालों से यह पता चलता है कि कितनी जगह का उपयोग किया जाता है और डेटा को स्थानांतरित करने में तेजी आती है। जानने के लिए मुख्य बात? अनुमान लगाने वाले मॉडल और नो-लॉस स्क्विश एक ही चीज़ के दो हिस्से हैं, और इन दोनों का उपयोग करने से हमारे जानकारी को रखने और उपयोग करने का तरीका बदल जाता है।

ये बड़े कदम न केवल कमरे को बचाते हैं बल्कि AI सेटअप के साथ अच्छी तरह से मिल जाते हैं, जिससे काम सुचारू रूप से चलता है और लागत कम होती है।

एलएलएम आउटपुट को सिकोड़ने के प्रमुख तरीके

एलएलएम (बड़े भाषा मॉडल) आउटपुट को सिकोड़ना कठिन है, लेकिन नए तकनीकी तरीके बहुत मदद कर रहे हैं। ये तरीके सिर्फ़ पुराने तरीके से चीज़ों को सिकोड़ते नहीं हैं; वे डेटा का अनुमान लगाने के लिए AI का उपयोग करते हैं, जिससे हम आज के AI सेटअप में डेटा को रखने और नियंत्रित करने के तरीके को बदलते हैं।

एलएम कम्प्रेस

LMCompress एक बेहतरीन नो-लॉस श्रिंक विधि है जो सिर्फ AI- निर्मित सामान के लिए बनाई गई है। यह तीन-चरणीय तरीके का उपयोग करता है: काट रहा है, अनुमान लगा, और गणित कोडिंग। यह अलग-अलग डेटा प्रकारों जैसे शब्द, चित्र, ध्वनि, और वीडियो को छोटा बनाने में बहुत अच्छा काम करता है। इस तरह के डेटा को बिट्स में बदलकर, जिन्हें LLM हैंडल कर सकते हैं, LMCompress चीजों को और अधिक जगह बचाने वाला बनाता है। इसका निर्माण सोलोमोनोफ़ अनुमान लगाने जैसे विचारों पर आधारित है, जो इसे अनुमान लगाने और स्थानांतरित करने में बेहतर बनाता है।

उदाहरण के लिए, LMCompress को एक छोटा आकार मिला 6.32 CLIC2019 चित्र सेट पर, जो JPEG-XL की तुलना में बेहतर था 2.93। ध्वनि फ़ाइलों को छोटा बनाने में, यह डेटा के आकार में कटौती करता है 25% — 94%, LibriSpeech और LJSpeech जैसी चीजों में FLAC को टॉपिंग करना। शब्दों के साथ, LMCompress ने zlib, bzip2, और brotli जैसे पुराने टूल की तुलना में सिकुड़ने के आकार को लगभग तीन गुना बेहतर बना दिया, जिससे इसकी एक झलक मिलती है 8.5% मेडल पर और 38.4% कच्चे Llama3-8B आउटपुट की तुलना में पाइल ऑफ़ लॉ पर। यहां तक कि वीडियो को छोटा बनाने में भी, इसने इससे कहीं अधिक दिखाया 20% बेहतर स्थिर दृश्यों के लिए परिणाम और कम से कम 50% बेहतर FFV1, H.264, और H.265 जैसे पुराने तरीकों के खिलाफ दृश्यों को स्थानांतरित करने के लिए।

“LMCompress गहरी समझ से संचालित डेटा संपीड़न के एक नए युग की शुरुआत करता है। इसका आर्किटेक्चर, सोलोमोनोफ़ इंडक्शन से प्रेरित है, जो न केवल पूर्व मानकों को मात देता है, बल्कि भविष्यवाणी और अनुकूलन में निहित एक बुद्धिमान प्रक्रिया के रूप में संपीड़न को फिर से परिभाषित करता है।” - अनिरुद्ध श्रीखंडे

LMCompress prompts.ai जैसी जगहों के लिए एक बड़ी मदद है, जो बहुत सारी AI-निर्मित सामग्री से निपटते हैं।

नेक्स्ट-टोकन प्रेडिक्शन कंप्रेशन

एक नया, अच्छा तरीका यह बताता है कि भाषा मॉडल अगले शब्द या टोकन का अनुमान कैसे लगाते हैं। कॉल किया गया अगला-टोकन पूर्वानुमान संपीड़न, यह ट्रिक इस अनुमान का उपयोग डेटा को एक छोटी सी जगह में अच्छी तरह से डालने के लिए करती है। यह वास्तव में डेटा के बड़े भाषा मॉडल (एलएलएम) विचार का उपयोग करता है ताकि इसे उतना ही पैक किया जा सके जितना शैनन सिद्धांत कहता है कि आप कर सकते हैं।

यह कितना अच्छा काम करता है यह इस बात पर निर्भर करता है कि भाषा मॉडल कितना अच्छा है। टॉप मॉडल का मतलब है कि आप डेटा को बेहतर तरीके से पैक कर सकते हैं। इसके अलावा, यह तरीका मौजूदा एलएलएम सिस्टम के साथ सही बैठता है, जिससे बड़ी कंपनियों में बेहतर टेक्स्ट डेटा नौकरियों के लिए इसका उपयोग करना आसान हो जाता है।

डबल कम्प्रेशन तकनीकें

और भी बेहतर छोटे आकार के लिए, दोहरा संपीड़न डेटा को बेहतर रखने और भेजने के लिए दो तरीकों को एक साथ रखता है। यह क्वांटिज़ेशन जैसी चीज़ों के ज़रिए मॉडल को छोटा बनाने से शुरू होता है, फिर जो सामने आता है उस पर दोषरहित संपीड़न का उपयोग करता है।

एक मामले में, उन्होंने एक टेक्स्ट टूल बनाया 109 मिलियन पार्ट्स (438 एमबी) को 52.8 मिलियन पार्ट्स (211 एमबी)। फिर, 4-बिट परिमाणीकरण का उपयोग करते हुए, उन्होंने इसे काट दिया 62.7 एमबी। अगला चरण मॉडल के आउटपुट और अन्य डेटा को पैक करता है, जिससे एक ऐसा सिस्टम बनता है जो डेटा को केवल एक विधि से बेहतर तरीके से पैक करता है।

यह दो-चरणीय विधि बड़े काम के उपयोग के लिए बढ़िया है, क्योंकि यह जगह बचाता है, सस्ता डेटा भेजता है, और चलाने के लिए कम लागत आती है। लेकिन, दोहरे संपीड़न कार्य को अच्छी तरह से करने के लिए सावधानीपूर्वक काम करने की आवश्यकता होती है, विशेष रूप से इस बात पर कि परिमाणीकरण कैसे बदलता है कि मॉडल आउटपुट के नंबर कैसे दिखते हैं। जब यह अच्छी तरह से किया जाता है, तो यह जगह बचाने, प्रक्रियाओं को तेज़ करने, या कंपनी की ज़रूरत के आधार पर कम डेटा का उपयोग करने के बीच चयन करने का एक तरीका देता है।

एसबीबी-आईटीबी-f3c4398

तुलना करना कि एल्गोरिदम कैसे काम करते हैं

अपने एलएलएम आउटपुट के लिए शीर्ष संपीड़न विधि चुनते समय, इस बारे में सोचें कि प्रत्येक व्यक्ति वास्तविक उपयोग में कैसे काम करता है। प्रत्येक विधि के अपने अच्छे बिंदु और ट्रेड-ऑफ होते हैं, खासकर जब बड़े व्यावसायिक मामलों में इसका उपयोग किया जाता है।

हम प्रदर्शन को कैसे मापते हैं

संपीड़न विधियों का परीक्षण करने के लिए, हम कुछ प्रमुख बिंदुओं को देखते हैं:

• कम्प्रेशन रेशियो: इससे पता चलता है कि मॉडल का आकार कितना गिरता है। उच्च अनुपात का अर्थ है स्टोरेज और मेमोरी में बड़ी बचत।
• अनुमान का समय: यह ट्रैक करता है कि एलएलएम इनपुट डेटा को आउटपुट में कितनी तेजी से बदलता है, जो वास्तविक समय के उपयोग के लिए महत्वपूर्ण है।
• फ़्लोटिंग पॉइंट ऑपरेशंस (FLOPs): यह प्रत्येक कार्य के लिए आवश्यक कार्य को गिनता है। द मीन फ्लॉप्स यूटिलाइजेशन (एमएफयू) बताता है कि डिवाइस क्या कर सकता है, इसके आधार पर FLOP का कितना अच्छा उपयोग किया जाता है।

चुने गए एल्गोरिथम का प्रकार वास्तव में बदल सकता है कि बड़े व्यवसाय में ऐप्स कितनी अच्छी तरह काम करते हैं। उदाहरण के लिए, LZ4 और Snappy जैसे तरीके गति के बारे में हैं, जो उन्हें ऑन-द-स्पॉट नौकरियों के लिए बेहतरीन बनाते हैं, भले ही वे आपके द्वारा कंप्रेस करने की क्षमता में कटौती कर दें। दूसरी तरफ, डेटा रखने के लिए जहां गति कोई बड़ी बात नहीं है, डायनामिक हफ़मैन टेबल के साथ Zstd या GZIP जैसे विकल्प बेहतर संपीड़न प्रदान करते हैं। CAST के डॉ। कैलिओपे-लुइसा सोटिरोपोलू कहते हैं:

“सही एल्गोरिथम का चयन करने के लिए अध्ययन और अनुभव की आवश्यकता होती है क्योंकि यह डेटा सेट, डेटा प्रकार, औसत और अधिकतम फ़ाइल आकार और सही एल्गोरिथम कॉन्फ़िगरेशन पर आधारित होना चाहिए।”

इससे यह देखना आसान हो जाता है कि शीर्ष एल्गोरिदम कैसे लाइन अप करते हैं।

डेटा देखें

यहां, हम मुख्य एल्गोरिदम और वे कैसे करते हैं, यह बताते हैं:

मेथड स्क्वीज़ लेवल फ़ास्ट टू ओपन बैक अप अच्छी तरह से बढ़ें जोड़ने के लिए काम करें के लिए सबसे अच्छा एलएम कम्प्रेस बहुत ऊँचा (सामान्य से बहुत बेहतर) अच्छा, स्मार्ट टेक मदद करता है हाई, सेट फ़ील्ड में बेहतर हो जाता है मुश्किल, स्मार्ट तकनीक की ज़रूरत है बहुत सारे प्रकार के डेटा का उपयोग करना नेक्स्ट-टोकन गेस स्क्वीज़ बहुत ऊँचा (स्मार्ट टेक्स्ट में 20× से अधिक) अच्छे, स्मार्ट गेस ऐड्स अन्य स्मार्ट तकनीक के साथ बढ़ता है मुश्किल, स्मार्ट तकनीक की ज़रूरत है स्मार्ट टेक्स्ट को बेहतर बनाना मानक (Zstd) अच्छा (अन्य मूल प्रकारों के समान) बहुत तेज़ (दूसरों की तुलना में 2× तेज़) हाई, 22 तरीकों से चुन सकते हैं आसान, सभी के उपयोग के लिए बनाया गया ऑफ़िस के सामान्य कार्य

चीजों पर इस नज़र से पता चलता है कि यह कितनी अच्छी तरह काम करती है, इसे जोड़ना कितना आसान है, और इसका क्या उपयोग किया जाता है, स्मार्ट विकल्प बनाने में फर्मों की सहायता करने के बीच के ट्रेड-ऑफ को दर्शाता है।

LMCompress अच्छा करता है जब आप देखते हैं कि यह कितना तंग डेटा पैक कर सकता है, CLIC2019 पर 6.32 का स्कोर प्राप्त करता है जबकि JPEG-XL को केवल 2.93 मिलता है। यह सभी प्रकार के डेटा के लिए डेटा पैक करने के पुराने तरीकों के काम को दोगुना या चार गुना बेहतर बना सकता है, लेकिन इसके लिए LLM के साथ काम करना होगा।

नेक्स्ट-टोकन प्रेडिक्शन कंप्रेशन एलएलएम के डेटा के लिए बनाया गया है, जिसमें पैकिंग रेट गज़िप के 3 गुना से 20 गुना बेहतर है। यह इसे prompts.ai जैसी जगहों के लिए टॉप पिक बनाता है, जहां टोकन की लागत में कटौती करना बहुत मायने रखता है।

Zstandard zlib की तुलना में 3 से 5 गुना तेज होकर बीच का रास्ता ढूंढता है और फिर भी डेटा को तंग करके पैक करता है। यह अनपैकिंग की गति को लगभग दोगुना कर देता है और इसे जोड़ना मुश्किल नहीं होता है, जिससे यह उन फर्मों के लिए एक अच्छा विकल्प बन जाता है जो इसे आसानी से ठीक करना चाहती हैं।

डेटा पैक करने का सही तरीका चुनना वास्तव में व्यवसाय के तरीके को बदल सकता है। उदाहरण के लिए, CAST का कहना है कि स्टोरेज में स्मार्ट पैकिंग से बिजली के उपयोग में 40% तक की कटौती हो सकती है। साथ ही, Google को पता चलता है कि ब्रॉटली पैकिंग में 20% कम डेटा का उपयोग होता है, जिससे डेटा को स्थानांतरित करते समय बिजली की बचत होती है। यह एलएलएम के काम को बेहतर बनाने में टाइट पैकिंग की बड़ी भूमिका को दर्शाता है।

AI टूल्स में कंप्रेशन लाना

कंप्रेशन टेक को AI टूल्स में डालना सिर्फ अपग्रेड से ज्यादा है - यह वर्कफ़्लो को बेहतर बनाता है और लागत में कटौती करता है। इन टूल में कंप्रेशन जोड़कर, आप उनके काम करने या इस्तेमाल करने के तरीके को नुकसान पहुंचाए बिना उन्हें बेहतर तरीके से चला सकते हैं।

वर्कफ़्लो में संपीड़न को मिलाने के सर्वोत्तम तरीके

जब आप AI जॉब्स में दोषरहित कंप्रेशन जोड़ते हैं तो समय बहुत मायने रखता है। चीज़ों को तेज़ी से बनाए रखने और स्टोरेज के फ़ायदों को बनाए रखने के लिए, जब कुछ और नहीं चल रहा हो, तब डेटा को कंप्रेस करें, न कि तब जब सिस्टम काम करने में व्यस्त हो। एक ही समय में होने वाले काम के लिए, सहेजे गए डेटा को चुपचाप पीछे की ओर कंप्रेस करें, ताकि किसी को रोका न जा सके। अलग-अलग तरह के डेटा के लिए अपने तरीके की ज़रूरत हो सकती है - उदाहरण के लिए, टेक्स्ट अगले शब्द के अनुमान के साथ अच्छी तरह से काम करता है, लेकिन अन्य प्रकारों को अपने तरीके की आवश्यकता हो सकती है। ZipNN जैसे टूल एक्स्ट्रा को काटने के लिए एन्ट्रॉपी एन्कोडिंग का उपयोग करके बड़े टेक्स्ट मॉडल आउटपुट से निपटने में अच्छे हैं।

टोकन और क्लियर कॉस्ट पर नज़र रखना

कितने टोकन का उपयोग किया जाता है, इस पर नज़र रखना महत्वपूर्ण है। AI मॉडल की कीमत हर मिलियन टोकन के लिए $10 से $20 के बीच हो सकती है, इसलिए थोड़ी अधिक दक्षता का मतलब बड़ी बचत भी हो सकती है। लागतों को अच्छी तरह से प्रबंधित करने के लिए, आपको इनपुट टोकन और बनाए गए टोकन के बीच का अंतर जानना होगा क्योंकि यह स्पष्टता यह जानने में मदद करती है कि आप कंप्रेशन के साथ कहां बचत कर रहे हैं। उदाहरण के लिए, स्टोर किए गए टोकन की संख्या में 22.42% की कटौती करने का मतलब हर महीने बड़ी बचत हो सकती है। सिस्टम हर महीने अरबों टोकन को प्रोसेस करता है, ऐसे टूल जो यह अनुमान लगाते हैं कि कितने टोकन का उपयोग किया जाता है, उपयोग और लागत प्रभावों की स्पष्ट तस्वीर देते हैं। prompts.ai जैसे टूल, जिनका आप इस्तेमाल करते समय भुगतान करते हैं, रीयल-टाइम टोकन देखने के साथ-साथ कंप्रेशन आंकड़ों से भी बहुत कुछ प्राप्त करते हैं, जो देखने और इनमें से अधिकांश बदलावों का अधिकतम लाभ उठाने का एक स्पष्ट तरीका देते हैं। इन तरीकों से न केवल लागत कम होती है, बल्कि परिचालन में बड़े और बेहतर बदलावों में भी मदद मिलती है।

संपीड़न जोड़ने से व्यावसायिक लाभ

कम्प्रेशन जोड़ने के फ़ायदे सिर्फ़ चीज़ों को बेहतर बनाने से आगे निकल जाते हैं - वे नीचे की रेखा से टकराते हैं। LMCompress और ZipNN जैसे टूल दिखाते हैं कि कैसे स्मार्ट कंप्रेशन स्टोरेज को बेहतर बना सकता है और व्यवसायों को बढ़ने में मदद कर सकता है। आईबीएम शोधकर्ता मोशिक हर्शकोविच इन तरीकों का महत्व बताते हैं:

“हमारी पद्धति एआई स्टोरेज को कम कर सकती है और लागत को स्थानांतरित कर सकती है, जिसमें लगभग कोई नकारात्मक पहलू नहीं है। जब आप फ़ाइल को अनज़िप करते हैं, तो वह अपनी मूल स्थिति में वापस आ जाती है। आप कुछ भी नहीं खोते हैं.”

यह एक साधारण मामला है: फरवरी 2025 में, हगिंग फेस अपने सिस्टम में ZipNN नामक विधि से डेटा पैक करने के एक नए तरीके का उपयोग करना शुरू किया, और उन्होंने अपनी भंडारण लागत में 20% की कटौती की। ZipNN ने बड़ी सामान्य मॉडल फाइलें भी बनाईं, जो लगभग एक तिहाई छोटी थीं और डेटा को 1.5 गुना तेजी से पैक और अनपैक कर सकती थीं। उदाहरण के लिए, लामा 3.1 मॉडल ने पुरानी पद्धति, zstd की तुलना में 62% तेजी से काम किया। जब हर दिन एक मिलियन से अधिक मॉडल के साथ काम करने वाले बड़े सिस्टम पर उपयोग किया जाता है, तो ZipNN बड़ी मात्रा में स्टोरेज और डेटा बचा सकता है, जिससे लागत भी बच सकती है। सिर्फ पैसे बचाना ही नहीं, इस स्मार्ट पैकिंग तरीके का उपयोग करने का मतलब 40% तक कम ऊर्जा का उपयोग करना, पैसे और पृथ्वी की मदद करना भी हो सकता है। prompts.ai जैसी साइटों के लिए, इन बदलावों से जगह या लागत की चिंता किए बिना बड़ी नौकरियों और अधिक जटिल चीज़ों को संभालना संभव हो जाता है।

सारांश और मुख्य बिंदु

बिना नुकसान के बड़े AI मॉडल परिणामों को पैक करने के नए तरीके AI द्वारा बनाए गए बड़े डेटा को संभालने में महत्वपूर्ण हैं। AI के नेतृत्व वाले नए तरीके न केवल बेहतर काम करते हैं बल्कि सही जानकारी को भी सुरक्षित रखते हैं।

यहां मुख्य लाभ और उनके प्रभाव दिए गए हैं:

• बेहतर एल्गोरिदम: तस्वीरों के लिए JPEG-XL, ध्वनियों के लिए FLAC और वीडियो के लिए H.264 जैसे पुराने प्रकारों की तुलना में डेटा आकार में 50% की कटौती करके LMCompress चमकता है। शब्दों के लिए, zpaq जो कर सकता है, उसका लगभग एक तिहाई हिस्सा नीचे ले जाता है। इसके अलावा, LLM-आधारित अनुमान विधियाँ 20× से अधिक कम डेटा आकारों तक पहुँचती हैं, जो Gzip जैसे पुराने टूल द्वारा किए गए 3× कट को पछाड़ते हैं।

“हमारे परिणाम दर्शाते हैं कि एक मॉडल डेटा को जितना बेहतर समझता है, उतना ही प्रभावी ढंग से वह इसे संपीड़ित कर सकता है, जिससे समझ और संपीड़न के बीच गहरे संबंध का सुझाव मिलता है।” - LMCompress के लेखक

• काम के लाभ: IACC (स्मार्ट AI कॉन्टेक्स्ट कम्प्रेशन) स्पष्ट लाभ लाता है। यह संदर्भ से जुड़ी लागतों में 50% की कटौती करता है, स्मृति उपयोग को 5% तक कम करता है, और प्रसंस्करण को 2.2 गुना तेज बनाता है। ये लाभ उन प्रणालियों के लिए बहुत मायने रखते हैं जो हर दिन कई टोकन से निपटते हैं।
• वास्तविक जीवन में उपयोग करें: डेटा पैक करने के नए तरीके वास्तविक उपयोगों में स्पष्ट जीत दिखाते हैं। वे कमरे के डेटा में कितना समय लगता है, इसमें कटौती करते हैं और डेटा की गति को बढ़ावा देते हैं। उदाहरण के लिए, इनका पूरी तरह से उपयोग करने से नेटवर्क पर भेजे जाने वाले स्टोरेज और डेटा की भारी मात्रा को बचाया जा सकता है।

इन चालों से AI को बड़ा और लागत कम करने में मदद मिलती है। डेटा को अच्छी तरह से पैक करके, फर्म अधिक डेटा से निपट सकती हैं और टोकन सीमा तक नहीं पहुंच सकती हैं, डेटा ढूंढना आसान बना सकती हैं, और जो उनके पास बेहतर है उसका उपयोग कर सकती हैं। जिस तरह से दोषरहित कंप्रेशन काम करता है वह डेटा को सुरक्षित रखता है और डेटा को लोड करना और स्थानांतरित करना आसान और तेज़ बनाता है।

जैसे-जैसे AI बड़ा और अधिक मिश्रित होता जाता है, इन शीर्ष डेटा पैकिंग तरीकों का उपयोग करना आवश्यक है - इसे बनाए रखना महत्वपूर्ण है। जो फर्म इन तरकीबों का उपयोग करती हैं, वे अपने AI कार्य को और अच्छी तरह से बढ़ा सकती हैं, अपनी ज़रूरत की चीज़ों पर कम खर्च कर सकती हैं और यूज़र को तेज़ी से, अधिक पक्का काम दे सकती हैं। prompts.ai जैसे प्लेटफ़ॉर्म पहले से ही टोकन को बेहतर तरीके से ट्रैक करने और स्मार्ट कंप्रेशन के साथ कम खर्च करने के लिए इन तरीकों का उपयोग कर रहे हैं।

पूछे जाने वाले प्रश्न

फर्म बेहतर करने और कम खर्च करने के लिए AI कार्यों में दोषरहित संपीड़न विधियों का अधिकतम लाभ कैसे उठा सकती हैं?

फर्म इसका उपयोग करके अपने AI कार्यों को बढ़ा सकती हैं दोषरहित संपीड़न विधियाँ जो डेटा को छोटा बनाते हैं लेकिन इसकी पूरी गुणवत्ता को बनाए रखते हैं। ZipNN और LMCompress जैसे टूल इसके लिए काफी अच्छे हैं, जो स्टोरेज पर कम पैसा खर्च करने और डेटा को तेजी से स्थानांतरित करने जैसे लाभ देते हैं। ये समाधान सभी विवरणों को रखते हुए बड़े डेटा सेट को अच्छी तरह से प्रबंधित करने में मदद करते हैं।

शुरू करने के लिए, फर्म इन संपीड़न तरीकों को अपने चल रहे डेटा सेटअप या AI डिज़ाइन में जोड़ सकती हैं। यह गति बढ़ाता है और भंडारण के लिए जगह और प्रक्रियाओं में उपयोग की जाने वाली बिजली की बचत करके लागत में कटौती करता है। क्लाउड की लागत में कटौती जैसे कदम उठाए जाने पर, इन तरीकों से स्पष्ट नकदी बचत हो सकती है और यह बढ़ावा मिल सकता है कि चीजें समग्र रूप से कितनी अच्छी तरह काम करती हैं।

संबंधित ब्लॉग पोस्ट

• एलएलएम निर्णय पाइपलाइन: वे कैसे काम करते हैं
• एलएलएम के साथ प्रासंगिक संबंध निकालना
• एलएलएम आउटपुट के साथ नॉलेज ग्राफ़ को स्वचालित करना
• एलएलएम के लिए टेक्स्ट डेटा प्रीप्रोसेसिंग के लिए सर्वोत्तम अभ्यास

{” @context “:” https://schema.org","@type":"FAQPage","mainEntity":[{"@type":"Question","name":"How क्या फर्म बेहतर करने और कम खर्च करने के लिए AI कार्यों में दोषरहित संपीड़न विधियों का अधिकतम लाभ उठा सकती हैं?” , “AcceptedAnswer”: {” @type “:" Answer”, “text”:” <p>फर्म <strong>दोषरहित संपीड़न विधियों</strong> का उपयोग करके अपने AI कार्यों को आगे बढ़ा सकते हैं, जो डेटा को छोटा बनाते हैं लेकिन इसकी पूर्ण गुणवत्ता को बनाए रखते हैं। ZipNN और LMCompress जैसे टूल इसके लिए काफी अच्छे हैं, जो स्टोरेज पर कम पैसा खर्च करने और डेटा को तेजी से स्थानांतरित करने जैसी सुविधाएं देते हैं। ये समाधान सभी विवरणों को रखते हुए बड़े डेटा सेट को अच्छी तरह से प्रबंधित करने में मदद</p> करते हैं। <p>शुरू करने के लिए, फर्म इन कंप्रेशन तरीकों को अपने चल रहे डेटा सेटअप या AI डिज़ाइन में जोड़ सकती हैं। यह गति बढ़ाता है और भंडारण के लिए जगह और प्रक्रियाओं में उपयोग की जाने वाली बिजली की बचत करके लागत में कटौती करता है। क्लाउड की लागत में कटौती जैसे कदम उठाए जाने पर, इन तरीकों से स्पष्ट नकदी बचत हो सकती है और यह बढ़ावा मिल सकता है कि चीजें समग्र रूप से कितनी अच्छी तरह काम करती हैं</p>। “}}]}