Pay As You Goإصدار تجريبي مجاني لمدة 7 أيام؛ لا يلزم وجود بطاقة ائتمان
كل يوم، تنتج LLMs كميات هائلة من البيانات، مما يجعلها أساسية لتخزينها وإرسالها جيدًا. يعد الضغط بدون فقدان البيانات هو أفضل اختيار لقص أحجام الملفات دون فقدان أي بيانات. إليك سبب كونها أساسية وكيفية عملها:
لا يؤدي الضغط بدون فقدان البيانات إلى توفير المساحة فحسب - بل إنه طريقة ذكية للتعامل مع المزيد والمزيد من البيانات المصنوعة من الذكاء الاصطناعي.
يعد الضغط بدون فقدان طريقة رائعة لتخزين النصوص المصنوعة بالذكاء الاصطناعي جيدًا دون فقدان أي بيانات. يقوم بتحديد الأنماط في البيانات ويستخدمها لقص أحجام الملفات. بالنسبة للنص المصنوع بالذكاء الاصطناعي، تعمل هذه الطريقة بشكل مختلف قليلاً عن الطرق الأخرى لتصغير الملفات. دعونا نلقي نظرة على كيفية الحفاظ على البيانات بشكل صحيح والقيام بذلك بشكل جيد.
يتمثل الجزء الأكبر من الضغط بدون فقدان البيانات في كيفية تصغير البيانات مع الاحتفاظ بجميع المعلومات. إنها ترى أشياء متكررة - مثل الأنماط - تظهر كثيرًا ثم تكتبها بطريقة قصيرة. على سبيل المثال، إذا كانت كلمة «the» موجودة في النص كثيرًا، فيمكن وضعها في رمز صغير يملأ مساحة أقل. عندما نجعلها كبيرة مرة أخرى، يعود النص بنفس الطريقة.
طرق مثل ترميز هوفمان والترميز الحسابي تجعل هذا يعمل. يمنح ترميز هوفمان رموزًا قصيرة للأشياء التي تظهر كثيرًا، بينما يعمل الترميز الحسابي بشكل أفضل من خلال الاقتراب من أفضل حجم صغير للبيانات. تذهب الطرق الجديدة إلى أبعد من ذلك من خلال التعلم والتغيير عندما ترى كيف تصنع LLMs البيانات، مما يجعلها أفضل في ضغطها.
العشوائية، أو مدى عدم اليقين الذي يمكن أن تكون عليه البيانات، مهمة كثيرًا في مقدار ضغطها. تحتوي البيانات العشوائية الأقل على أنماط أكثر وضوحًا، لذلك يسهل تصغيرها. يميل الذكاء الاصطناعي إلى إنشاء بيانات يسهل تخمينها، مما يساعد على جعلها جيدة للضغط.
تؤثر كيفية تقسيم النص إلى أجزاء - مثل الأحرف أو مجموعات البايت أو الكلمات الكاملة - على مدى صغر حجمه. الترميز الذي يعتمد على عدد المرات التي تحدث فيها الأشياء يعطي رموزًا قصيرة للبتات الشائعة وأخرى أطول للبتات النادرة. نظرًا لأن الذكاء الاصطناعي يصنع النص عن طريق تخمين هذه البتات جيدًا، فإنه يتناسب بشكل جيد مع طرق ضغط البيانات. يؤدي التنبؤ استنادًا إلى البتات السابقة إلى تحسين هذه التخمينات، وبالتالي تحسين مدى صغر حجم البيانات التي يمكننا صنعها. يعتمد التنبؤ الذكي على هذا، مما يجعل الضغط أفضل.
يسير الحصول على بيانات صغيرة وتخمينها بشكل صحيح معًا: فكلما كان النموذج أكثر ذكاءً في معرفة البيانات، كان بإمكانه تقليصها بشكل أفضل. ومن الأمثلة الرائعة على ذلك LMPress، وهي طريقة صنعتها في مايو 2025 أدمغة كبيرة من أماكن مثل معهد الصين المركزي للذكاء الاصطناعي و جامعة واترلو. جعل LMPress الأشياء أصغر كثيرًا، مما ضاعف مدى صغر حجم النصوص والصور ومقاطع الفيديو والأصوات مقارنة بالطرق القديمة.
على سبيل المثال، قام LMPress بعمل نصوص حول ثلث ما يمكن أن يفعله zpaq. كما أنها جعلت بتات الصور من ImageNet 43.4% حجمها الأول وأصواتها من LibriSpeech 16.4% فقط - وهي تعمل بشكل أفضل من الطرق الأخرى مثل PNG (58.5%) وFLAC (30.3%). يأتي هذا المستوى العالي من جعل الأشياء صغيرة من الترميز الحسابي الذكي، والذي يستخدم ما تتعلمه LLMs أثناء التدريب.
تحدث مينغ لي، وهو جزء كبير من دراسة LMPress، عن كيفية ارتباط التعلم وضغط الأشياء:
«في هذه الورقة: أثبتنا أن الضغط يعني أفضل تعلم/فهم.»
أدوات أخرى مثل DeepSeekZip و لامازيب قم أيضًا بعمل جيد، حيث تجاوزت zlib بمعدلات سحق أفضل بنسبة تزيد عن 10٪. على المواقع الكبيرة مثل prompts.ai، التي تهتم بالكثير من الأشياء التي تصنعها LLM، تقلل هذه التحركات الجديدة من مقدار المساحة المستخدمة وتسرع نقل البيانات. الشيء الرئيسي الذي يجب معرفته؟ تعد نماذج التخمين وسحق عدم الخسارة جزأين من شيء واحد، واستخدامهما يغير كيفية احتفاظنا بالمعلومات واستخدامها.
لا توفر هذه الخطوات الكبيرة المساحة فحسب، بل تمتزج جيدًا أيضًا مع إعدادات الذكاء الاصطناعي، مما يجعل العمل سلسًا وأقل تكلفة.
يعد تقليص مخرجات LLM (نماذج اللغات الكبيرة) أمرًا صعبًا، لكن الأساليب التقنية الجديدة تساعد كثيرًا. هذه الطرق لا تؤدي فقط إلى تقليص الأشياء بالطريقة القديمة؛ فهي تستخدم الذكاء الاصطناعي لتخمين البيانات وتغيير كيفية الاحتفاظ بالبيانات والتحكم فيها في إعدادات الذكاء الاصطناعي الحالية.
LMPress هي طريقة تقليص بدون خسارة من الدرجة الأولى مصممة فقط للأشياء المصنوعة بالذكاء الاصطناعي. يستخدم طريقة من ثلاث خطوات: تقطيع، التخمين، و ترميز الرياضيات. إنه يعمل بشكل جيد حقًا في جعل أنواع البيانات المختلفة مثل الكلمات والصور والصوت والفيديو أصغر. من خلال تحويل هذه الأنواع من البيانات إلى وحدات بت يمكن لـ LLMs التعامل معها، يجعل LMCompress الأشياء أكثر توفيرًا للمساحة. يعتمد بنائه على أفكار مثل تخمين Solomonoff، مما يجعله أفضل في التخمين والتغيير.
على سبيل المثال، حصل LMPress على حجم متقلص قدره 6.32 في مجموعة صور CLIC2019، والتي كانت أفضل بكثير من مجموعة صور JPEG-XL 2.93. عند تصغير حجم الملفات الصوتية، يتم تقليل حجم البيانات بمقدار 25% — 94%، تتصدر FLAC في أشياء مثل LibriSpeech و LJSpeech. باستخدام الكلمات، كاد LMPress أن يجعل أحجام الانكماش أفضل بثلاث مرات من الأدوات القديمة مثل zlib و bzip2 و brotli، مما يعطي دفعة من 8.5% على الميدالية و 38.4% على كومة القانون مقارنة بمخرجات Llama3-8B الخام. حتى في جعل مقاطع الفيديو أصغر حجمًا، فقد أظهرت أكثر من أفضل بنسبة 20% نتائج المشاهد الثابتة وعلى الأقل أفضل بنسبة 50% لتحريك المشاهد مقابل الطرق القديمة مثل FFV1 و H.264 و H.265.
«LMPress يبشر بعصر جديد من ضغط البيانات مدعومًا بالفهم العميق. إن بنيتها، المستوحاة من تحريض سولومونوف، لا تتفوق فقط على المعايير السابقة ولكنها تعيد تعريف الضغط كعملية ذكية متجذرة في التنبؤ والتكيف.» - Aniruddha Shrikhande
LMPress هي مساعدة كبيرة لأماكن مثل prompts.ai، التي تتعامل مع الكثير من المحتوى المصنوع بالذكاء الاصطناعي.
طريقة جديدة ورائعة تستخدم كيفية تخمين نماذج اللغة للكلمة أو الرمز التالي. تم استدعاؤها ضغط التنبؤ بالرمز التالي، تستخدم هذه الحيلة هذا التخمين لوضع البيانات في مساحة صغيرة جيدًا. إنها تستخدم حقًا فكرة نموذج اللغة الكبيرة (LLM) للبيانات لتجميعها بقدر ما تقول نظرية شانون أنك تستطيع ذلك.
يعتمد مدى نجاح هذا كثيرًا على مدى جودة نموذج اللغة. يعني الطراز الأفضل أنه يمكنك حزم البيانات بشكل أفضل. أيضًا، تتناسب هذه الطريقة تمامًا مع أنظمة LLM الحالية، مما يجعلها سهلة الاستخدام لوظائف بيانات نصية أفضل في الشركات الكبيرة.
للحصول على أحجام صغيرة أفضل، ضغط مزدوج يضع طريقتين معًا للحفاظ على البيانات وإرسالها بشكل أفضل. يبدأ هذا بجعل النماذج أصغر من خلال أشياء مثل القياس الكمي، ثم يستخدم الضغط غير المفقود على ما يخرج.
في إحدى الحالات، قاموا بإنشاء أداة نصية تنطلق من 109 مليون قطعة (438 ميجابايت) إلى 52.8 مليون قطعة (211 ميجابايت). ثم، باستخدام القياس الكمي بـ 4 بت، قاموا بخفضه إلى 62.7 ميجابايت. تقوم الخطوة التالية بتجميع مخرجات النموذج والبيانات الأخرى، مما يجعل النظام الذي يحزم البيانات أفضل من طريقة واحدة فقط.
تعد هذه الطريقة المكونة من خطوتين رائعة لاستخدامات العمل الكبيرة، حيث إنها توفر المساحة وترسل البيانات بسعر أرخص وتكاليف أقل للتشغيل. لكن جعل الضغط المزدوج يعمل بشكل جيد يحتاج إلى عمل دقيق، خاصة فيما يتعلق بكيفية تغيير القياس الكمي لكيفية ظهور أرقام مخرجات النموذج. عند القيام بذلك بشكل جيد، يوفر هذا طريقة للاختيار بين توفير المساحة أو تسريع العمليات أو استخدام بيانات أقل بناءً على ما تحتاجه الشركة.
عند اختيار أفضل طريقة ضغط لمخرجات LLM الخاصة بك، فكر في كيفية عمل كل منها في الاستخدام الحقيقي. كل طريقة لها نقاطها الجيدة ومقايضاتها، خاصة عند استخدامها في حالات الأعمال الكبيرة.
لاختبار طرق الضغط، ننظر إلى بعض النقاط الرئيسية:
يمكن لنوع الخوارزمية المختارة أن يغير حقًا مدى جودة عمل التطبيقات في الأعمال التجارية الكبيرة. على سبيل المثال، تتمحور أساليب مثل LZ4 و Snappy حول السرعة، مما يجعلها رائعة للمهام الفورية، حتى لو قللت من مقدار الضغط الذي يمكنك ضغطه. على الجانب الآخر، للاحتفاظ بالبيانات حيث لا تكون السرعة مشكلة كبيرة، توفر خيارات مثل Zstd أو GZIP مع جداول Dynamic Huffman ضغطًا أفضل. تقول الدكتورة كاليوب-لويزا سوتيروبولو من CAST:
«يتطلب تحديد الخوارزمية الصحيحة الدراسة والخبرة لأنها يجب أن تستند إلى مجموعة البيانات ونوع البيانات ومتوسط حجم الملف والحد الأقصى وتكوين الخوارزمية الصحيح.»
هذا يجعل من السهل رؤية كيفية ترتيب أفضل الخوارزميات.
هنا، نضع الخوارزميات الرئيسية وكيفية عملها:
تُظهر هذه النظرة إلى الأشياء المفاضلات بين مدى جودة عملها، ومدى سهولة إضافتها، وما يتم استخدامه من أجله، مما يساعد الشركات في اتخاذ خيارات ذكية.
يعمل LMPress جيدًا عندما تنظر إلى مدى ضيق قدرته على حزم البيانات، حيث يحصل على درجة 6.32 في CLIC2019 بينما يحصل JPEG-XL على 2.93 فقط. يمكن أن يضاعف أو حتى يحسن أربع مرات عمل الطرق القديمة لتعبئة البيانات لجميع أنواع البيانات، ولكنه يحتاج إلى العمل مع LLMs.
يتم إجراء ضغط التنبؤ بـ Next-Token للبيانات من LLMs، مع معدلات تعبئة أفضل بـ 20 مرة من Gzip 3 مرات. هذا يجعله الاختيار الأفضل لأماكن مثل prompts.ai، حيث يكون قطع تكاليف الرمز المميز أمرًا مهمًا للغاية.
يجد Zstandard طريقًا وسطًا من خلال كونه أسرع بثلاث إلى 5 مرات من zlib ولا يزال يحزم البيانات بشكل ضيق. إنه يضاعف تقريبًا سرعة التفريغ وليس من الصعب إضافته، مما يجعله اختيارًا جيدًا للشركات التي تريد حلًا سهلاً.
يمكن أن يؤدي اختيار الطريقة الصحيحة لحزم البيانات إلى تغيير طريقة عمل الشركة حقًا. على سبيل المثال، تقول CAST إن التعبئة الذكية في التخزين يمكن أن تقلل من استخدام الطاقة بنسبة تصل إلى 40٪. أيضًا، وجدت Google أن تعبئة Brotli تستهلك بيانات أقل بنسبة 20٪، مما يوفر الطاقة عند نقل البيانات. هذا يدل على الدور الكبير للتعبئة الضيقة في جعل LLM تعمل بشكل أفضل.
إن وضع تقنية الضغط في أدوات الذكاء الاصطناعي هو أكثر من مجرد ترقية - فهو يجعل سير العمل أفضل ويقلل التكاليف. من خلال إضافة الضغط إلى هذه الأدوات، يمكنك جعلها تعمل بشكل أفضل دون الإضرار بكيفية عملها أو استخدامها.
التوقيت مهم جدًا عند إضافة ضغط بدون فقدان إلى وظائف الذكاء الاصطناعي. للحفاظ على سرعة الأمور والحفاظ على امتيازات التخزين، قم بضغط البيانات عندما لا يحدث أي شيء آخر، وليس عندما يكون النظام مشغولًا بالعمل على الأشياء. بالنسبة للعمل الذي يجب أن يحدث في نفس الوقت، قم بضغط البيانات المحفوظة بهدوء في الخلف حتى لا يتم إيقاف أي شخص. قد تحتاج أنواع مختلفة من البيانات إلى طرقها الخاصة - على سبيل المثال، يعمل النص جيدًا مع ضغط تخمين الكلمة التالية، ولكن قد تحتاج الأنواع الأخرى إلى طرقها الخاصة. أدوات مثل ZipNN جيدة في التعامل مع مخرجات نموذج النص الكبير باستخدام ترميز الإنتروبيا لقطع الإضافات.
من المهم مراقبة عدد الرموز المستخدمة. يمكن أن تتكلف نماذج الذكاء الاصطناعي ما بين 10 دولارات و 20 دولارًا لكل مليون رمز، لذلك حتى المزيد من الكفاءة يمكن أن يعني توفيرًا كبيرًا. لإدارة التكاليف بشكل جيد، تحتاج إلى معرفة الفرق بين رموز الإدخال والرموز المميزة لأن هذا الوضوح يساعد في العثور على المكان الذي تقوم فيه بالتوفير باستخدام الضغط. على سبيل المثال، يمكن أن يعني خفض عدد الرموز المخزنة بنسبة 22.42٪ توفيرًا كبيرًا كل شهر. ومع معالجة الأنظمة لمليارات الرموز كل شهر، فإن الأدوات التي تخمن عدد الرموز المستخدمة تعطي صورة واضحة عن تأثيرات الاستخدام والتكلفة. تحصل أدوات مثل prompts.ai، التي تدفع مقابلها أثناء استخدامك، على الكثير من مشاهدة الرموز في الوقت الفعلي جنبًا إلى جنب مع إحصائيات الضغط، مما يوفر طريقة واضحة للمشاهدة وتحقيق أقصى استفادة من هذه التعديلات. لا تؤدي هذه الطرق إلى خفض التكاليف فحسب، بل تساعد أيضًا في إجراء تغييرات أكبر وأفضل في العمليات.
تتجاوز مزايا إضافة الضغط مجرد جعل الأشياء تعمل بشكل أفضل - فهي تصل إلى المحصلة النهائية. تُظهر أدوات مثل LMPress و ZipNN كيف يمكن للضغط الذكي تحسين التخزين ومساعدة الشركات على النمو. آي بي إم يشير الباحث موشيك هيرشوفيتش إلى قيمة هذه الأساليب:
«يمكن لطريقتنا خفض تكاليف تخزين الذكاء الاصطناعي ونقله دون أي جانب سلبي تقريبًا. عندما تقوم بفك ضغط الملف، فإنه يعود إلى حالته الأصلية. أنت لا تفقد أي شيء.»
إليك حالة بسيطة: في فبراير 2025، وجه معانق بدأوا في استخدام طريقة جديدة لتعبئة البيانات من طريقة تسمى ZipNN في نظامهم، وخفضوا تكاليف التخزين بنسبة 20٪. قامت ZipNN أيضًا بتصنيع ملفات النماذج الشائعة الكبيرة بحجم أصغر بمقدار الثلث ويمكنها حزم البيانات وتفريغها بشكل أسرع 1.5 مرة. على سبيل المثال، عملت نماذج Llama 3.1 بشكل أسرع بنسبة 62٪ من الطريقة القديمة، zstd. عند استخدامها على الأنظمة الكبيرة التي تعمل مع أكثر من مليون طراز يوميًا، يمكن لـ ZipNN توفير كميات هائلة من التخزين والبيانات، مما يوفر التكاليف أيضًا. لا يقتصر الأمر على توفير المال فحسب، بل إن استخدام طريقة التعبئة الذكية هذه يمكن أن يعني أيضًا استخدام طاقة أقل بنسبة تصل إلى 40٪، والمساعدة بالمال والأرض. بالنسبة لمواقع مثل prompts.ai، تتيح هذه التغييرات التعامل مع وظائف أكبر وأشياء أكثر تعقيدًا دون القلق بشأن المساحة أو التكلفة.
تعد الطرق الجديدة لحزم نتائج نماذج الذكاء الاصطناعي الكبيرة دون خسارة أساسية في التعامل مع البيانات الضخمة التي يصنعها الذكاء الاصطناعي. لا تعمل الأساليب الجديدة التي يقودها الذكاء الاصطناعي بشكل أفضل فحسب، بل تحافظ أيضًا على أمان المعلومات الحقيقية.
فيما يلي المكاسب الرئيسية وتأثيراتها:
«تُظهر نتائجنا أنه كلما فهم النموذج البيانات بشكل أفضل، زادت فعالية ضغطها، مما يشير إلى وجود علاقة عميقة بين الفهم والضغط.» - مؤلفو LMCompress
تساعد هذه التحركات في جعل الذكاء الاصطناعي يعمل بشكل أكبر وأقل تكلفة. من خلال تعبئة البيانات بشكل جيد، يمكن للشركات التعامل مع المزيد من البيانات وعدم الوصول إلى حدود الرموز، وتسهيل العثور على البيانات، واستخدام ما لديها بشكل أفضل. تحافظ الطريقة التي يعمل بها الضغط بدون فقدان البيانات على أمان البيانات وتجعل تحميل البيانات ونقلها أكثر سلاسة وسرعة.
نظرًا لأن الذكاء الاصطناعي يزداد حجمًا وأكثر اختلاطًا، فإن استخدام أفضل طرق تعبئة البيانات هذه أمر لا بد منه - إنه مفتاح المواكبة. يمكن للشركات التي تستخدم هذه الحيل تطوير عمل الذكاء الاصطناعي الخاص بها بشكل أفضل، وإنفاق أقل على ما تحتاج إليه، ومنح المستخدمين عملًا أسرع وأكثر تأكيدًا. تستخدم منصات مثل prompts.ai بالفعل هذه الطرق لتتبع الرموز بشكل أفضل وإنفاق أقل باستخدام الضغط الذكي.
يمكن للشركات تكثيف مهام الذكاء الاصطناعي الخاصة بها باستخدام طرق ضغط بدون فقدان التي تجعل البيانات أصغر ولكنها تحافظ على جودتها الكاملة. أدوات مثل ZipNN و LMPress جيدة جدًا لهذا الغرض، حيث توفر امتيازات مثل إنفاق أموال أقل على التخزين ونقل البيانات بشكل أسرع. تساعد هذه الحلول في إدارة مجموعات البيانات الضخمة بشكل جيد مع الاحتفاظ بجميع التفاصيل.
للبدء، يمكن للشركات إضافة طرق الضغط هذه إلى إعدادات البيانات المستمرة أو تصميمات الذكاء الاصطناعي. يؤدي ذلك إلى زيادة السرعة وخفض التكاليف من خلال توفير مساحة التخزين والطاقة المستخدمة في العمليات. عند وضعها جنبًا إلى جنب مع خطوات مثل خفض تكاليف السحابة، يمكن لهذه الأساليب تحقيق وفورات نقدية واضحة وتعزيز كيفية عمل الأشياء بشكل عام.
