ادفع حسب الاستخدام - AI Model Orchestration and Workflows Platform
كل يوم، يقوم حاملو شهادات الماجستير في إدارة الأعمال بإعداد كميات هائلة من البيانات، مما يجعل تخزينها وإرسالها بشكل جيد أمرًا أساسيًا. يعد الضغط بدون فقدان هو الخيار الأفضل لقص أحجام الملفات دون فقدان أي بيانات. وإليك سبب أهميته وكيفية عمله:
لا يوفر الضغط بدون فقدان المساحة فحسب، بل إنه طريقة ذكية للتعامل مع المزيد والمزيد من البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي.
يعد الضغط بدون فقدان طريقة رائعة لتخزين النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي بشكل جيد دون فقدان أي بيانات. فهو يكتشف الأنماط في البيانات ويستخدمها لتقليص أحجام الملفات. بالنسبة للنص المصنوع بتقنية الذكاء الاصطناعي، تعمل هذه الطريقة بشكل مختلف قليلاً عن الطرق الأخرى لتصغير حجم الملفات. دعونا نلقي نظرة على كيفية الحفاظ على البيانات الصحيحة والقيام بذلك بشكل جيد.
الجزء الأكبر من الضغط بدون فقدان البيانات هو كيف يمكن أن يجعل البيانات أصغر مع الاحتفاظ بجميع المعلومات. فهو يرى الأشياء المتكررة - مثل الأنماط - التي تظهر كثيرًا ثم يكتبها بطريقة قصيرة. على سبيل المثال، إذا كان "the" موجودًا في النص كثيرًا، فيمكن وضعه في رمز صغير يملأ مساحة أقل. عندما نجعلها كبيرة مرة أخرى، يعود النص كما هو.
طرق مثل ترميز هوفمان والترميز الحسابي تجعل هذا العمل ناجحًا. يوفر ترميز هوفمان رموزًا قصيرة للأشياء التي تظهر كثيرًا، في حين أن الترميز الحسابي يعمل بشكل أفضل من خلال الاقتراب من أفضل حجم صغير للبيانات. تذهب الطرق الجديدة إلى أبعد من ذلك من خلال التعلم والتغيير حيث يرون كيف يقوم حاملو ماجستير إدارة الأعمال بإنشاء البيانات، مما يجعلهم أفضل في ضغطها.
العشوائية، أو مدى عدم التأكد من البيانات، لها أهمية كبيرة في مقدار ضغطها. تحتوي البيانات العشوائية الأقل على أنماط أكثر وضوحًا، لذا من الأسهل تصغيرها. يميل الذكاء الاصطناعي إلى جعل البيانات سهلة التخمين، مما يساعد في جعلها جيدة للضغط.
إن كيفية تقسيم النص إلى أجزاء - مثل الحروف أو مجموعات البايت أو الكلمات الكاملة - تؤثر على مدى صغر حجمه. التشفير الذي يعتمد على عدد مرات حدوث الأشياء يعطي رموزًا قصيرة للبتات الشائعة ورموزًا أطول للبتات النادرة. وبما أن الذكاء الاصطناعي يصنع النص عن طريق تخمين هذه البتات بشكل جيد، فإنه يتناسب بشكل جيد مع طرق ضغط البيانات. إن التنبؤ بناءً على البتات السابقة يجعل هذه التخمينات أفضل، وبالتالي تحسين مدى صغر حجم البيانات التي يمكننا الحصول عليها. يعتمد التنبؤ الذكي على هذا، مما يجعل الضغط أفضل.
إن تقليل حجم البيانات وتخمينها بشكل صحيح يسيران معًا: كلما كان النموذج أكثر ذكاءً في معرفة البيانات، كان بإمكانه تقليصها بشكل أفضل. ومن الأمثلة الرائعة على ذلك LMCompress، وهي طريقة تم إنشاؤها في مايو 2025 بواسطة أدمغة كبيرة من أماكن مثل معهد الصين المركزي للذكاء الاصطناعي وجامعة واترلو. لقد جعل LMCompress الأشياء أصغر بكثير، مما ضاعف مدى صغر حجم النصوص والصور ومقاطع الفيديو والأصوات مقارنة بالطرق القديمة.
على سبيل المثال، قام LMCompress بإنشاء نصوص تبلغ حوالي ثلث ما يمكن أن يفعله zpaq. كما أنها جعلت أجزاء الصورة من ImageNet 43.4% بحجمها الأول والأصوات من LibriSpeech بنسبة 16.4% فقط - وهي أفضل من الطرق الأخرى مثل PNG (58.5%) وFLAC (30.3%). يأتي هذا المستوى العالي من جعل الأشياء صغيرة من خلال البرمجة الحسابية الذكية، والتي تستخدم ما يتعلمه طلاب ماجستير إدارة الأعمال أثناء التدريب.
تحدث Ming Li، وهو جزء كبير من دراسة LMCompress، عن كيفية ارتباط التعلم وضغط الأشياء:
__XLATE_10__
"في هذه الورقة: أثبتنا أن الضغط يعني أفضل التعلم/الفهم."
تعمل الأدوات الأخرى مثل DeepSeekZip وLlamaZip أيضًا بشكل جيد، حيث تتفوق على zlib بمعدلات سحق أفضل بنسبة تزيد عن 10%. في المواقع الكبيرة مثل Prompts.ai، التي تهتم بالكثير من الأشياء التي تنتجها LLM، تعمل هذه التحركات الجديدة على تقليل مقدار المساحة المستخدمة وتسريع نقل البيانات. الشيء الرئيسي الذي يجب معرفته؟ تعد نماذج التخمين والسحق بدون خسارة جزأين من شيء واحد، واستخدامهما يغير كيفية احتفاظنا بالمعلومات واستخدامها.
لا توفر هذه الخطوات الكبيرة المساحة فحسب، بل تمتزج أيضًا بشكل جيد مع إعدادات الذكاء الاصطناعي، مما يجعل العمل يسير بسلاسة وبتكلفة أقل.
يعد تقليص مخرجات LLM (نماذج اللغات الكبيرة) أمرًا صعبًا، لكن الأساليب التقنية الجديدة تساعد كثيرًا. هذه الطرق لا تقوم فقط بتقليص الأشياء بالطريقة القديمة؛ فهم يستخدمون الذكاء الاصطناعي لتخمين البيانات، وتغيير كيفية الاحتفاظ بالبيانات والتحكم فيها في إعدادات الذكاء الاصطناعي الحالية.
LMCompress هي طريقة تقليص من الدرجة الأولى بدون خسارة تم تصميمها خصيصًا للأشياء المصنوعة بواسطة الذكاء الاصطناعي. يستخدم طريقة من ثلاث خطوات: التقطيع والتخمين والترميز الرياضي. إنه يعمل بشكل جيد في تقليل أنواع البيانات المختلفة مثل الكلمات والصور والصوت والفيديو. من خلال تحويل هذه الأنواع من البيانات إلى أجزاء يمكن لـ LLM التعامل معها، فإن LMCompress يجعل الأشياء أكثر توفيرًا للمساحة. يعتمد تصميمه على أفكار مثل تخمين سولومونوف، مما يجعله أفضل في التخمين والتحويل.
For example, LMCompress got a shrink size of 6.32 on the CLIC2019 picture set, which was way better than JPEG-XL's 2.93. In making sound files smaller, it cut data size by 25%–94%, topping FLAC in stuff like LibriSpeech and LJSpeech. With words, LMCompress nearly made the shrink sizes three times better than older tools like zlib, bzip2, and brotli, giving a bump of 8.5% on MeDAL and 38.4% on Pile of Law compared to the raw Llama3-8B outputs. Even in making videos smaller, it showed more than 20% better results for still scenes and at least 50% better for moving scenes against old ways like FFV1, H.264, and H.265.
__XLATE_16__
"يبشر LMCompress بعصر جديد من ضغط البيانات المدعوم بالفهم العميق. إن هندسته المعمارية، المستوحاة من تحريض سولومونوف، لا تتفوق فقط على المعايير السابقة ولكنها تعيد تعريف الضغط كعملية ذكية متجذرة في التنبؤ والتكيف." - أنيرودا شريكاند
يعد LMCompress بمثابة مساعدة كبيرة لمواقع مثل Prompts.ai، التي تتعامل مع الكثير من المحتوى المصنوع بواسطة الذكاء الاصطناعي.
هناك طريقة جديدة ورائعة تستخدم كيفية تخمين نماذج اللغة للكلمة أو الرمز المميز التالي. تسمى هذه الخدعة بضغط توقع الرمز التالي، وتستخدم هذا التخمين لوضع البيانات في مساحة صغيرة بشكل جيد. إنها تستخدم حقًا فكرة نموذج اللغة الكبيرة (LLM) للبيانات لتجميعها بقدر ما تقول نظرية شانون.
يعتمد مدى نجاح هذا كثيرًا على مدى جودة النموذج اللغوي. النموذج الأعلى يعني أنه يمكنك حزم البيانات بشكل أفضل. تتناسب هذه الطريقة أيضًا مع أنظمة LLM الحالية، مما يجعلها سهلة الاستخدام لتحسين وظائف البيانات النصية في الشركات الكبرى.
للحصول على أحجام صغيرة أفضل، يجمع الضغط المزدوج طريقتين معًا للاحتفاظ بالبيانات وإرسالها بشكل أفضل. يبدأ هذا بجعل النماذج أصغر حجمًا من خلال أشياء مثل التكميم، ثم يستخدم الضغط بدون فقدان البيانات على ما يخرج.
في إحدى الحالات، قاموا بتحويل أداة النص من 109 مليون جزء (438 ميجابايت) إلى 52.8 مليون جزء (211 ميجابايت). ثم، باستخدام تكميم 4 بت، قاموا بتقليل الحجم إلى 62.7 ميجابايت. تقوم الخطوة التالية بتعبئة مخرجات النموذج والبيانات الأخرى، مما يجعل النظام الذي يجمع البيانات أفضل من طريقة واحدة فقط.
تعتبر هذه الطريقة المكونة من خطوتين رائعة للاستخدامات الكبيرة في العمل، حيث توفر المساحة، وترسل البيانات بسعر أرخص، وتكلف أقل للتشغيل. لكن جعل الضغط المزدوج يعمل بشكل جيد يحتاج إلى عمل دقيق، خاصة فيما يتعلق بكيفية تغيير القياس في كيفية ظهور أرقام مخرجات النموذج. عندما يتم ذلك بشكل جيد، فإنه يوفر طريقة للاختيار بين توفير المساحة، أو تسريع العمليات، أو استخدام بيانات أقل بناءً على ما تحتاجه الشركة.
عند اختيار طريقة الضغط العلوي لمخرجات LLM الخاصة بك، فكر في كيفية عمل كل منها في الاستخدام الحقيقي. كل طريقة لها نقاطها ومقايضاتها الجيدة، وخاصة عند استخدامها في حالات الأعمال الكبيرة.
لاختبار طرق الضغط، ننظر إلى بعض النقاط الرئيسية:
يمكن لنوع الخوارزمية المختارة أن يغير مدى جودة عمل التطبيقات في الشركات الكبيرة. على سبيل المثال، تدور أساليب مثل LZ4 وSnapy حول السرعة، مما يجعلها رائعة للمهام الفورية، حتى لو كانت تقلل من مقدار الضغط الذي يمكنك ضغطه. على الجانب الآخر، لحفظ البيانات حيث لا تكون السرعة مشكلة كبيرة، توفر خيارات مثل Zstd أو GZIP مع جداول Dynamic Huffman ضغطًا أفضل. يقول الدكتور كاليوب-لويزا سوتيروبولو من CAST:
__XLATE_27__
"اختيار الخوارزمية الصحيحة يتطلب الدراسة والخبرة لأنه يجب أن يعتمد على مجموعة البيانات ونوع البيانات ومتوسط حجم الملف والحد الأقصى له وتكوين الخوارزمية الصحيح."
وهذا يجعل من السهل معرفة كيفية ترتيب الخوارزميات العليا.
هنا، نعرض الخوارزميات الرئيسية وكيفية عملها:
تُظهر هذه النظرة إلى الأشياء المفاضلات بين مدى نجاحها، ومدى سهولة إضافتها، والغرض من استخدامها، لمساعدة الشركات في اتخاذ خيارات ذكية.
يعمل LMCompress بشكل جيد عندما تنظر إلى مدى قوة حزم البيانات، حيث يحصل على درجة 6.32 في CLIC2019 بينما يحصل JPEG-XL على 2.93 فقط. يمكنها مضاعفة أو حتى تحسين عمل الطرق القديمة لحزم البيانات لجميع أنواع البيانات، أو حتى تحسينها أربع مرات، ولكنها تحتاج إلى العمل مع حاملي شهادة الماجستير في القانون.
يتم إجراء ضغط التنبؤ بالرمز التالي للبيانات الواردة من حاملي شهادات LLM، مع معدلات تعبئة أفضل بـ 20 مرة من معدلات تعبئة Gzip بثلاث مرات. وهذا يجعله الاختيار الأفضل لأماكن مثل Prompts.ai، حيث يكون خفض تكاليف الرمز المميز أمرًا مهمًا للغاية.
تجد Zstandard طريقًا وسطًا من خلال كونها أسرع بثلاث إلى خمس مرات من zlib ولا تزال تحزم البيانات بشكل محكم. فهو يضاعف سرعة التفريغ تقريبًا وليس من الصعب إضافته، مما يجعله اختيارًا جيدًا للشركات التي تريد حلاً سهلاً.
إن اختيار الطريقة الصحيحة لحزم البيانات يمكن أن يغير طريقة عمل الشركة. على سبيل المثال، تقول شركة CAST أن التعبئة الذكية في وحدات التخزين يمكن أن تقلل من استخدام الطاقة بنسبة تصل إلى 40%. كما وجدت Google أيضًا أن تعبئة Brotli تستهلك بيانات أقل بنسبة 20%، مما يوفر الطاقة عند نقل البيانات. يوضح هذا الدور الكبير للتعبئة الضيقة في جعل LLM تعمل بشكل أفضل.
يعد إدخال تقنية الضغط في أدوات الذكاء الاصطناعي أكثر من مجرد ترقية - فهو يجعل سير العمل أفضل ويقلل التكاليف. من خلال إضافة الضغط إلى هذه الأدوات، يمكنك جعلها تعمل بشكل أفضل دون الإضرار بطريقة عملها أو استخدامها.
التوقيت مهم جدًا عند إضافة ضغط بدون فقدان إلى وظائف الذكاء الاصطناعي. للحفاظ على سرعة الأمور والحفاظ على امتيازات التخزين، قم بضغط البيانات عندما لا يحدث أي شيء آخر، وليس عندما يكون النظام مشغولاً بإنجاز الأمور. بالنسبة للعمل الذي يجب أن يتم في نفس الوقت، قم بضغط البيانات المحفوظة بهدوء في الخلف حتى لا يتم عرقلة أي شخص. قد تحتاج الأنواع المختلفة من البيانات إلى طرقها الخاصة - على سبيل المثال، يعمل النص بشكل جيد مع ضغط تخمين الكلمة التالية، لكن الأنواع الأخرى قد تحتاج إلى طرقها الخاصة. تعتبر الأدوات مثل ZipNN جيدة في التعامل مع مخرجات النماذج النصية الكبيرة باستخدام تشفير الإنتروبيا لاستبعاد الإضافات.
It's key to keep an eye on how many tokens are used. AI models can cost between $10 and $20 for every million tokens, so even a little more efficiency can mean big savings. To manage costs well, you need to know the difference between input tokens and made tokens as this clarity helps find where you’re saving with compression. For example, cutting the number of stored tokens by 22.42% can mean big savings each month. With systems processing billions of tokens every month, tools that guess how many tokens are used give a clear picture of use and cost impacts. Tools like prompts.ai, which you pay for as you use, get a lot from real-time token watching along with compression stats, giving a clear way to watch and make the most of these tweaks. These ways not only keep costs down but also help with bigger and better changes in operations.
إن مزايا إضافة الضغط تتجاوز مجرد جعل الأمور تعمل بشكل أفضل - فهي تصل إلى النتيجة النهائية. تُظهر أدوات مثل LMCompress وZipNN كيف يمكن للضغط الذكي أن يجعل التخزين أفضل ويساعد الشركات على النمو. ويشير موشيك هيرشكوفيتش، الباحث في شركة IBM، إلى قيمة هذه الأساليب:
__XLATE_39__
"يمكن لطريقتنا خفض تكاليف التخزين والنقل باستخدام الذكاء الاصطناعي دون أي آثار سلبية تقريبًا. عندما تقوم بفك ضغط الملف، فإنه يعود إلى حالته الأصلية. ولن تفقد أي شيء."
إليك حالة بسيطة: في فبراير 2025، بدأت Hugging Face في استخدام طريقة جديدة لتعبئة البيانات من طريقة تسمى ZipNN في نظامها، وخفضت تكاليف التخزين بنسبة 20%. قامت شركة ZipNN أيضًا بإنشاء ملفات نموذجية كبيرة الحجم أصغر بمقدار الثلث تقريبًا، ويمكنها حزم البيانات وتفريغها بشكل أسرع بمقدار 1.5 مرة. على سبيل المثال، عملت نماذج Llama 3.1 بشكل أسرع بنسبة 62% من الطريقة القديمة zstd. عند استخدامه في الأنظمة الكبيرة التي تعمل مع أكثر من مليون نموذج يوميًا، يمكن لـ ZipNN توفير كميات هائلة من التخزين والبيانات، مما يوفر التكاليف أيضًا. لا يقتصر الأمر على توفير المال فحسب، بل إن استخدام طريقة التعبئة الذكية هذه قد يعني أيضًا استخدام طاقة أقل بنسبة تصل إلى 40%، مما يساعد في توفير المال والأرض. بالنسبة لمواقع مثل Prompts.ai، تتيح هذه التغييرات التعامل مع المهام الأكبر والأشياء الأكثر تعقيدًا دون القلق بشأن المساحة أو التكلفة.
تعد الطرق الجديدة لتعبئة نتائج نماذج الذكاء الاصطناعي الكبيرة دون خسارة أمرًا أساسيًا في التعامل مع البيانات الضخمة التي ينتجها الذكاء الاصطناعي. لا تعمل الأساليب الجديدة التي يقودها الذكاء الاصطناعي بشكل أفضل فحسب، بل تحافظ أيضًا على أمان المعلومات الحقيقية.
وفيما يلي أهم المكاسب وآثارها:
"Our results demonstrate that the better a model understands the data, the more effectively it can compress it, suggesting a deep connection between understanding and compression." – Authors of LMCompress
"Our results demonstrate that the better a model understands the data, the more effectively it can compress it, suggesting a deep connection between understanding and compression." – Authors of LMCompress
تساعد هذه التحركات في جعل عمل الذكاء الاصطناعي أكبر حجمًا وأقل تكلفة. ومن خلال تعبئة البيانات بشكل جيد، يمكن للشركات التعامل مع المزيد من البيانات وعدم الوصول إلى حدود الرموز المميزة، وجعل العثور على البيانات أسهل، واستخدام ما لديها بشكل أفضل. تحافظ الطريقة التي يعمل بها الضغط بدون فقدان البيانات على أمان البيانات وتجعل تحميل البيانات ونقلها أكثر سلاسة وأسرع.
مع تزايد حجم الذكاء الاصطناعي واختلاطه، أصبح استخدام أفضل طرق تعبئة البيانات هذه أمرًا ضروريًا - وهو أمر أساسي للمواكبة. يمكن للشركات التي تستخدم هذه الحيل أن تطور عملها في مجال الذكاء الاصطناعي بشكل أفضل، وتنفق أقل على ما تحتاج إليه، وتمنح المستخدمين عملاً أسرع وأكثر ضمانًا. تستخدم منصات مثل Prompts.ai بالفعل هذه الطرق لتتبع الرموز المميزة بشكل أفضل وإنفاق أقل باستخدام الضغط الذكي.
يمكن للشركات تكثيف مهام الذكاء الاصطناعي الخاصة بها باستخدام أساليب الضغط بدون فقدان البيانات التي تجعل البيانات أصغر حجمًا مع الحفاظ على جودتها الكاملة. تعتبر أدوات مثل ZipNN وLMCompress جيدة جدًا لهذا الغرض، حيث توفر امتيازات مثل إنفاق أموال أقل على التخزين ونقل البيانات بشكل أسرع. تساعد هذه الحلول في إدارة مجموعات البيانات الضخمة بشكل جيد مع الاحتفاظ بكل التفاصيل.
للبدء، يمكن للشركات إضافة طرق الضغط هذه إلى إعدادات البيانات المستمرة أو تصميمات الذكاء الاصطناعي. يؤدي ذلك إلى زيادة السرعة وخفض التكاليف عن طريق توفير مساحة التخزين والطاقة المستخدمة في العمليات. عند دمجها مع خطوات مثل خفض تكاليف السحابة، يمكن لهذه الأساليب تحقيق وفورات نقدية واضحة وتعزيز مدى نجاح الأمور بشكل عام.
