الذاكرة: العنصر الحاسم المتزايد في خفض تكاليف البنية التحتية للذكاء الاصطناعي

عند الحديث عن تكلفة البنية التحتية للذكاء الاصطناعي، ينصب التركيز عادةً على Nvidia ووحدات معالجة الرسوميات (GPUs) لكن الذاكرة أصبحت جزءًا متزايد الأهمية من الصورة. بينما تستعد الشركات العملاقة لبناء مراكز بيانات جديدة بمليارات الدولارات، قفز سعر رقائق DRAM بنحو 7 أضعاف في العام الماضي.

في الوقت نفسه، هناك انضباط متزايد في تنظيم كل هذه الذاكرة لضمان وصول البيانات الصحيحة إلى الوكيل الصحيح في الوقت المناسب. الشركات التي تتقن ذلك ستتمكن من إجراء نفس الاستعلامات بعدد أقل من الرموز (tokens)، مما قد يمثل الفارق بين الفشل والاستمرار في العمل.

يقدم محلل أشباه الموصلات دان أو'لافلين نظرة مثيرة للاهتمام حول أهمية رقائق الذاكرة على منصته Substack، حيث يتحدث مع فال بيركوفيتشي، كبير مسؤولي الذكاء الاصطناعي في Weka. كلاهما متخصصان في أشباه الموصلات، لذا ينصب التركيز أكثر على الرقائق بدلاً من البنية المعمارية الأوسع؛ ومع ذلك، فإن الآثار المترتبة على برمجيات الذكاء الاصطناعي كبيرة جدًا أيضًا.

لقد لفت انتباهي بشكل خاص هذا المقطع، الذي يستعرض فيه بيركوفيتشي التعقيد المتزايد لوثائق التخزين المؤقت للمطالبات (prompt-caching) الخاصة بـ Anthropic:

العلامة الدالة هي إذا ذهبنا إلى صفحة تسعير التخزين المؤقت للمطالبات (prompt caching) الخاصة بـ Anthropic. بدأت كصفحة بسيطة جدًا قبل ستة أو سبعة أشهر، خاصة مع إطلاق Claude Code مجرد "استخدم التخزين المؤقت، إنه أرخص". الآن أصبحت موسوعة من النصائح حول العدد الدقيق لعمليات الكتابة في الذاكرة المؤقتة التي يجب شراؤها مسبقًا. لديك مستويات 5 دقائق، وهي شائعة جدًا في الصناعة، أو مستويات ساعة واحدة ولا شيء فوق ذلك. هذه علامة دالة مهمة حقًا. ثم بالطبع لديك جميع أنواع فرص المراجحة حول تسعير قراءات الذاكرة المؤقتة بناءً على عدد عمليات الكتابة في الذاكرة المؤقتة التي اشتريتها مسبقًا.

السؤال هنا هو المدة التي يحتفظ فيها Claude بمطالبتك في الذاكرة المؤقتة: يمكنك الدفع مقابل نافذة مدتها 5 دقائق، أو دفع المزيد مقابل نافذة مدتها ساعة واحدة. من الأرخص بكثير الاعتماد على البيانات التي لا تزال في الذاكرة المؤقتة، لذا إذا أدرتها بشكل صحيح، يمكنك توفير الكثير. ومع ذلك، هناك مشكلة: كل جزء جديد من البيانات تضيفه إلى الاستعلام قد يزيح شيئًا آخر من نافذة الذاكرة المؤقتة.

هذا أمر معقد، لكن النتيجة بسيطة بما يكفي: ستكون إدارة الذاكرة في نماذج الذكاء الاصطناعي جزءًا ضخمًا من مستقبل الذكاء الاصطناعي. الشركات التي تتقن ذلك سترتقي إلى القمة.

وهناك الكثير من التقدم الذي يمكن إحرازه في هذا المجال الجديد. في أكتوبر الماضي، قمت بتغطية شركة ناشئة تدعى TensorMesh كانت تعمل على طبقة واحدة في المكدس تُعرف بتحسين التخزين المؤقت.

توجد فرص في أجزاء أخرى من المكدس. على سبيل المثال، في المستويات الأدنى من المكدس، هناك مسألة كيفية استخدام مراكز البيانات لأنواع الذاكرة المختلفة التي تمتلكها. (تتضمن المقابلة نقاشًا جيدًا حول متى تُستخدم رقائق DRAM بدلاً من HBM، على الرغم من أنه يتعمق كثيرًا في تفاصيل الأجهزة.) في المستويات الأعلى من المكدس، يكتشف المستخدمون النهائيون كيفية هيكلة مجموعات نماذجهم للاستفادة من الذاكرة المؤقتة المشتركة.

مع تحسن الشركات في تنظيم الذاكرة، ستستخدم عددًا أقل من الرموز وستصبح عملية الاستدلال أرخص. في الوقت نفسه، أصبحت النماذج أكثر كفاءة في معالجة كل رمز، مما يدفع التكلفة إلى الانخفاض أكثر. ومع انخفاض تكاليف الخوادم، ستبدأ العديد من التطبيقات التي لا تبدو مجدية الآن في تحقيق الربحية تدريجيًا.