Hugging Face Text Generation Inference، الخيار المفتوح الافتراضي لخدمة النماذج اللغوية مفتوحة الأوزان.
Hugging Face Text Generation Inference (TGI) هو الخادم مفتوح المصدر المبني خصّيصاً لخدمة النماذج اللغوية مفتوحة الأوزان على نطاق إنتاجي. يدعم أحدث النماذج المفتوحة، ونوى الانتباه المحسَّنة، والبثّ المُهيكَل، ويتكامل بسلاسة مع منظومة Hugging Face الأوسع.
أُساعد الفرق على إقامة عمليات نشر TGI مضبوطة على الكمون والإنتاجية والتكلفة، مع حوكمة سجلّ النماذج، وإدارة المفاتيح للنماذج المحمية، والرصد، وحدود أمنية بين النماذج والمستأجرين.