مقدمه

هوش مصنوعی در سال‌های اخیر شاخه‌های جدیدی پیدا کرده و مدل‌های بزرگ زبان (LLM) مانند Falcon، Open–LLaMA، X‑Gen و … توانایی رقابت با مدل‌های بسته را کسب کرده‌اند. اما اجرا و سرویس‌گذاری این مدل‌ها همچنان چالش‌های ویژه‌ای دارد. برای این منظور، هفینگ فیس با وب‌سرویس Inference Endpoints یک راه‌حل مدرنی و امن ارائه داده است.

نحوه استقرار مدل روی Inference Endpoints

فرآیند مستقر کردن یک LLM در یک نقطه‌ی استنتاج به‌صورت زیر است:

  • انتخاب مدل مناسب در هفینگ فیس مدل‌ها.
  • ایجاد Endpoint جدید در داشبورد Manage و انتخاب Standalone یا Dedicated GPU.
  • بارگذاری مدل به Model Hub و هم‌زمان ارتباط داده با بنچمارک.
  • تنظیم پارامترهای max_length، num_return_sequences و غیره در فایلی JSON.
  • بارگذاری در Endpoint و دریافت URL API برای فراخوانی.

تست عملکرد و استریم پاسخ‌ها

برای اطمینان از کیفیت سرویس، می‌توانید از دو روش زیر استفاده کنید:

  • استفاده از Python Requests یا HTTPX جهت ارسال درخواست‌های سینه‌سنجی.
  • استفاده از JavaScript Fetch جهت دریافت شیوه‌ای مبتنی بر Chunked Transfer Encoding و مشاهده پاسخ در زمان واقعی.

کد نمونه زیر یک درخواست سریع در Python را نشان می‌دهد:

import requests url = "https://api-inference.huggingface.co/models/your-model" headers = {"Authorization": "Bearer YOUR_TOKEN"} payload = {"inputs": "سلام، چه خبر؟", "options": {"wait_for_model": True}} response = requests.post(url, headers=headers, json=payload) print(response.json())

همچنین در JavaScript می‌توانید با استفاده از API Fetch زیر، بخش‌های جزئی پاسخ را در زمان دریافت کنید:

fetch(url, {method: "POST", headers: headers, body: JSON.stringify(payload)}) .then(r => r.body.getReader()) .then(reader => { // ...خواندن شش گام(Stream) در زمان واقعی });

استفاده از این تکنیک‌ها کمک می‌کند تا گران‌ترین عملیات محاسباتی را در سرورهای خود مدیریت کنید و تجربه کاربری بهتری را ارائه دهید.

پرسش‌های پرتکرار

استقرار مدل‌های LLM در این سرویس امن است؛ چه تدابیر امنیتی وجود دارد؟

سوپلایرها از رمزنگاری TLS برای ارتباط‌های شبکه، احراز هویت با توکن JWT، و محدودیت دسترسی به IP خاص استفاده می‌کنند. همچنین مدل‌ها در محیط‌های جدا شده (isolated) اجرا می‌شوند.

نرخ متغیرهای مصرفی در این سرویس چطور محاسبه می‌شود؟

هزینه بر اساس ساعت استفاده از GPU و میزان پردازش (تعداد توکن‌ها در ورودی و خروجی) و حجم ذخیره‌سازی مدل محاسبه می‌شود. برای کسب اطلاعات دقیق، می‌توانید برگه‌ <a href="https://huggingface.co/pricing" target="_blank" rel="noopener">قیمت‌گذاری</a> را مشاهده کنید.