پیشرفت سریع مدل‌های زبانی بزرگ (LLM) باعث شده تا اجرای آن‌ها دیگر محدود به سرورهای قدرتمند نباشد. امروزه می‌توان مدل‌هایی مانند DeepSeek R1 Distil Qwen 2.5 با ۱.۵ میلیارد پارامتر را مستقیماً روی گوشی موبایل اجرا کرد. این راهنما از وبلاگ Hugging Face الهام گرفته شده و شما را با مراحل ساخت یک اپلیکیشن موبایل برای چت با مدل‌های زبانی آشنا می‌کند.

چرا اجرای مدل‌های زبانی روی گوشی اهمیت دارد؟

اجرای مدل‌های هوش مصنوعی روی دستگاه‌های لبه (Edge) مزایای زیادی دارد؛ از جمله حریم خصوصی بهتر، کاهش تأخیر و امکان استفاده آفلاین. با بهینه‌سازی مدل‌ها و استفاده از فرمت‌های فشرده مانند GGUF، دیگر نیازی به ارسال داده‌ها به سرور نیست و همه‌چیز به صورت محلی روی گوشی شما پردازش می‌شود.

انتخاب مدل مناسب و فرمت GGUF

برای اجرای روی گوشی، باید مدلی را انتخاب کنید که با منابع محدود سخت‌افزار همراه سازگار باشد. موارد زیر در انتخاب مدل مؤثرند:

  • تعداد پارامترها: مدل‌هایی با ۱ تا ۳ میلیارد پارامتر گزینه‌های مناسبی هستند.
  • فرمت کوانتیزه (Quantization): قالب GGUF حجم مدل را کاهش می‌دهد و اجرا را سریع‌تر می‌کند.
  • قابلیت اجرا روی React Native: باید کتابخانه‌هایی مانند llama.rn را در نظر بگیرید.

در این آموزش، مدل DeepSeek R1 Distil Qwen 2.5 به‌عنوان نمونه معرفی شده است. می‌توانید مدل‌های بیشتری را از هاب Hugging Face پیدا کرده و باتوجه‌به نیاز خود آزمایش کنید.

راه‌اندازی محیط و ساخت اپلیکیشن

برای شروع، به ابزارهایی مانند Node.js، React Native CLI یا Expo و یک شبیه‌ساز یا گوشی فیزیکی نیاز دارید. پس از ایجاد پروژه، ساختار فایل‌ها را مرتب کرده و وابستگی‌های لازم را نصب کنید. مدیریت state یکی از بخش‌های کلیدی است که تجربه کاربری نرمی را فراهم می‌کند.

پیاده‌سازی چت و مدیریت حالت

در بخش پیاده‌سازی، باید مدل را از هاب Hugging Face دانلود کرده، آن را در حافظه بارگذاری کنید و سپس تابعی برای دریافت ورودی کاربر و تولید پاسخ بنویسید. رابط کاربری چت با استفاده از کامپوننت‌های React Native ساخته می‌شود و می‌توانید امکاناتی مانند نمایش وضعیت بارگذاری و مدیریت تاریخچه گفتگو را اضافه کنید.

اشکال‌زدایی و ویژگی‌های بیشتر

برای رفع خطاها می‌توانید از Chrome DevTools استفاده کنید که ابزارهای مناسبی برای این‌کار در اختیار شما قرار می‌دهد.همچنین قابلیت‌های پیشرفته‌ای مانند انتخاب چند مدل، تنظیم پارامترهای تولید متن و ذخیره گفتگوها را می‌توان به اپ اضافه کرد.

در نهایت، این راهنما نشان می‌دهد که اجرای هوش مصنوعی روی گوشی دیگر یک رویا نیست؛ با ابزارهای متن‌باز و راهنمایی‌هایی که جامعه Hugging Face ارائه کرده، می‌توانید اپلیکیشن‌های هوشمند موبایل خود را بسازید.

پرسش‌های پرتکرار

فرمت GGUF چیست و چرا برای اجرای مدل روی گوشی مفید است؟

GGUF یک فرمت فشرده برای ذخیره‌سازی مدل‌های زبانی است که با تکنیک کوانتیزه کردن، حجم مدل را کاهش می‌دهد و امکان اجرای کارآمد روی دستگاه‌هایی با منابع محدود مانند گوشی را فراهم می‌کند.

آیا می‌توان مدل‌های بزرگ را روی گوشی اجرا کرد؟

بله، اما بهتر است مدل‌هایی با تعداد پارامتر کم (مثلاً ۱.۵ میلیارد) انتخاب کنید. مدل‌های بزرگ‌تر نیاز به حافظه زیاد دارند و ممکن است به کندی اجرا شوند.