انویدیا، که همیشه می‌خواهد مشتریان را به خرید جدیدترین پردازنده‌های گرافیکی خود تشویق کند، ابزاری را عرضه می‌کند که به دارندگان کارت‌های GeForce RTX سری 30 و سری 40 این امکان را می‌دهد یک ربات چت مبتنی بر هوش مصنوعی را به‌صورت آفلاین بر روی رایانه شخصی ویندوزی‌شان اجرا کنند.
به گزارش ایتنا و به نقل تک‌کرانچ، این ابزار، که «چت با RTX» نامیده شده است، برای کاربران این امکان را فراهم می‌آورد که تا یک مدل GenAI را همراستا با ChatGPT OpenAI با اتصال آن به اسناد، فایل‌ها و یادداشت‌هایی که می‌توانند در آنها جستار (کوئری) کند سفارشی‌سازی نمایند.
انویدیا اینگونه توضیح داده است که: «کاربران به‌جای جستجو در یادداشت‌ها یا محتوای ذخیره‌شده، کافیست کوئری‌ها را تایپ کنند. به عنوان مثال، می‌توان پرسید: "در زمان حضور در لاس‌وگاس، شریکم چه رستورانی را پیشنهاد می‌کرد؟" تا Chat with RTX فایل‌های محلی را که کاربر به آن اشاره کرده را اسکن خواهد کرد و پاسخ را با زمینه ارائه می‌کند.»
«چت با RTX» به طور پیش‌فرض به مدل منبع‌باز استارتاپ هوش مصنوعی Mistral متصل است، اما از مدل‌های دیگر مبتنی بر متن، از جمله Llama 2شرکت متا، نیز پشتیبانی می‌کند.
انویدیا هشدار داده است که دانلود همه فایل‌های ضروری، بسته به مدل(های) انتخابی، فضای ذخیره‌سازی در حدود 50 تا 100 گیگابایتی را اشغال می‌کند.
در حال حاضر، «چت با RTX» با فرمت‌های متن، PDF، .doc، .docx و xml کار می‌کند. در صورتی که از این اپ خواسته شود تا پوشه‌ای حاوی فایل‌های پشتیبانی‌شده را مرور کند، فایل‌های مذکور در دیتاست تنظیم دقیق مدل بارگیری خواهند شد. علاوه بر این، می‌توان URL یک لیست پخش یوتیوب را بهChat with RTX را داد تا رونوشت‌های ویدیوهای موجود در آن فهرست پخش (پلی‌لیست) را بارگیری کند، تا پس از آن هر مدلی که انتخاب شده باشد بتواند محتوای آنها را جستجو کند.
البته این ابزارها فعلا محدودیت‌هایی هم دارد که انویدیا آنها را توضیح داده است. «چت با RTX» نمی‌تواند زمینه را به خاطر بسپارد، به این معنی که این اپ هیچ سوال قبلی را هنگام پاسخ دادن به سوالات بعدی در نظر نمی‌گیرد. به عنوان مثال، اگر بپرسید "یک پرنده رایج در آمریکای شمالی را نام ببر؟" و پس از آن بپرسید که "چه رنگی است؟"، چت با RTX متوجه نمی‌شود که شما در مورد کدام پرندگان صحبت می‌کنید.
همچنین، درخواست حقایق تحت پوشش چند سند احتمالاً نتایج بهتری نسبت به درخواست خلاصه‌ای از یک سند یا مجموعه‌ای از اسناد در پی خواهد داشت.
«مجمع جهانی اقتصاد» در گزارش اخیر خود رشدی «چشمگیر» را برای دستگاه‌های مقرون‌به‌صرفه‌ای که می‌توانند مدل‌های GenAI را به‌صورت آفلاین اجرا کنند، از جمله رایانه‌های شخصی، تلفن‌های هوشمند، دستگاه‌های اینترنت اشیا و تجهیزات شبکه، پیش‌بینی کرد. از دیدگاه این نهاد، دلیل آن مزایای واضح آنها است: مدل‌های آفلاین نه تنها ذاتا خصوصی‌تر هستند – یعنی داده‌هایی که پردازش می‌کنند هرگز از دستگاهی که در آن کار می‌کنند خارج نمی‌شود – بلکه تاخیر کمتری دارند و نسبت به مدل‌های میزبان ابری مقرون به صرفه‌تر هستند.
منبع: ايتنا