توضیحات
Recursive Language Models and Advanced LLM Architectures دوره آموزشی درک اصول پشت مدل‌های زبانی بزرگ مدرن می باشد که توسط آکادمی آنلاین یودمی منتشر شده است. اگر مهندس یادگیری ماشین، پژوهشگر هوش مصنوعی یا توسعه‌دهنده‌ای هستید که به هوش مصنوعی مولد پیشرفته علاقه دارد، این دوره بینش‌های ارزشمندی از معماری‌های نوظهور مدل زبانی در اختیارتان می‌گذارد. معماری‌های مبتنی بر ترنسفورمر، مکانیزم‌های توجه، پردازش زمینه و محاسبات بازگشتی را بررسی می‌کنید و یاد می‌گیرید راهبردهای معماری مختلف چگونه بر استدلال، کارایی و عملکرد مدل تأثیر می‌گذارند. سه معنای «بازگشتی» در یادگیری عمیق را توضیح می‌دهید: شبکه‌های درختی، عمق حلقه‌ای و مدل‌های زبانی بازگشتی (RLM). یک ترنسفورمر کوچک فقط-رمزگشا را از صفر می‌سازید و از آن به‌عنوان یک پایه مرجع سنجیده برای هر معماری دیگری استفاده می‌کنید. شبکه‌های بازگشتی، Tree-LSTM و یک ترنسفورمر حلقه‌ای با وزن مشترک را پیاده‌سازی می‌کنید و آن‌ها را با پارامترهای برابر مقایسه می‌کنید. یک حلقه مدل زبانی بازگشتی را به‌صورت دستی با یک REPL پایتون و یک مدل محلی می‌سازید و هر مرحله از ردیابی آن را می‌خوانید.
توجه sliding-window و خطی را به پایه اضافه می‌کنید و حافظه، سرعت و کیفیت را در برابر طول دنباله می‌سنجید. یک لایه فضای حالت انتخابی پیاده‌سازی می‌کنید، یک مدل کوچک سبک Mamba آموزش می‌دهید و Mamba از‌پیش‌آموزش‌دیده را با Pythia روی CPU مقایسه می‌کنید. لایه‌های mixture-of-experts می‌سازید، بار متخصص‌ها را با و بدون توازن‌دهی مشاهده می‌کنید و یک router واقعی MoE را بررسی می‌کنید. کش KV را اندازه‌گیری می‌کنید، آن را با کلاس‌های کش transformers مدیریت می‌کنید و تولید متن را با attention sinks پایدار نگه می‌دارید. یک پایپ‌لاین RAG در سبک آماده تولید را با chunking، FAISS، جستجوی ترکیبی، رتبه‌بندی مجدد و بررسی‌های صداقت محتوا می‌سازید و ارزیابی می‌کنید. در پایان، مقایسه‌های معماری منصفانه انجام می‌دهید و یک گزارش انتخاب معماری پشتیبانی‌شده با یک جدول نتایج کامل می‌نویسید. دوره مفاهیم پیشرفته طراحی مدل، پردازش اطلاعات، تجزیه وظیفه و تعامل با ابزارها یا منابع خارجی را معرفی می‌کند و درک بهتری از مصالحه‌های موجود در بهینه‌سازی استنتاج، مدیریت زمینه، یکپارچه‌سازی ابزار و دستیابی به مصالحه بین هزینه محاسباتی، مقیاس‌پذیری، دقت و توانایی استدلال در سیستم‌های هوش مصنوعی مدرن به شما می‌دهد.
آنچه در دوره Recursive Language Models and Advanced LLM Architectures یاد خواهید گرفت:
- توضیح سه معنای «بازگشتی» در یادگیری عمیق: شبکه‌های درختی، عمق حلقه‌ای و مدل‌های زبانی بازگشتی
- ساخت یک ترنسفورمر کوچک فقط-رمزگشا از صفر و استفاده از آن به‌عنوان یک پایه مرجع سنجیده برای هر معماری دیگری
- پیاده‌سازی شبکه‌های بازگشتی، Tree-LSTM و یک ترنسفورمر حلقه‌ای با وزن مشترک، و مقایسه آن‌ها با پارامترهای برابر
- ساخت دستی یک حلقه مدل زبانی بازگشتی با یک REPL پایتون و یک مدل محلی، و خواندن هر مرحله از ردیابی آن
- افزودن توجه sliding-window و خطی به پایه و سنجش حافظه، سرعت و کیفیت در برابر طول دنباله
- پیاده‌سازی یک لایه فضای حالت انتخابی، آموزش یک مدل کوچک سبک Mamba و مقایسه Mamba از‌پیش‌آموزش‌دیده با Pythia روی CPU
- ساخت لایه‌های mixture-of-experts، مشاهده بار متخصص‌ها با و بدون توازن‌دهی، و بررسی یک router واقعی MoE
- اندازه‌گیری کش KV، مدیریت آن با کلاس‌های کش transformers و پایدارنگه‌داشتن تولید متن با attention sinks
- ساخت و ارزیابی یک پایپ‌لاین RAG در سبک آماده تولید با chunking، FAISS، جستجوی ترکیبی، رتبه‌بندی مجدد و بررسی‌های صداقت محتوا
- انجام مقایسه‌های معماری منصفانه و نوشتن یک گزارش انتخاب معماری پشتیبانی‌شده با یک جدول نتایج کامل
- و …
مشخصات دوره
ناشر: یودمی
مدرس: NEXUS ACADEMY
زبان: انگلیسی
سطح آموزش: مقدماتی تا پیشرفته
تعداد دروس: 115
مدت زمان آموزش: 11 ساعت و 12 دقیقه
سرفصل های دوره
پیش نیازهای دوره Recursive Language Models and Advanced LLM Architectures
Working Python and basic PyTorch: you can read a training loop and run a script from the command line
A computer with a multi-core CPU. No GPU is needed: the course bench is an 8-CPU machine and every lab is measured on it
تصاویر دوره
فیلم معرفی دوره Recursive Language Models and Advanced LLM Architectures
راهنمای نصب
پس از Extract، با Player دلخواه خود مشاهده کنید.
زیرنویس: ندارد
کیفیت: 1080p
لینک دانلود
گذرواژه فایل(ها): www.downloadly.ir
حجم فایل
2 گیگابایت
