Udemy – Build Your Own ChatGPT: LLM & Transformers From Scratch 2026-10

در تاریخ: 1405/07/21 3:37:26

توضیحات

Build Your Own ChatGPT: LLM & Transformers From Scratch دوره آموزشی ساخت مدل زبانی خودتان از پایه می باشد که توسط آکادمی آنلاین یودمی منتشر شده است. اگر توسعه‌دهنده پایتون، علاقه‌مند یادگیری ماشین یا مهندس هوش مصنوعی مشتاقی هستید، این دوره پایه‌ای ارزشمند برای کشف توسعه LLM و درک عمیق‌تر مدل‌های زبانی مبتنی بر ترنسفورمر فراهم می‌کند. مفاهیم بنیادین مدل‌های زبانی بزرگ (LLM) را بررسی می‌کنید، شامل توکن‌سازی، امبدینگ متن، مکانیزم‌های توجه، معماری ترنسفورمر و آموزش شبکه عصبی. دوره شما را در اجزای ضروری یک سیستم شبیه ChatGPT راهنمایی می‌کند و کمک می‌کند بفهمید مدل‌ها چگونه متن را پردازش می‌کنند، الگوها را از داده یاد می‌گیرند، پاسخ‌های منسجم تولید می‌کنند و از اطلاعات زمینه‌ای برای ساخت خروجی‌های معنادار استفاده می‌کنند. یک مدل زبانی بزرگ در سبک GPT را از صفر با پایتون و PyTorch می‌سازید، بدون استفاده از لایه‌های آماده ترنسفورمر. self-attention، Query/Key/Value، ماسک علّی و multi-head attention را با شهود بصری روشن توضیح می‌دهید.

توکن‌سازی (سطح کاراکتر و Byte-Pair Encoding)، امبدینگ‌ها و رمزگذاری موقعیتی را به‌صورت دستی کدنویسی می‌کنید. یک بلوک کامل ترنسفورمر با لایه نرمال‌سازی، اتصالات باقی‌مانده و یک شبکه feed-forward پیاده‌سازی می‌کنید و یک ترنسفورمر را روی CPU لپ‌تاپ آموزش می‌دهید و منحنی‌های loss را برای تشخیص یادگیری و بیش‌برازش می‌خوانید. متن را با نمونه‌برداری temperature، top-k و top-p تولید می‌کنید و احتمالات توکن بعدی و توجه را تجسم می‌کنید. یک اپلیکیشن وب تعاملی AI playground با Gradio می‌سازید تا مدل زبانی خودتان را نمایش دهید. همچنین یاد می‌گیرید GPT، ChatGPT، BERT و ترنسفورمر اصلی چه ارتباطی با هم دارند، شامل پیش‌آموزش، تنظیم دقیق و RLHF، و با اطمینان به سؤالات رایج مصاحبه ترنسفورمر پاسخ می‌دهید. همچنین مهارت‌های عملی در پیاده‌سازی اجزای مدل، آماده‌سازی داده آموزشی، کار با گردش‌کارهای یادگیری ماشین و ارزیابی متن تولیدشده توسعه می‌دهید. با مطالعه ترنسفورمرها از طریق توسعه عملی، درک عمیق‌تری از الگوریتم‌ها و تصمیم‌های معماری‌ای پیدا می‌کنید که سیستم‌های مدرن هوش مصنوعی مولد را به حرکت درمی‌آورند.

آنچه در دوره Build Your Own ChatGPT: LLM & Transformers From Scratch یاد خواهید گرفت:

ساخت یک مدل زبانی بزرگ در سبک GPT از صفر با پایتون و PyTorch، بدون استفاده از لایه‌های آماده ترنسفورمر
توضیح self-attention، Query/Key/Value، ماسک علّی و multi-head attention با شهود بصری روشن
نوشتن دستی توکن‌سازی (سطح کاراکتر و Byte-Pair Encoding)، امبدینگ‌ها و رمزگذاری موقعیتی
پیاده‌سازی یک بلوک کامل ترنسفورمر با لایه نرمال‌سازی، اتصالات باقی‌مانده و یک شبکه feed-forward
آموزش یک ترنسفورمر روی CPU لپ‌تاپ و خواندن منحنی‌های loss برای تشخیص یادگیری و بیش‌برازش
تولید متن با نمونه‌برداری temperature، top-k و top-p، و تجسم احتمالات توکن بعدی و توجه
ساخت یک اپلیکیشن وب تعاملی AI playground با Gradio برای نمایش مدل زبانی خودتان
توضیح ارتباط GPT، ChatGPT، BERT و ترنسفورمر اصلی، شامل پیش‌آموزش، تنظیم دقیق و RLHF
پاسخ به سؤالات رایج مصاحبه ترنسفورمر با اطمینان
و …

مشخصات دوره

ناشر: یودمی
مدرس: Vaibhav Kumar Singh
زبان: انگلیسی
سطح آموزش: مقدماتی تا پیشرفته
تعداد دروس: 16
مدت زمان آموزش: 1 ساعت و 1 دقیقه

سرفصل های دوره

Build Your Own ChatGPT: LLM & Transformers From Scratch

پیش نیازهای دوره Build Your Own ChatGPT: LLM & Transformers From Scratch

Basic Python programming (functions, classes, lists, loops)
A computer with Python 3.9 or newer. No GPU required
No prior deep learning or advanced maths needed. Every concept is explained visually first