Oreilly – Transfer Learning for Natural Language Processing 2021-8

در تاریخ: 1403/09/18 5:28:56

توضیحات

دوره Transfer Learning for Natural Language Processing. در این دوره، یاد خواهید گرفت چگونه با استفاده از روش انتقال یادگیری (Transfer Learning)، مدل‌های پیش‌آموزش‌شده یادگیری ماشین را برای حل مسائل تخصصی پردازش زبان طبیعی تطبیق دهید. آموزش مدل‌های عمیق پردازش زبان طبیعی از ابتدا، پرهزینه، زمان‌بر و نیازمند حجم عظیمی از داده است. در این دوره، پل آزور، محقق دارپا، تکنیک‌های پیشرفته انتقال یادگیری را معرفی می‌کند که با استفاده از آن‌ها می‌توانید مدل‌های پیش‌آموزش‌شده قابل شخصی‌سازی را به معماری‌های پردازش زبان طبیعی خود اعمال کنید. شما یاد خواهید گرفت که چگونه از انتقال یادگیری برای دستیابی به نتایج برتر در درک زبان، حتی با داده‌های برچسب‌گذاری شده محدود، استفاده کنید. مهم‌تر از همه، در زمان آموزش و هزینه‌های محاسباتی صرفه‌جویی خواهید کرد.

با استفاده از انتقال یادگیری، حتی با مجموعه داده‌های محدود، در زمان رکورد مدل‌های سفارشی پردازش زبان طبیعی بسازید! انتقال یادگیری یک تکنیک یادگیری ماشین برای تطبیق مدل‌های پیش‌آموزش‌شده یادگیری ماشین برای حل مسائل تخصصی است. این رویکرد قدرتمند، پردازش زبان طبیعی را متحول کرده و به بهبود ترجمه ماشینی، تحلیل کسب‌وکار و تولید زبان طبیعی کمک کرده است.

آنچه فرا خواهید گرفت:

تنظیم دقیق مدل‌های پیش‌آموزش‌شده با داده‌های دامنه جدید
انتخاب مدل مناسب برای کاهش استفاده از منابع
انتقال یادگیری برای معماری‌های شبکه عصبی
تولید متن با ترانسفورمرهای پیش‌آموزش‌شده
انتقال یادگیری بین زبانی با BERT
مبانی کاوش در ادبیات دانشگاهی پردازش زبان طبیعی

این دوره مناسب افرادیست که:

مهندسان یادگیری ماشین و دانشمندان داده با تجربه در پردازش زبان طبیعی هستند.

مشخصات دوره

ناشر: Oreilly
مدرس: Paul Azunre
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 6 ساعت و 48 دقیقه

سرفصل های دوره

Part 1. Introduction and overview
Chapter 1. What is transfer learning?
Chapter 2. Getting started with baselines: Data preprocessing
Chapter 3. Getting started with baselines: Benchmarking and optimization
Part 2. Shallow transfer learning and deep transfer learning with recurrent neural networks (RNNs)
Chapter 4. Shallow transfer learning for NLP
Chapter 5. Preprocessing data for recurrent neural network deep transfer learning experiments
Chapter 6. Deep transfer learning for NLP with recurrent neural networks
Chapter 7. Deep transfer learning for NLP with the transformer and GPT
Chapter 8. Deep transfer learning for NLP with BERT and multilingual BERT
Chapter 9. ULMFiT and knowledge distillation adaptation strategies
Chapter 10. ALBERT, adapters, and multitask adaptation strategies
Chapter 11. Conclusions
Appendix A. Kaggle primer
Appendix B. Introduction to fundamental deep learning tools