Oreilly – Evaluating Large Language Models (LLMs) 2025-2

در تاریخ: 1403/11/29 11:39:17

توضیحات

دوره Evaluating Large Language Models (LLMs). این دوره شما را با روش‌های مختلف ارزیابی مدل‌های زبانی بزرگ (LLMs) آشنا می‌کند. چه یک دانشمند داده باشید، چه یک مهندس یادگیری ماشین یا حتی یک علاقه‌مند به هوش مصنوعی، این دوره به شما کمک می‌کند تا درک عمیقی از روش‌های ارزیابی این مدل‌ها به دست آورید. از مبانی ارزیابی تا کاربردهای عملی، این دوره همه چیز را پوشش می‌دهد.

آنچه فرا خواهید گرفت:

مبانی ارزیابی LLM: اهمیت ارزیابی، تفاوت بین وظایف تولید محتوا و درک مطلب و معیارهای کلیدی برای ارزیابی وظایف مختلف
ارزیابی وظایف تولید محتوا: ارزیابی پاسخ‌های باز، استفاده از مدل‌های زبانی برای ارزیابی یکدیگر و…
ارزیابی وظایف درک مطلب: ارزیابی وظایف تعبیه، طبقه‌بندی و ساخت طبقه‌بند با استفاده از BERT و GPT
استفاده موثر از معیارهای ارزیابی: نقش معیارها، بررسی معیارهای رایج و ارزیابی LLM‌ها با استفاده از معیارها
کاوش در مدل جهانی LLM: بررسی دانش ذخیره شده در LLM‌ها و استفاده از آن‌ها برای انجام بازی‌ها
ارزیابی تنظیم دقیق LLM: اهداف تنظیم دقیق، معیارهای موفقیت و مثال‌های عملی
مطالعات موردی: ارزیابی عامل‌های هوش مصنوعی، سیستم‌های تولید محتوا با بازیابی اطلاعات، موتورهای توصیه‌گر و…
آینده ارزیابی LLM: روندهای آینده در ارزیابی LLM

این دوره مناسب افرادیست که:

به دنبال درک عمیق از مدل‌های زبانی بزرگ هستند
می‌خواهند روش‌های ارزیابی این مدل‌ها را یاد بگیرند
در حوزه یادگیری ماشین، پردازش زبان طبیعی یا هوش مصنوعی فعالیت می‌کنند
می‌خواهند از مدل‌های زبانی بزرگ در کاربردهای مختلف استفاده کنند

مشخصات دوره Evaluating Large Language Models (LLMs)

ناشر: Oreilly
مدرس: Sinan Ozdemir
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 7 ساعت و 56 دقیقه

سرفصل های دوره

Introduction
Evaluating Large Language Models (LLMs): Introduction
Lesson 1: Foundations of LLM Evaluation
Learning objectives
1.1 Introduction to Evaluation: Why It Matters
1.2 Generative versus Understanding Tasks
1.3 Key Metrics for Common Tasks
Lesson 2: Evaluating Generative Tasks
Learning objectives
2.1 Evaluating Multiple-Choice Tasks
2.2 Evaluating Free Text Response Tasks
2.3 AIs Supervising AIs: LLM as a Judge
Lesson 3: Evaluating Understanding Tasks
Learning objectives
3.1 Evaluating Embedding Tasks
3.2 Evaluating Classification Tasks
3.3 Building an LLM Classifier with BERT and GPT
Lesson 4: Using Benchmarks Effectively
Learning objectives
4.1 The Role of Benchmarks
4.2 Interrogating Common Benchmarks
4.3 Evaluating LLMs with Benchmarks
Lesson 5: Probing LLMs for a World Model
Learning objectives
5.1 Probing LLMs for Knowledge
5.2 Probing LLMs to Play Games
Lesson 6: Evaluating LLM Fine-Tuning
Learning objectives
6.1 Fine-Tuning Objectives
6.2 Metrics for Fine-Tuning Success
6.3 Practical Demonstration: Evaluating Fine-Tuning
6.4 Evaluating and Cleaning Data
Lesson 7: Case Studies
Learning objectives
7.1 Evaluating AI Agents: Task Automation and Tool Integration
7.2 Measuring Retrieval-Augmented Generation (RAG) Systems
7.3 Building and Evaluating a Recommendation Engine Using LLMs
7.4 Using Evaluation to Combat AI Drift
7.5 Time-Series Regression
Lesson 8: Summary of Evaluation and Looking Ahead
Learning objectives
8.1 When and How to Evaluate
8.2 Looking Ahead: Trends in LLM Evaluation
Summary
Evaluating Large Language Models (LLMs): Summary