Udemy – Production LLM Evaluation and Observability 2026-8

در تاریخ: 1405/06/20 2:47:27

توضیحات

دوره Production LLM Evaluation and Observability. این دوره جامع به فراگیران کمک می‌کند تا بر چالش‌های پیچیده ارزیابی و پایش مدل‌های زبانی بزرگ غلبه کنند. از آنجایی که روش‌های سنتی تست نرم‌افزار برای سیستم‌های هوش مصنوعی کافی نیستند، این دوره راهکارهای نوینی را ارائه می‌دهد. شرکت‌کنندگان یاد می‌گیرند که چگونه یک چت‌بات مجهز به ساختار Agentic RAG را طراحی کنند و با استفاده از ابزارهای قدرتمندی مانند DeepEval برای ارزیابی و Langfuse برای پایش و ردیابی، یک چرخه کاری استاندارد و قابل اعتماد بسازند. مباحث از اصول اولیه آغاز شده و به پیاده‌سازی پویای ارزیابی‌های آفلاین و آنلاین، ایجاد مجموعه داده‌های استاندارد (Golden Datasets) و تحلیل رفتار مدل ختم می‌شود تا در نهایت کیفیت خروجی‌ها در محیط پروداکشن تضمین گردد.

آنچه فرا خواهید گرفت

آشنایی با اصول بنیادی ارزیابی مدل‌های زبانی، تفاوت روش‌های انسانی و خودکار، و ارزیابی‌های آفلاین در برابر آنلاین.
نحوه ایجاد و استفاده از مجموعه داده‌های مرجع برای ارزیابی سیستماتیک عملکرد مدل.
پیاده‌سازی متریک‌های ارزیابی آماده و سفارشی با استفاده از ابزار DeepEval.
ارزیابی مدل‌های RAG و سیستم‌های هوش مصنوعی از نظر معیارهایی مانند صحت، مرتبط بودن و وفاداری به منبع.
استفاده از پلتفرم Langfuse جهت ردیابی مراحل بازیابی اطلاعات، فراخوانی ابزارها و مانیتورینگ تعاملات کاربر.
ساخت یک پایپ‌لاین خودکار برای ارزیابی مداوم و بهبود کیفیت برنامه‌های هوش مصنوعی.

این دوره مناسب افرادیست که

مهندسان هوش مصنوعی و یادگیری ماشین که به دنبال یادگیری ارزیابی عملی و مانیتورینگ LLMها هستند.
توسعه‌دهندگان هوش مصنوعی مولد و برنامه‌های مبتنی بر RAG و چت‌بات‌ها.
برنامه‌نویسان پایتون که می‌خواهند تست، ارزیابی و پایش را به پروژه‌های هوش مصنوعی خود اضافه کنند.
توسعه‌دهندگانی که علاقه‌مند به کار با ابزارهای تخصصی مانند DeepEval و Langfuse هستند.
افرادی که دانش پایه‌ای از ساختارهای RAG و LangChain دارند و می‌خواهند مهارت‌های عملی خود را ارتقا دهند.

مشخصات دوره Production LLM Evaluation and Observability

ناشر: Udemy
مدرس: Aritra Basak
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 6 ساعت و 31 دقیقه
تعداد دروس: 47

سرفصل های دوره

پیشنیازهای دوره Production LLM Evaluation and Observability

Strong Python programming knowledge is required.
Basic knowledge of RAG applications and LangChain is recommended.
Basic understanding of LLMs and Generative AI will be helpful.
An OpenAI API key with available credits is required if you want to use the same OpenAI models used in the course. API usage may incur additional costs.