Udemy – OWASP Top 10 for LLM Applications (2025) 2025-5

در تاریخ: 1404/07/24 4:23:42

توضیحات

دوره OWASP Top 10 for LLM Applications (2025). این دوره بر پایه چارچوب معتبر OWASP به بررسی آسیب‌پذیری‌های امنیتی حیاتی و استراتژی‌های دفاعی در برابر تهدیدات هوش مصنوعی تولیدی می‌پردازد. با دگرگونی صنعت نرم‌افزار توسط مدل‌هایی مانند GPT-4، Claude و مدل‌های متن‌باز، و نقش محوری آن‌ها در سیستم‌هایی چون چت‌بات‌ها، دستیارهای کدنویسی و عامل‌های خودکار، درک ریسک‌های امنیتی جدید ضروری است. این نوآوری‌ها خطرات پیچیده‌ای با تاثیر بالا به همراه آورده‌اند که در معماری‌های سنتی دیده نمی‌شوند، از جمله حملات مبتنی بر زبان طبیعی که در اسناد متنی پنهان شده و برای به خطر انداختن سیستم نیازی به دسترسی مستقیم به کد دارند. این دوره که جامع‌ترین چارچوب امنیتی تاییدشده برای سیستم‌های هوش مصنوعی تولیدی محسوب می‌شود، به توسعه‌دهندگان و متخصصان امنیت می‌آموزد که چگونه برنامه‌های کاربردی مبتنی بر مدل‌های زبانی، صرف نظر از استفاده از APIهای شرکت‌هایی مانند OpenAI، Anthropic، پلتفرم Hugging Face یا مدل‌های اختصاصی، را در تمام مراحل از طراحی تا استقرار به شکلی ایمن پیاده‌سازی کنند. محتوای این دوره فراتر از یک مرور سطحی یا فهرست کردن تهدیدات است و با رویکردی کاربردی و مبتنی بر مطالعه موردی، به تحلیل دقیق دلایل شکست برنامه‌های مدرن و ارائه راهکارهای عملی برای ساخت سیستم‌های مقاوم و ایمن می‌پردازد.

آنچه فرا خواهید گرفت

درک ۱۰ خطر امنیتی برتر در برنامه‌های مبتنی بر LLM، طبق تعریف OWASP LLM Top 10 (۲۰۲۵).
شناسایی آسیب‌پذیری‌های دنیای واقعی مانند تزریق پرامپت (Prompt Injection)، مسمومیت مدل (Model Poisoning) و افشای داده‌های حساس، و نحوه بروز آن‌ها در سیستم‌های تولید.
یادگیری استراتژی‌های دفاعی عملی در سطح سیستم برای محافظت از برنامه‌های LLM در برابر سوء استفاده، استفاده بیش از حد، و حملات هدفمند.
کسب دانش عملی در مورد تهدیدات نوظهور مانند سوء استفاده مبتنی بر عامل، نشت پایگاه داده برداری (Vector Database Leaks) و معکوس‌سازی جاسازی (Embedding Inversion).
بررسی بهترین شیوه‌ها برای طراحی پرامپت ایمن، فیلترینگ خروجی، سندباکسینگ پلاگین (Plugin Sandboxing) و محدودسازی نرخ (Rate Limiting).
همگام شدن با مقررات مرتبط با هوش مصنوعی، چالش‌های انطباق‌پذیری (Compliance) و چارچوب‌های امنیتی آتی.
ایجاد ذهنیت یک معمار LLM ایمن؛ ترکیب مدل‌سازی تهدید، طراحی ایمن و نظارت پیشگیرانه.

این دوره مناسب افرادیست که

توسعه‌دهندگان و مهندسان هوش مصنوعی که در حال ساخت یا ادغام LLMها در برنامه‌های کاربردی واقعی هستند.
متخصصان امنیت که به دنبال درک چگونگی تکامل مدل‌های تهدید سنتی در بستر هوش مصنوعی هستند.
مدیران محصول، معماران و راهبران فنی که می‌خواهند تصمیمات آگاهانه‌ای در مورد استقرار ایمن LLMها بگیرند.
بنیان‌گذاران استارتاپ و مدیران ارشد فناوری (CTO) که روی محصولات مبتنی بر هوش مصنوعی کار می‌کنند و نیاز دارند قبل از مقیاس‌دهی از خطرات پیشی بگیرند.
توسعه‌دهندگان هوش مصنوعی/یادگیری ماشین (AI/ML) که با GPT، Claude یا LLMهای متن‌باز کار می‌کنند و می‌خواهند خطرات امنیتی در برنامه‌های خود را درک کرده و از آن‌ها جلوگیری کنند.
مهندسان امنیت و تیم‌های امنیت برنامه (AppSec) که نیاز دارند مدل‌های تهدید خود را برای گنجاندن تزریق پرامپت، سوء استفاده از مدل و خطرات زنجیره تأمین هوش مصنوعی گسترش دهند.
مدیران محصول و راهبران فنی که بر محصولات یکپارچه‌شده با LLM نظارت دارند، از جمله چت‌بات‌ها، کوپایلوت‌ها، عامل‌ها و سیستم‌های مبتنی بر بازیابی اطلاعات.
معماران نرم‌افزار و طراحان راه‌حل که می‌خواهند خطوط لوله LLM ایمن را از ابتدا طراحی کنند.
متخصصان DevOps و MLOps مسئول استقرار، نظارت و انتشار ایمن قابلیت‌های هوش مصنوعی در بستر Cloud.
بنیان‌گذاران استارتاپ‌های هوش مصنوعی، CTOها و مدیران مهندسی که می‌خواهند از اشتباهات پرهزینه در مقیاس‌دهی محصولات LLM خود اجتناب کنند.
محققان امنیت و تیم‌های Red Team که علاقه‌مند به کاوش در سطوح حمله جدید معرفی شده توسط ابزارهای هوش مصنوعی تولیدی هستند.
تیم‌های نظارتی، حفظ حریم خصوصی یا ریسک که در تلاش‌اند محل تلاقی رفتار LLM با تعهدات قانونی و انطباق‌پذیری را درک کنند.

مشخصات دوره

ناشر: Udemy
مدرس: Cyberdefense Learning
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 6 ساعت و 5 دقیقه
تعداد دروس: 72

سرفصل های دوره در تاریخ 2025/9

پیشنیازهای دوره OWASP Top 10 for LLM Applications (2025)

No deep security background is required — just basic familiarity with how LLM applications work.
Ideal for developers, architects, product managers, and AI engineers working with or integrating large language models.
Some understanding of prompts, APIs, or tools like GPT, LangChain, or vector databases is helpful — but not mandatory.
Curiosity about LLM risks and a desire to build secure AI systems is all you really need.
Comfort with reading or writing basic prompt examples, or experience using LLMs like ChatGPT, Claude, or similar tools.
A general understanding of how software applications interact with APIs or user input will make concepts easier to grasp.