Udemy – Data Engineering Bootcamp – Series 1 2025-7

در تاریخ: 1404/05/24 3:14:00

توضیحات

دوره Data Engineering Bootcamp – Series 1. این آموزش یک دوره عملی و پروژه‌محور است که برای آموزش مفاهیم مهندسی داده با استفاده از پلتفرم‌های مدرن طراحی شده است. این دوره به عنوان اولین گام برای ورود به حوزه مهندسی داده، توسط یک معمار داده با ۱۱ سال تجربه صنعتی تدریس می‌شود و ترکیبی از مباحث تئوری و عملی را ارائه می‌دهد. شرکت‌کنندگان شامل مهندسان داده، مهندسان نرم‌افزار، تحلیلگران و علاقه‌مندان به ساخت پایپ‌لاین‌های داده واقعی خواهند بود. در این دوره، مباحثی مانند طراحی دیتا لیک‌های مقیاس‌پذیر، ساخت مدل‌های داده بُعدی، پیاده‌سازی فریم‌ورک‌های کیفیت داده و هماهنگ‌سازی پایپ‌لاین‌ها با استفاده از Apache Airflow آموزش داده می‌شود. تمامی این مفاهیم از طریق یک پروژه عملی مبتنی بر یک برنامه تاکسی آنلاین شبیه‌سازی می‌شود تا تجربه کار با سیستم‌های سازمانی را در اختیار فراگیران قرار دهد.

آنچه فرا خواهید گرفت

اصول مهندسی داده مدرن: درک جامعی از مفاهیم اصلی مهندسی داده مدرن، از جمله پلتفرم‌های داده، سیستم‌های OLTP و معماری‌های واقعی پلتفرم داده کسب می‌کنید.
ساخت و مدیریت دیتا لیک‌های مقیاس‌پذیر: یاد می‌گیرید که چگونه دیتا لیک‌های مقیاس‌پذیر را بر روی AWS S3 با در نظر گرفتن معماری، پارتیشن‌بندی، لایه‌ها و تکامل طرح‌واره (schema evolution) بسازید و مدیریت کنید.
طراحی مدل‌های داده ستاره‌ای (Star Schema): طراحی Star Schema را مسلط می‌شوید و ابعاد SCD Type 1 و SCD Type 2 را پیاده‌سازی می‌کنید.
توسعه پایپ لاین ETL با PySpark: پایپ لاین ETL را با استفاده از PySpark توسعه می‌دهید و از الگوهای تولیدی مانند WAP (Write-Audit-Publish) استفاده می‌کنید.
پرس‌وجو و اکتشاف دیتا لیک‌ها با AWS Athena: یاد می‌گیرید که چگونه با استفاده از AWS Athena و Glue Catalog مجموعه داده‌های عظیم را پرس‌وجو و اکتشاف کنید.
خودکارسازی گردش کار با Apache Airflow: گردش کار و پایپ لاین را با استفاده از Airflow و افزونه‌های سفارشی خودکارسازی می‌کنید و وابستگی‌های وظایف را مدیریت می‌کنید.
پیاده‌سازی فریم‌ورک‌های کیفیت داده: اطمینان از صحت، کامل بودن و سازگاری داده‌ها با پیاده‌سازی بررسی‌های کیفیت داده و استفاده از قراردادهای داده (data contracts).
بهینه‌سازی گردش کار داده: یاد می‌گیرید که چگونه گردش کارهای داده را برای هزینه، عملکرد و قابلیت اطمینان بهینه کنید.
آمادگی برای مصاحبه‌های مهندسی داده: با کسب تجربه عملی بر روی موارد استفاده واقعی، با اطمینان برای مصاحبه‌های مهندسی داده آماده می‌شوید.

این دوره مناسب افرادیست که

مهندسان داده مشتاق: افرادی که به دنبال ورود به این حوزه هستند.
مهندسان نرم‌افزار یا تحلیلگران: افرادی که می‌خواهند به نقش‌های مرتبط با داده تغییر مسیر دهند.
متخصصان: افرادی که به دنبال کسب تجربه عملی و واقعی در مهندسی داده هستند.
علاقه‌مندان: هر کسی که به تسلط بر پلتفرم‌های مهندسی داده مدرن علاقه دارد.