Pluralsight – Data Pipeline Automation and Orchestration with Python 2025-4

در تاریخ: 1404/05/14 8:45:45

توضیحات

دورهData Pipeline Automation and Orchestration with Python. این دوره به آموزش تکنیک‌های خودکارسازی و مدیریت پایپ‌لاین‌های داده با استفاده از پایتون و ابزارهایی مانند Apache Airflow، Prefect و Dagster می‌پردازد. در مهندسی داده امروزی، خودکارسازی و سازماندهی پایپ‌لاین‌ها برای افزایش قابلیت اطمینان و کارایی ضروری است. این دوره با معرفی مفاهیم اورکستراسیون و نقش آن در پایپ‌لاین‌های داده، شرکت‌کنندگان را با ابزارهای مختلف آشنا می‌کند. ابتدا اهمیت سازماندهی در پایپ‌لاین‌ها بررسی می‌شود، سپس نحوه استفاده از Apache Airflow برای اجرای خودکار گردش کارهای داده‌ای آموزش داده می‌شود. در ادامه، شرکت‌کنندگان یاد می‌گیرند چگونه با Prefect پایپ‌لاین‌های سبک و کارآمد ایجاد کنند. این دوره مهارت‌های لازم برای طراحی، خودکارسازی و مدیریت پایپ‌لاین‌های داده با پایتون را در اختیار فراگیران قرار می‌دهد.

آنچه فرا خواهید گرفت

سازماندهی گردش کار در مهندسی داده: شرکت‌کنندگان در این بخش با مفهوم سازماندهی، اهمیت و نقش آن در مدیریت خطوط لوله داده‌ها آشنا می‌شوند.
خودکارسازی گردش کار داده با Apache Airflow: یاد می‌گیرند که چگونه از ابزار قدرتمند Apache Airflow برای تعریف، زمان‌بندی و نظارت بر گردش کارهای پیچیده داده‌ای استفاده کنند.
Prefect برای خودکارسازی سبک خط لوله: نحوه استفاده از Prefect، یک ابزار مدرن برای سازماندهی و خودکارسازی آسان‌تر و انعطاف‌پذیرتر خطوط لوله داده، آموزش داده می‌شود.
نظارت و نگهداری از گردش کارهای داده‌ای خودکار: پس از خودکارسازی، شرکت‌کنندگان مهارت‌های لازم برای نظارت بر عملکرد و نگهداری از گردش کارهای خودکار شده را کسب می‌کنند تا از عملکرد صحیح و پایدار آن‌ها اطمینان حاصل کنند.

این دوره مناسب افرادیست که

مهندسان داده (Data Engineers): کسانی که به دنبال بهبود و بهینه‌سازی خطوط لوله داده‌های خود از طریق خودکارسازی هستند.
توسعه‌دهندگان پایتون: افرادی که می‌خواهند از پایتون برای مدیریت و سازماندهی گردش کارهای داده استفاده کنند.
تحلیل‌گران داده (Data Analysts): کسانی که می‌خواهند فرآیندهای استخراج، تبدیل و بارگذاری داده (ETL) را خودکار کنند.
هر کسی که به دنبال یادگیری سازماندهی خطوط لوله داده و ابزارهای مرتبط با آن است.