Udemy – Data Engineering with Spark Databricks Delta Lake Lakehouse 2025-2

در تاریخ: 1404/07/17 10:14:42

توضیحات

Data Engineering with Spark Databricks Delta Lake Lakehouse دوره آموزشی نحوه ساخت خطوط لوله داده مدرن و پلتفرم‌های تحلیلی را با استفاده از Apache Spark و Databricks می باشد که توسط آکادمی آنلاین یودمی منتشر شده است. این یک دوره پیشرفته و عملی است که نحوه ساخت خطوط لوله داده مدرن و پلتفرم‌های تحلیلی را با استفاده از Apache Spark و Databricks آموزش می‌دهد. این دوره بر معماری Delta Lake در الگوی Lakehouse تمرکز دارد و ادغام دریافت، تبدیل و مدیریت داده‌ها را برای پردازش و تجزیه و تحلیل داده‌های در مقیاس بزرگ توضیح می‌دهد. این دوره با اصول اولیه Apache Spark و Databricks آغاز می‌شود و نحوه عملکرد پردازش داده‌های توزیع‌شده و نحوه مدیریت کارآمد گردش‌های کاری داده‌ها در یک محیط ابری مشارکتی را توضیح می‌دهد.

سپس فراگیران به مفاهیم Delta Lake می‌پردازند و بر تراکنش‌های ACID، اجرای طرحواره و سفر در زمان برای حفظ قابلیت اطمینان و سازگاری داده‌ها تسلط پیدا می‌کنند. این آموزش معماری Lakehouse را پوشش می‌دهد و نقاط قوت دریاچه‌های داده و انبارهای داده را برای پشتیبانی از بارهای کاری تحلیلی و عملیاتی ترکیب می‌کند. افراد یاد می‌گیرند که چگونه خطوط لوله ETL را طراحی، ساخت و بهینه‌سازی کنند، داده‌های جریانی و دسته‌ای را مدیریت کنند و بررسی‌های کیفیت داده‌ها را با استفاده از Delta Live Tables انجام دهند. مباحث پیشرفته شامل پارتیشن‌بندی داده‌ها، تنظیم عملکرد و ادغام با ابزارهای BI برای تجزیه و تحلیل در زمان واقعی است. در پایان، فراگیران تخصص لازم برای پیاده‌سازی راه‌حل‌های مهندسی داده مقیاس‌پذیر و در سطح تولید را بر روی Databricks با استفاده از فناوری‌های Spark و Delta Lake کسب می‌کنند.

آنچه در دوره Data Engineering with Spark Databricks Delta Lake Lakehouse یاد خواهید گرفت:

کسب مهارت‌های لازم برای احراز صلاحیت برای موقعیت شغلی مهندسی داده در سطح مقدماتی
توسعه درک عملی از مفاهیم Data Lakehouse از طریق تجربه عملی
یادگیری کار با جدول Delta با دسترسی به تاریخچه نسخه آن، بازیابی داده‌ها و استفاده از قابلیت سفر در زمان
بهینه‌سازی جدول Delta با تکنیک‌های مختلف مانند ذخیره‌سازی، پارتیشن‌بندی و مرتب‌سازی z برای تجزیه و تحلیل سریع‌تر
کسب دانش عملی در ساخت خط لوله داده از طریق استفاده از Apache Spark در پلتفرم Databricks
انجام تجزیه و تحلیل در یک حساب کاربری AWS Databricks
و …