Udemy – Data Engineering using AWS Data Analytics 2024-11

در تاریخ: 1403/08/29 5:53:16

توضیحات

دوره Data Engineering using AWS Data Analytics. این دوره آموزشی به شما کمک می‌کند تا با استفاده از پلتفرم AWS Data Analytics، پشته‌های داده (Data Pipelines) را طراحی و اجرا کنید. در طول این دوره، شما با سرویس‌های مختلفی مانند Glue، EMR، Lambda، Athena، Kinesis و بسیاری دیگر آشنا خواهید شد.

آنچه فرا خواهید گرفت

AWS Essentials: آشنایی با سرویس‌های اساسی AWS مانند s3، IAM و EC2
AWS Glue: طراحی و اجرای پشته‌های داده با استفاده از Glue Jobs و Glue Workflows
AWS Athena: اجرای پرس‌وجوهای SQL بر روی داده‌های ذخیره شده در S3
AWS EMR: استفاده از خوشه‌های EMR برای پردازش داده‌های حجیم با استفاده از فریم‌ورک‌های Apache Spark و Hadoop
AWS Lambda: اجرای توابع بدون سرور برای پردازش رویدادها و داده‌ها
AWS Kinesis: طراحی و اجرای پشته‌های داده جریان داده (Streaming Data Pipelines)
AWS Redshift: ایجاد دیتابیس‌های تحلیلی و اجرای پرس‌وجوهای پیچیده بر روی داده‌های حجیم
مهندسی داده با استفاده از خدمات AWS Data Analytics: در این دوره، شما با طیف گسترده‌ای از خدمات تحلیل داده AWS مانند Glue، EMR، Athena، Kinesis و Redshift آشنا شده و نحوه استفاده از آن‌ها برای ایجاد پایپلاین‌های داده را فرا خواهید گرفت.
اصول اولیه AWS: شما با مفاهیم اساسی AWS مانند S3 (ذخیره‌سازی ابری)، IAM (مدیریت دسترسی هویت)، EC2 (ماشین‌های مجازی) و سایر خدمات مرتبط آشنا خواهید شد.
درک عمیق از AWS S3: شما نحوه استفاده از S3 برای ذخیره‌سازی داده‌ها در ابر را به صورت کامل فرا خواهید گرفت.
درک جزئیات EC2: شما با ماشین‌های مجازی EC2 و نحوه مدیریت آن‌ها در AWS آشنا خواهید شد.
مدیریت دسترسی IAM: شما نحوه مدیریت کاربران، گروه‌ها، نقش‌ها و سیاست‌های IAM برای کنترل دسترسی به منابع AWS را فرا خواهید گرفت.
مدیریت جداول با AWS Glue Catalog: شما نحوه ایجاد و مدیریت جداول در کاتالوگ Glue را یاد خواهید گرفت.
مهندسی پایپلاین‌های داده با AWS Glue Jobs: شما نحوه ایجاد و مدیریت پایپلاین‌های داده با استفاده از Jobs در Glue را فرا خواهید گرفت.
هماهنگی پایپلاین‌های داده با AWS Glue Workflows: شما نحوه هماهنگی و مدیریت جریان کار پایپلاین‌های داده با استفاده از Workflows در Glue را یاد خواهید گرفت.
اجرای کوئری‌ها با AWS Athena: شما نحوه اجرای کوئری‌ها بر روی داده‌ها با استفاده از موتور پرس‌وجوی بدون سرور Athena را فرا خواهید گرفت.
استفاده از خوشه‌های AWS EMR: شما نحوه استفاده از خوشه‌های EMR برای ساخت پایپلاین‌های داده، ایجاد گزارش‌ها و داشبوردها را یاد خواهید گرفت.
دریافت داده با استفاده از توابع AWS Lambda: شما نحوه استفاده از توابع Lambda برای دریافت داده‌ها را فرا خواهید گرفت.
برنامه‌ریزی با AWS Events Bridge: شما نحوه برنامه‌ریزی اجرای وظایف با استفاده از Events Bridge را یاد خواهید گرفت.
مهندسی پایپلاین‌های جریان داده با AWS Kinesis: شما نحوه ایجاد و مدیریت پایپلاین‌های جریان داده با استفاده از Kinesis را فرا خواهید گرفت.
جریان‌سازی لاگ‌های وب سرور با AWS Kinesis Firehose: شما نحوه جریان‌سازی لاگ‌های وب سرور به Kinesis Firehose را یاد خواهید گرفت.
بررسی اجمالی پردازش داده با AWS Athena: شما با اصول پردازش داده با استفاده از Athena آشنا خواهید گرفت.
اجرای کوئری‌های Athena با CLI و Python: شما نحوه اجرای کوئری‌های Athena با استفاده از خط فرمان و کتابخانه Python boto3 را فرا خواهید گرفت.
ایجاد خوشه AWS Redshift: شما نحوه ایجاد خوشه Redshift، ایجاد جداول و انجام عملیات CRUD را یاد خواهید گرفت.
کپی داده از S3 به جداول Redshift: شما نحوه کپی داده از S3 به جداول Redshift را فرا خواهید گرفت.
درک سبک‌های توزیع و ایجاد جداول با Distkeys: شما با سبک‌های توزیع در Redshift و نحوه ایجاد جداول با استفاده از Distkeys آشنا خواهید شد.
اجرای کوئری بر روی جداول خارجی RDBMS با استفاده از کوئری‌های فدراتیو Redshift: شما نحوه اجرای کوئری بر روی جداول خارجی در پایگاه‌های داده رابطه‌ای با استفاده از کوئری‌های فدراتیو Redshift را فرا خواهید گرفت.
اجرای کوئری بر روی جداول کاتالوگ Glue یا Athena با استفاده از Redshift Spectrum: شما نحوه اجرای کوئری بر روی جداول در کاتالوگ Glue یا Athena با استفاده از Redshift Spectrum را فرا خواهید گرفت.
آشنایی با AWS: تنظیم محیط توسعه، ایجاد باکت‌های S3، مدیریت کاربران و نقش‌ها با IAM.
ذخیره‌سازی داده: کار با S3، درک کلاس‌های ذخیره‌سازی مختلف، استفاده از Glacier.
ورود داده: استفاده از Lambda Functions، بررسی اجزای Glue، تنظیم Spark History Server، کار با Glue Catalog و Job APIs.
پردازش داده: کار با EMR، استقرار اپلیکیشن‌های Spark، ایجاد پایپلاین‌های استریمینگ با Kinesis.
ذخیره‌سازی داده‌های پردازش شده: استفاده از Redshift، کپی داده از S3 به Redshift، توسعه اپلیکیشن‌های Redshift، استفاده از Federated Queries و Spectrum.
تحلیل داده: کار با Athena، استفاده از Athena با CLI و boto3.

این دوره مناسب افرادیست که:

مهندسین داده مبتدی یا متوسط که می‌خواهند با سرویس‌های تحلیلی AWS آشنا شوند
مهندسین نرم‌افزار متوسط که می‌خواهند با مهندسی داده با استفاده از سرویس‌های تحلیلی AWS آشنا شوند
مهندسین داده و تحلیل که می‌خواهند با مهندسی داده با استفاده از سرویس‌های تحلیلی AWS آشنا شوند
تسترهایی که می‌خواهند مهارت‌های لازم برای تست برنامه‌های مهندسی داده مبتنی بر AWS را یاد بگیرند

مشخصات دوره Data Engineering using AWS Data Analytics

ناشر: Udemy
مدرس: Durga Viswanatha Raju Gadiraju
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 26 ساعت و 15 دقیقه
تعداد دروس: 434

سرفصل های دوره

پیشنیازهای دوره Data Engineering using AWS Data Analytics

A Computer with at least 8 GB RAM
Programming Experience using Python is highly desired as some of the topics are demonstrated using Python
SQL Experience is highly desired as some of the topics are demonstrated using SQL
Nice to have Data Engineering Experience using Pandas or Pyspark
This course is ideal for experienced data engineers to add AWS Analytics Services as key skills to their profile