Oreilly – Data Pipelines with Apache Airflow, video edition 2022-12

در تاریخ: 1403/11/19 5:31:15

توضیحات

دوره Data Pipelines with Apache Airflow video edition. این دوره، نسخه ویدیویی کتاب پرفروش است. در این نسخه، گوینده کتاب را به صورت صوتی قرائت می‌کند و همزمان، محتوا، نمودارها، کدها و متن‌های کتاب بر روی صفحه نمایش نشان داده می‌شود. این تجربه، مشابه گوش دادن به کتاب صوتی با این تفاوت که شما می‌توانید محتوا را به صورت تصویری نیز مشاهده کنید. پایپلاین داده، جریان داده را از جمع‌آوری اولیه تا ادغام، پاکسازی، تحلیل، تجسم و موارد دیگر مدیریت می‌کنند. Apache Airflow یک پلتفرم واحد است که شما می‌توانید برای طراحی، پیاده‌سازی، نظارت و نگهداری پایپلاین خود از آن استفاده کنید. رابط کاربری آسان، گزینه‌های آماده و اسکریپت‌پذیری انعطاف‌پذیر با پایتون، Airflow را برای هرگونه وظیفه مدیریت داده‌ای ایده‌آل می‌کند.

این کتاب به شما آموزش می‌دهد که چگونه پایپلاین داده‌ای مؤثر ایجاد و نگهداری کنید. شما الگوهای رایج استفاده، از جمله جمع‌آوری داده‌ها از منابع مختلف، اتصال به دریاچه‌های داده و استقرار در ابر را بررسی خواهید کرد. این راهنمای عملی که ترکیبی از مرجع و آموزش است، تمامی جنبه‌های گراف‌های بی‌دوره جهت‌دار (DAGs) که نیروی محرکه Airflow هستند را پوشش می‌دهد و نحوه سفارشی‌سازی آن‌ها برای نیازهای پایپلاین شما را آموزش می‌دهد.

آنچه فرا خواهید گرفت:

ساخت، تست و استقرار پایپلاین Airflow به عنوان DAGs
خودکارسازی جابه‌جایی و تبدیل داده
تحلیل مجموعه داده‌های تاریخی با استفاده از backfilling
توسعه مؤلفه‌های سفارشی
تنظیم Airflow در محیط‌های تولید

این دوره مناسب افرادیست که:

در زمینه DevOps، مهندسی داده، مهندسی یادگیری ماشین و سیستم‌های اداری فعالیت می‌کنند.
دارای مهارت متوسط در برنامه‌نویسی پایتون هستند.

مشخصات دوره Data Pipelines with Apache Airflow video edition

ناشر: Oreilly
مدرس: Julian de Ruiter, Bas Harenslak
سطح آموزش: مبتدی تا پیشرفته
مدت زمان آموزش: 10 ساعت و 22 دقیقه
تعداد دروس: 80

سرفصل های دوره

Part 1. Getting started
Chapter 1 Meet Apache Airflow
Chapter 1 Pipeline graphs vs. sequential scripts
Chapter 1 Introducing Airflow
Chapter 1 When to use Airflow
Chapter 2 Anatomy of an Airflow DAG
Chapter 2 Running a DAG in Airflow
Chapter 2 Running at regular intervals
Chapter 3 Scheduling in Airflow
Chapter 3 Cron-based intervals
Chapter 3 Processing data incrementally
Chapter 3 Understanding Airflow’s execution dates
Chapter 3 Best practices for designing tasks
Chapter 4 Templating tasks using the Airflow context
Chapter 4 Templating the PythonOperator
Chapter 4 Hooking up other systems
Chapter 5 Defining dependencies between tasks
Chapter 5 Branching
Chapter 5 Conditional tasks
Chapter 5 More about trigger rules
Chapter 5 Sharing data between tasks
Chapter 5 Chaining Python tasks with the Taskflow API
Part 2. Beyond the basics
Chapter 6 Triggering workflows
Chapter 6 Polling custom conditions
Chapter 6 Triggering other DAGs
Chapter 7 Communicating with external systems
Chapter 7 Developing locally with external systems
Chapter 7 Moving data from between systems
Chapter 8 Building custom components
Chapter 8 Building a custom hook
Chapter 8 Building a custom operator
Chapter 8 Packaging your components
Chapter 9 Testing
Chapter 9 Setting up a CI/CD pipeline
Chapter 9 Testing with files on disk
Chapter 9 Working with external systems
Chapter 9 Using tests for development
Chapter 10 Running tasks in containers
Chapter 10 Introducing containers
Chapter 10 Containers and Airflow
Chapter 10 Creating container images for tasks
Chapter 10 Running tasks in Kubernetes
Chapter 10 Using the KubernetesPodOperator
Part 3. Airflow in practice
Chapter 11 Best practices
Chapter 11 Manage credentials centrally
Chapter 11 Use factories to generate common patterns
Chapter 11 Designing reproducible tasks
Chapter 11 Handling data efficiently
Chapter 11 Managing your resources
Chapter 12 Operating Airflow in production
Chapter 12 Which executor is right for me?
Chapter 12 A closer look at the scheduler
Chapter 12 Installing each executor
Chapter 12 Setting up the KubernetesExecutor
Chapter 12 Capturing logs of all Airflow processes
Chapter 12 Visualizing and monitoring Airflow metrics
Chapter 12 Creating dashboards with Grafana
Chapter 12 How to get notified of a failing task
Chapter 12 Scalability and performance
Chapter 13 Securing Airflow
Chapter 13 Encrypting data at rest
Chapter 13 Encrypting traffic to the webserver
Chapter 13 Fetching credentials from secret management systems
Chapter 14 Project: Finding the fastest way to get around NYC
Chapter 14 Extracting the data
Chapter 14 Structuring a data pipeline
Part 4. In the clouds
Chapter 15 Airflow in the clouds
Chapter 15 Google Cloud Composer
Chapter 16 Airflow on AWS
Chapter 16 AWS-specific hooks and operators
Chapter 16 Building the DAG
Chapter 17 Airflow on Azure
Chapter 17 Overview
Chapter 18 Airflow in GCP
Chapter 18 Integrating with Google services
Chapter 18 GCP-specific hooks and operators
Chapter 18 Getting data into BigQuery

تصاویر دوره

Data Pipelines with Apache Airflow video edition

نمونه فیلم دوره

راهنمای نصب

پس از Extract، با Player دلخواه خود مشاهده کنید.

زیرنویس: ندارد

کیفیت: 720p

لینک دانلود

دانلود بخش 1 – 1 گیگابایت

دانلود بخش 2 – 303 مگابایت

گذرواژه فایل(ها): www.downloadly.ir

حجم فایل

1.3 گیگابایت

رتبه دهید

محاسبه حجم دانلود برای ایرانسل به‌صورت تمام‌بها است.

Download Faster Without Limitation

The data center of free servers has applied a non-Iranian IP restriction on some servers
There is no limitation for VIP servers

Promote me to VIP

برچسب ها:

نوشته‌ی قبلی

Oreilly – Data Analysis with Python and PySpark 2022-3

نوشته‌ی بعدی

Oreilly – Elasticsearch in Action, Second Edition 2023-12

Passive Income OS : Build Monthly Recurring Digital Revenue

1 دیدگاه. همین الان خارج شوید

محسن
23 بهمن 1403 17:50
Google Chrome 131.0.0.0 GNU/Linux x64
در مورد: Oreilly – Data Pipelines with Apache Airflow, video edition 2022-12
قدردان زحمات شما در تهیه این محتوای آموزشی هستم.
پاسخ