Oreilly – Kafka Essentials LiveLessons: A Quick-Start for Building Effective Data Pipelines 2023-7

توضیحات

دوره Kafka Essentials LiveLessons: A Quick-Start for Building Effective Data Pipelines. این دوره به شما آموزش می‌دهد که چگونه از Apache Kafka، یک پلتفرم محبوب پردازش جریان داده، برای ساخت pipeline داده کارآمد استفاده کنید. شما با مفاهیم اصلی کافکا، اجزای آن و نحوه راه اندازی و استفاده از آن آشنا خواهید شد. همچنین یاد خواهید گرفت که چگونه از کافکا برای جابجایی داده ها بین سیستم های مختلف، مانند پایگاه داده ها، سیستم های ذخیره سازی و موتورهای پردازش داده استفاده کنید. برنامه دوره:

• درس 1: مفاهیم پایه کافکا
  • چرا به یک پیام رسان نیاز دارید؟
  • آشنایی با اجزای کافکا
  • اجرای کافکا در ماشین مجازی LHM
  • آشنایی با نحوه استفاده پایه از کافکا
• درس 2: مشاهده عملیات کافکا
  • کاوش در ویژگی های رابط کاربری KafkaEsque
  • تکرار مثال های اولیه با KafkaEsque
• درس 3: پخش داده های آب و هوایی NOAA با Kafka Python
  • آشنایی با اجزاء: کافکا، پایتون، NOAA-sdk
  • ساخت یک تولید کننده پایتون با استفاده از کلیدها، همگام سازی و سریال سازی
  • ساخت یک مصرف کننده پایتون با استفاده از گروه ها، تعادل مجدد پارتیشن، تعهدات و آفست ها
• درس 4: انتقال داده های موضوع کافکا به ذخیره سازی خارجی
  • استفاده از یک مصرف کننده PySpark برای پخش داده ها به HDFS
  • استفاده از یک مصرف کننده پایتون برای نوشتن داده ها در MariaDB (MySQL)
  • استفاده از یک مصرف کننده پایتون برای نوشتن داده ها در HBASE
• درس 5: پخش تصاویر لبه با Kafka Python
  • آشنایی با تشخیص مشکلات چاپ سه بعدی لبه
  • نحوه پیکربندی کافکا برای پخش تصویر
  • نحوه پیکربندی ضبط تصویر، پخش و تجزیه و تحلیل CNN در زمان واقعی با استفاده از تولیدکنندگان و مصرف کنندگان کافکا

آنچه فرا خواهید گرفت:

• مفاهیم اصلی کافکا، مانند پیام رسان، موضوع، پارتیشن، مصرف کننده و تولید کننده
• نحوه راه اندازی و استفاده از کافکا
• نحوه استفاده از کافکا برای جابجایی داده ها بین سیستم های مختلف
• نحوه استفاده از کافکا برای پردازش جریان داده در زمان واقعی

این دوره مناسب افرادیست که:

• به دنبال یادگیری نحوه استفاده از کافکا برای ساخت pipeline داده کارآمد هستند
• تجربه قبلی با Apache Kafka ندارند
• دانش اولیه ای از برنامه نویسی Python دارند

مشخصات دوره Kafka Essentials LiveLessons: A Quick-Start for Building Effective Data Pipelines

• ناشر: Oreilly
• مدرس: Douglas Eadline
• سطح آموزش: مبتدی تا پیشرفته
• مدت زمان آموزش: 3 ساعت 16 دقیقه

سرفصل های دوره

• Lesson 1: Kafka Background Concepts
  1. 1.1 Why Do I need a Message Broker?
  2. 1.2 Understanding Kafka Components
  3. 1.3 Running Kafka on the LHM Virtual Machine
  4. 1.4 Understand Basic Kafka Usage
• Lesson 2: Viewing Kafka Operations
  1. 2.1 Exploring the KafkaEsque UI Features
  2. 2.2 Replay Basic Examples with KafkaEsque
• Lesson 3: Streaming NOAA Weather Data with Kafka Python
  1. 3.1 Understand Components: Kafka, Python, NOAA-sdk
  2. 3.2 Construct a Python Producer using keys, synchronization, and serialization
  3. 3.3 Construct a Python Consumer using groups, partition rebalancing, commits and offsets
• Lesson 4: Moving Kafka Topic Data to External Storage
  1. 4.1 Use a PySpark consumer to stream data to HDFS
  2. 4.2 Use a Python consumer to write data to MariaDB (MySQL)
  3. 4.3 Use a Python consumer to write data to HBASE
• Lesson 5: Edge Image Streaming with Kafka Python
  1. 5.1 Understand detecting Edge 3D printing problems
  2. 5.2 Learn how to configure Kafka for Image streaming
  3. 5.3 Learn how to configure image capture, streaming, and real-time CNN analysis using Kafka producers and consumers

تصاویر دوره Kafka Essentials LiveLessons: A Quick-Start for Building Effective Data Pipelines

نمونه فیلم دوره

لینک دانلود

دانلود فایل – 586 مگابایت

گذرواژه فایل(ها): www.downloadly.ir

حجم فایل

586 مگابایت