توضیحات
Spark Streaming – Stream Processing in Lakehouse – PySpark، دوره آموزش اسپارک استریمینگ – پردازش استریم در Lakehouse با PySpark توسط آکادمی Udemy منتشر شده است.بر پردازش استریم ساختاریافته اسپارک (Spark Structured Streaming) با استفاده از پایتون (PySpark) در بستر ابری Azure Databricks همراه با یک پروژه کامل و جامع تسلط پیدا کنید. در این دوره کاربردی، شما مفاهیم پردازش استریم در زمان واقعی، APIها و معماری Spark Structured Streaming و همچنین یکپارچهسازی منابع و مقاصد داده مانند آپاچی کافکا و دلتا لیک را فرامیگیرید.
در طول دوره، تبدیلهای بدون وضعیت و با وضعیت، تجمیعهای بازه زمانی (Windowing)، واترمارکینگ، پاکسازی وضعیت و جوینهای استریمینگ را بررسی خواهید کرد. همچنین تجربه عملی کار با Azure Databricks، Unity Catalog و پایپلاینهای CI/CD را کسب کرده و در نهایت با یک پروژه جامع، یک اپلیکیشن پردازش استریم آماده تولید را در معماری مدالین لیکهاوس ساخت و استقرار خواهید داد.
آنچه خواهید آموخت
- مفاهیم پردازش استریم در زمان واقعی (Real-time)
- معماری و APIهای پردازش استریم ساختاریافته اسپارک (Spark Structured Streaming)
- کار با منابع (Sources) و مقاصد (Sinks) داده در پردازش استریم
- کافکا برای مهندسان داده
- کار با منبع کافکا و یکپارچهسازی اسپارک با کافکا
- تبدیلهای استریمینگ بدون وضعیت (Stateless) و با وضعیت (Stateful)
- تجمیعهای بازه زمانی (Windowing) با استفاده از اسپارک استریم
- واترمارکینگ (Watermarking) و پاکسازی وضعیت (State Cleanup)
- اتصالها (Joins) و تجمیع دادهها در پردازش استریم
- مدیریت مشکلات حافظه در اتصالهای استریمینگ
- کار با پلتفرم Azure Databricks
- پروژه پایانی – پیادهسازی اپلیکیشن استریمینگ در لیکهاوس
این دوره برای چه کسانی مناسب است
- مهندسان و معماران نرمافزار که مایل به طراحی و توسعه پروژههای مهندسی دادههای بزرگ (Big Data) با استفاده از آپاچی اسپارک و پلتفرم ابری Databricks هستند
- برنامهنویسان و توسعهدهندگانی که قصد رشد و یادگیری مهندسی داده با استفاده از آپاچی اسپارک و پلتفرم ابری Databricks را دارند
مشخصات دوره Spark Streaming – Stream Processing in Lakehouse – PySpark
- ناشر : Udemy
- مدرس : Prashant Kumar Pandey , Learning Journal
- زبان: انگلیسی
- سطح آموزش: متوسط
- تعداد دروس: 108
- مدت زمان آموزش: 22 ساعت و 23 دقیقه
سر فصل های دوره Spark Streaming – Stream Processing in Lakehouse – PySpark
پیش نیاز های دوره
- Spark Fundamentals and exposure to Spark Dataframe APIs
- Programming Knowledge Using Python Programming Language
تصاویر
فیلم نمونه
راهنمای نصب
پس از Extract، با Player دلخواه خود مشاهده کنید.
زیرنویس: انگلیسی
کیفیت: 720
لینک دانلود
گذرواژه فایل(ها): www.downloadly.ir
حجم فایل
12.15 گیگابایت
