Udemy – DuckDB – The Ultimate Guide 2024-10

در تاریخ: 1404/04/30 8:35:03

توضیحات

DuckDB – The Ultimate Guide، دوره آموزش کامل DuckDB توسط آکادمی یودمی منتشر شده است. دریاچه های داده و زیرساخت بزرگ داده های بزرگ (مانند آپاچی هادوپ و اسپارک) راه حل بهینه برای هر مشکل داده نیستند. DuckDB یک راه حل عالی برای اجرای یک پایگاه داده بسیار شبیه به PostgreSQL است اما با قابلیت های تحلیلی عظیم، به صورت محلی. duckdb Python، duckdb dbt، duckdb Streamlit، duckdb s3 & wasm & Docker و بسیاری دیگر: تقریباً هر چیزی را با آن می‌توانید انجام دهید. علاوه بر این، می‌توانید به راحتی از داده‌ها خروجی بگیرید: duckdb csv، duckdb parket، duckdb json همه راه‌هایی برای به اشتراک گذاشتن نتایج تجزیه و تحلیل شما در کمترین زمان هستند. ادغام پایتون به آسانی انجام “pip install duckdb” است و شما آماده هستید. ما در یکی از موارد به ادغام duckdb پایتون خواهیم پرداخت. به جای داشتن PostgreSQL/Mariadb برای هر توسعه دهنده در تیم، می توانید پیکربندی را برای ایجاد یک نمونه در حافظه از DuckDB تنظیم کنید. اگر نیاز به درخواست داده‌ها از اینترنت دارید، مشکلی هم نیست، Duckdb Httpfs بسته‌ای است که ما نیز آن را مطالعه خواهیم کرد. اگر می خواهید یک پایگاه داده ستونی را به صورت محلی با داده های بسیار بزرگ اجرا کنید، واقعاً هیچ چیز دیگری مانند DuckDB وجود ندارد.

در عوض می‌توانید PySpark را به صورت محلی اجرا کنید اما دردسر بیشتر خواهد بود. Duckdb Pivot حتی می تواند به شما در ایجاد جداول صفحه گسترده کمک کند. این یک گام رو به جلو برای فیلد Analytics از SQLite است. DuckDB هنگام اجرای کوئری های انبوه روی ستون‌های محدود عالی عمل می‌کند در حالی که SQLite هنگام درخواست یک یا چند ردیف با استفاده از فیلترها عالی عمل می‌کند. در دوره ما duckdb را در مقابل Sqlite و duckdb در مقابل Clickhouse مقایسه خواهیم کرد. Pandas تمام داده ها را در حافظه بارگذاری می کند و روی یک رشته اجرا می شود. از این رو نمی تواند روی مجموعه داده های حافظه بزرگتر کار کند و همچنین از تمام هسته های CPU شما استفاده نمی کند. در حالی که DuckDB می تواند روی مجموعه داده های بزرگتر از حافظه کار کند. علاوه بر این، می تواند بار را در تمام هسته های CPU توزیع کند. همه اینها با استفاده از زبان SQL به طور پیش فرض!

آنچه خواهید آموخت

معماری و پیاده سازی راه حل های تجزیه و تحلیل که از DuckDB به عنوان پایگاه داده استفاده می کند
شما اصولی را یاد خواهید گرفت که DuckDB را در هر ماشینی بسیار سریع می کند (تئوری)
کار با DuckDB را از محیط پایتون یاد خواهید گرفت (تمرین)
کار با DuckDB را از محیط CLI (خط فرمان) یاد خواهید گرفت (تمرین)
از DuckDB به‌عنوان پایگاه داده پشتیبان برای برنامه‌های Streamlit Python Analytics خود استفاده کنید (تمرین)
DuckDB را با dbt (ابزار ساخت داده) ترکیب کنید تا توسعه انبار داده Analytics را ساده کنید (تمرین)
شما یاد خواهید گرفت که در MotherDuck: یک محیط Cloud-native (SaaS) برای DuckDB (تمرین) کار کنید.
شما متوجه خواهید شد که DuckDB چگونه با سایر پایگاه های داده متفاوت است: هر دو تحلیلی (Clickhouse، Redshift، Cassandra) و OLTP (PostgreSQL، SQLITE)

این دوره برای چه کسانی مناسب است

توسعه دهندگان و مهندسان داده که می خواهند در مورد انبارداری داده های محلی مدرن و توسعه راه حل های تجزیه و تحلیل سریعتر بیاموزند
تحلیلگران داده و دانشمندان داده که می خواهند مهارت بیشتری کسب کنند و نحوه استفاده از پایگاه داده های تحلیلی تعبیه شده را بیاموزند
حرفه ای ها و علاقه مندان به داده که می خواهند مهارت های خود را در پایگاه های داده و مدل سازی داده ارتقا دهند.
افرادی که می خواهند دانشمند داده، تحلیلگر BI، مهندس داده یا تحلیلگر داده شوند