Udemy – Web Scraping for Beginners with : Python | Scrapy| BS4 2023-7

Web scraping فرآیند دانلود خودکار داده های یک صفحه وب و استخراج اطلاعات خاص از آن است. اطلاعات استخراج شده را می توان در یک پایگاه داده یا به صورت انواع مختلف فایل ذخیره کرد. قوانین اساسی خراش دادن:

•      همیشه شرایط و ضوابط یک وب سایت را قبل از خراش دادن آن بررسی کنید تا از مشکلات قانونی جلوگیری کنید.
•      از یک وب سایت به صورت تهاجمی (هرزنامه) با برنامه خود داده درخواست نکنید زیرا ممکن است وب سایت را خراب کند.
•     طرح‌بندی یک وب‌سایت ممکن است هر از گاهی تغییر کند، بنابراین مطمئن شوید که کد شما با آن سازگار است.

ابزارهای محبوب خراش دادن وب عبارتند از BeautifulSoup و Scrapy.

BeautifulSoup  یک کتابخانه پایتون برای استخراج داده ها (تجزیه) از فایل های HTML و XML است.

Scrapy یک چارچوب برنامه منبع باز رایگان است که برای خزیدن وب سایت ها و استخراج داده های ساخت یافته استفاده می شود که می تواند برای موارد مختلفی مانند داده کاوی، تحقیق، فرآیند اطلاعات یا آرشیو تاریخی استفاده شود. ابزارهای نرم افزار خراش دادن وب ممکن است مستقیماً با استفاده از پروتکل انتقال ابرمتن یا از طریق مرورگر وب به وب جهانی دسترسی پیدا کنند. در حالی که خراش دادن وب را می توان به صورت دستی توسط یک کاربر نرم افزار انجام داد، این اصطلاح معمولاً به فرآیندهای خودکار اجرا شده با استفاده از یک ربات یا خزنده وب اشاره دارد. این نوعی کپی است که در آن داده‌های خاصی از وب جمع‌آوری و کپی می‌شوند، معمولاً در یک پایگاه داده یا صفحه گسترده محلی مرکزی، برای بازیابی یا تجزیه و تحلیل بعدی. خراش دادن یک صفحه وب شامل واکشی آن و استخراج از آن است. واکشی بارگیری یک صفحه است (کاری که مرورگر هنگام مشاهده صفحه انجام می دهد). برای واکشی صفحات برای پردازش بعدی. پس از واکشی، سپس استخراج می تواند انجام شود. محتوای یک صفحه ممکن است تجزیه شود، جستجو شود، دوباره قالب بندی شود، داده های آن در یک صفحه گسترده کپی شود و غیره. اسکرابرهای وب معمولاً چیزی را از یک صفحه خارج می کنند تا از آن برای هدف دیگری در جایی دیگر استفاده کنند. یک مثال می تواند یافتن و کپی کردن نام ها و شماره تلفن ها یا شرکت ها و URL های آنها در یک لیست باشد (مخاطب خراش). خراش وب برای خراش دادن تماس استفاده می شود، و به عنوان جزئی از برنامه های کاربردی مورد استفاده برای نمایه سازی وب، وب کاوی و داده کاوی، نظارت بر تغییر قیمت آنلاین و مقایسه قیمت، خراش بررسی محصول (برای تماشای رقابت)، جمع آوری لیست املاک، داده های آب و هوا. نظارت، تشخیص تغییر وب سایت، تحقیق، ردیابی حضور و شهرت آنلاین، آمیختگی وب و یکپارچه سازی داده های وب. صفحات وب با استفاده از زبان‌های نشانه‌گذاری مبتنی بر متن (HTML و XHTML) ساخته می‌شوند و اغلب حاوی داده‌های مفید فراوانی در قالب متن هستند. . وب اسکراپر یک رابط برنامه نویسی کاربردی (API) برای استخراج داده ها از یک وب سایت است. شرکت‌هایی مانند Amazon AWS و Google ابزارها، خدمات و داده‌های عمومی را به صورت رایگان در اختیار کاربران نهایی قرار می‌دهند.

راهنمای نصب

پس از Extract، با Player دلخواه خود مشاهده کنید.

زیرنویس: انگلیسی

کیفیت: 720p