Scrapy ( "скрейпай", також, часто вживається "скрепі") — це безкоштовна платформа для вебсканування (збору даних у вебі) з відкритим кодом, написана на Python. Хоча її було спроєктовано для вебскрепінгу, її також можна використовувати для вилучення даних за допомогою API або як вебсканер (пошуковий робот) загального призначення. Scrapy at a glance. Наразі він підтримується компанією Zyte (раніше Scrapinghub), яка займається розробкою та послугами вебскрепінгу.
Архітектура проєкту Scrapy побудована навколо «павуків» ("spiders"), які є самодостатніми сканерами та отримують набір інструкцій. Дотримуюється духу «не повторюйся» (DRY — don't repeat yourself) інших фреймворків, таких як Django , що полегшує створення та масштабування великих проєктів-сканерів, дозволяючи розробникам повторно використовувати свій код.
Деякі відомі компанії та продукти, які використовують Scrapy: Lyst , Parse.ly, Sayone Technologies, Sciences Po MedialabHyphe v0.0.0: the first release of our new webcrawler is out!, Data.gov.uk's World Government Data site. Історія Scrapy було створено в лондонській компанії з вебагрегації та електронної комерції Mydeco, де її розробили та підтримували співробітники Mydeco та Insophia (веб-консалтингова компанія, розташована в Монтевідео, Уругвай). Перший публічний випуск відбувся у серпні 2008 року за ліцензією BSD, а віха 1.0 відбулася в червні 2015 року. У 2011 році Zyte (раніше Scrapinghub) став новим офіційним утримувачемInterview Scraping Hub..
Посилання