Apache Nutch — модульний фреймворк для побудови пошукових систем, написаний на мові Java і заснований на технологіях Lucene, Solr, Tika, Hadoop і Gora, адаптованих для специфіки пошуку у вебі (наприклад, підтримується crawler, база посилального зв'язку, парсинг HTML і інших форматів). Архітектура Nutch дозволяє розробникам створювати плагіни для обробки нового медіа-контенту, отримання даних через нестандартні канали, для формування типових запитів або організації пошукового кластера.
Система надає засоби для побудови високомасштабованих систем індексації, абстрагованих від типу сховища, що дозволяє використовувати такі сховища для великих обсягів даних, як Apache Accumulo, Apache Avro, Apache Cassandra, Apache HBase і HDFS, так і SQL-бази і розміщені в пам'яті NoSQL БД.
Використання На базі Nutch 2.0, запущеного поверх 34-вузлового Hadoop-кластера, побудований пошуковий сервіс компанії Kalooga, в індексі якого перебуває більше мільярда сторінок.Реліз пошукового рушія Apache Nutch 2.0
На основі Nutch побудовані такі пошукові системи Creative Commons Search — запущений 2004, імплементація Nutch замінена 2006 DiscoverEd — прототип пошуку по відкритих освітніх ресурсах, що розробляється Creative Commons Krugle mozDex Wikia Search — запущений 2008, закритий 2009 search2.net
Виноски
Посилання
Офіційні вікі Building Nutch: Open Source Search （2004）- ACM Queue vol. 2, no. 2 Стаття про Nutch（2003）- Search Engine Watch Ще стаття про Nutch （2003）- Tech News World Офіційна сторінка проекту Hadoop