پروژه Nutch، تلاشی برای ایجاد موتورهای جستجوی منبع باز و رایگان می باشد. این پروژه از Lucene به منظور جستجو و ابزار شاخص استفاده می کند. فتچر (روبات) از ابتدا برای این پروژه نوشته شد. پروژه Nutch
دارای معماری مدولار سطح بالایی می باشد که به طراحان این امکان را می دهد تا پلاگین هایی را برای فعالیت ها همانند تحلیل نوع رسانه، بازیابی اطلاعات، جستجو و خوشه بندی، ایجاد کنند.
داگ کاتینگ به عنوان یکی از توسعه دهندگان پیشگام در پروژه Nutch می باشد.
Lucene چیست؟
Lucene به عنوان یکی از نرم افزارهای منبع باز و شاخص رابط برنامه کاربردی (رابط برنامه کاربردی) می باشد که توسط موسسه آپاچی انتشار یافته است. Lucene به صورت جاوا نوشته شده و تحت لیسانس نرم افزاری موسسه آپاچی انتشار یافته است.
Lucene به عنوان هسته مرکزی موتور جستجو می باشد. به این ترتیب آن شامل مواردی همانند شبکه های عنکبوتی و برنامه های تجزیه کننده در ارتباط با فرمت های اسناد نمی باشد. در عوض چنین مواردی می بایست توسط افرادی اضافه گردد که از Lucene استفاده می کنند.
Lucene در ارتباط با منابع اطلاعاتی، فرمت خاص، و یا زبان خاصی نمی باشد و شما می توانید آن را به متن تبدیل کنید. این بدین معنی می باشد که شما می توانید از Lucene برای ایجاد شاخص و جستجوی اطلاعات ذخیره شده در فایل، صفحات وب بر روی سرورهای شبکه از راه دور و اسناد ذخیره شده در فایل های سیستمی محلی، فایل های متنی ساده، اسناد مایکروسافت، فایل های PDF یا HTML یا فرمت های دیگر، که شما می توانید اطلاعات متنی را از آن دریافت کنید، استفاده کنید.
Lucene در فرایند جریان انتقال به زبان های برنامه نویسی دیگر به غیر از جاوا قرار می گیرد.
1.3 پروانه کسب (لیسانس) چیست ؟
Lucene و Nutch به عنوان پروژه آپاچی بوده و تحت لیسانس آپاچی قرلر دارند.
2 طراحی Nutch
2.1 اجزای اصلی Nutch
موتور جستجوی Nutch شامل سه بخش می باشد:
1- کرالر، که به اکتشاف و بازیابی صفحات وب می پردازد.
2- WebDB، پایگاه اطلاعاتی به ذخیره URL پرداخته و محتوای صفحات را جمع آوری می کند.
3- برنامه لکسندر، که صفحات را از هم جدا کرده و بر اساس آن ها شاخص های بر مبنای کیبورد را می سازد.