موتورهای جستجو زمینه ساز هدوپ
برای بررسی تاریخچه هدوپ باید ابتدا نگاهی به پیدایش موتورهای جستجو بندازیم؛ با گسترش وب در اواخر دهه ۱۹۰۰ و اوایل دهه ۲۰۰۰ موتورهای جستجو و ایندکس ها برای کمک به یافتن اطلاعات مربوطه در میان محتوای مبتنی بر متن ایجاد شد. در سال های اولیه، نتایج جستجو توسط انسان ها برگردانده شد. اما همانطور که وب از ده ها تا میلیون ها صفحه رشد کرد، نیاز به اتوماسیون بود. خزنده‌های وب (web crawlers) توسط بسیاری از پروژه های تحقیقاتی تحت هدایت دانشگاه ها ایجاد شد و موتورهای جستجوگری همچون yahoo،AltaVista و… شروع به کار کردند.
پروژه Nutch
یکی از این پروژه ها یک موتور جستجوگر وب با نام Nutch بود .این پروژه توسط Doug Cutting و مایک کافارلا آغاز شده بود. آنها می خواستند نتایج جستجوی وب را با استفاده از توزیع داده ها و محاسبات در کامپیوترهای مختلف، سریعتر انجام دهند. بنابراین وظایف (task) می تواند همزمان انجام شود. در طول این مدت، پروژه موتور جستجو دیگری به نام گوگل در حال انجام بود. این پروژه نیز بر مبنای همان مفهوم یعنی ذخیره و پردازش داده ها در یک روش توزیع شده و خودکار بود، به طوری که نتایج جستجوی وب می تواند سریعتر بازگردانده شود.
در سال ۲۰۰۶، Cutting به یاهو پیوست و با خود پروژه Nutch را به همراه ایده هایی که بر اساس کار اولیه Google ذخیره خودکار و پردازش توزیع شده بود به یاهو برد. پروژه Nutch تقسیم شد – بخش خزنده وب به عنوان Nutch باقی ماند و بخش پردازش و محاسبات توزیع شده هدوپ (Hadoop) شد( به دلیل نام اسباب بازی فیل پسر cutting). در سال ۲۰۰۸ یاهو هدوپ را به عنوان یک پروژه متن باز منتشر کرد. امروزه فریمورک و اکوسیستم فناوری هدوپ توسط بنیاد غیر انتفاعی نرم افزار آپاچی (ASF)، یک جامعه جهانی از توسعه‌دهندگان و مشارکت‌کنندگان نرم افزار مدیریت و نگهداری می شود.
