Apache Spark

Apache Spark

Apache Spark چیست؟ Apache Spark  یک چهارچوب متن باز پردازش موازی برای اجرای برنامه های تجزیه و تحلیل داده در مقیاس بزرگ در رایانه های خوشه بندی شده است که می تواند هر دو تجزیه و تحلیل دسته ای و بلادرنگ و نیز داده های مربوط به پردازش داده ها را رسیدگی کند. Spark  یک […]

Apache Hive

Apache Hive

Apache Hive انبار داده ای متن باز برای پرس و جو(query) و تجزیه و تحلیل مجموعه داده های بزرگ ذخیره شده در فایل های هدوپ است.  هدوپ چهارچوبی برای مدیریت مجموعه کلان داده ها در یک محیط محاسباتیِ توزیع شده است. Hive  دارای سه عملکرد اصلی است : خلاصه سازی داده ها، پرس و جو […]

ماژول‌های هدوپ

ماژول‌های هدوپ

ماژول‌های هدوپ هدوپ به عنوان یک چارچوب نرم افزاری از چندین ماژول کاربردی تشکیل شده است. هدوپ از Hadoop Common به عنوان یک هسته برای ارائه کتابخانه های ضروری چارچوب استفاده می کند. سایر اجزاء شامل سیستم فایل توزیع شده هدوپ(Hadoop Distributed File System  یا به اختصار HDFS ) است که قادر به ذخیره داده […]

موتور پیشنهاد دهنده

موتور پیشنهاد دهنده و هدوپ

موتور پیشنهاد دهنده چیست؟ یک موتور پیشنهاد دهنده که با عنوان سامانه پیشنهاد دهنده نیز شناخته می شود، نرم افزاری است که داده های موجود را تجزیه و تحلیل می کند تا پیشنهاداتی مانند یک کتاب، یک ویدیو،کار یا یک محتوای جذاب دیگر را که ممکن است برای یک کاربر وبسایت جذاب باشد، ارائه دهد. […]

کاربردهای هدوپ

کاربردهای هدوپ

امروزه بسیاری از سازمانها به دنبال راه حلی برای جستجوی میلیونها (یا میلیاردها) صفحه وب و بازگشت نتایج مربوطه به هدوپ به عنوان پلتفرم کلان داده خود هستند. از کاربردهای هدوپ می توان به موارد زیر اشاره کرد: ذخیره سازی با هزینه کم و آرشیو داده ها هزینه کم و سازگاری با سخت افزارها هدوپ […]

چالش‌های هدوپ

چالش‌های هدوپ چیست؟

برای استفاده از هدوپ مانند تمامی ابزارها با چالش هایی مواجه هستیم.چهار مورد از مهمترین چالش‌های هدوپ عبارتند از: برنامه نویسی MapReduce برای همه مشکلات مناسب نیست. این نوع برنامه نویسی برای درخواست (request) اطلاعات ساده و مشکلاتی که می توانند به واحدهای مستقل تقسیم شوند خوب به نظر می آید اما برای کارهای تحلیلی […]

تاریخچه هدوپ

تاریخچه هدوپ

موتورهای جستجو زمینه ساز هدوپ برای بررسی تاریخچه هدوپ باید ابتدا نگاهی به پیدایش موتورهای جستجو بندازیم؛ با گسترش وب در اواخر دهه ۱۹۰۰ و اوایل دهه ۲۰۰۰ موتورهای جستجو و ایندکس ها برای کمک به یافتن اطلاعات مربوطه در میان محتوای مبتنی بر متن ایجاد شد. در سال های اولیه، نتایج جستجو توسط انسان […]

تاریخچه هدوپ

هدوپ چیست؟

هدوپ یک فریمورک نرم افزاری متن باز برای ذخیره داده ها و اجرای برنامه های کاربردی در خوشه(کلاستر)های سخت افزاری است. این ذخیره سازی عظیم برای هر نوع داده، قدرت پردازش بسیار زیاد و توانایی انجام وظایف(task) همزمان و بدون محدودیت را فراهم می کند. ویژگی های هدوپ توانایی ذخیره و پردازش سریع حجم زیادی […]