ماژول‌های هدوپ

ماژول‌های هدوپ

هدوپ به عنوان یک چارچوب نرم افزاری از چندین ماژول کاربردی تشکیل شده است. هدوپ از Hadoop Common به عنوان یک هسته برای ارائه کتابخانه های ضروری چارچوب استفاده می کند. سایر اجزاء شامل سیستم فایل توزیع شده هدوپ(Hadoop Distributed File System  یا به اختصار HDFS ) است که قادر به ذخیره داده ها در میان هزاران سرور برای دستیابی به پهنای باند بالا بین گره ها است؛ Hadoop Yet Another Resource Negotiator (YARN) که مدیریت منابع و برنامه ریزی برای برنامه های کاربردی کاربر را فراهم می کند؛ و Hadoop MapReduce که مدل برنامه نویسی مورد استفاده برای مقابله با پردازش داده های بزرگ توزیع شده را فراهم می کند – داده ها را نقشه برداری کرده و آن را به نتیجه ای کاهش میدهد.

هدوپ همچنین از طیف وسیعی از پروژه های مرتبط پشتیبانی می کند که می توانند قابلیت های اساسی آن را تکمیل کنند.

مهمترین این بسته های نرم افزاری و ماژول‌های هدوپ عبارتند از:

  • آپاچی Flume: ابزار مورد استفاده برای جمع آوری و انتقال مقدار زیادی داده ی در حال جریان به HDFS.
  • آپاچی HBase: یک پایگاه داده متن باز، غیرمستقیم و توزیع شده؛
  • آپاچی Hive: انبار داده ای که خلاصه سازی داده ها، پرس و جو و تجزیه و تحلیل را فراهم می کند.
  • Cloudera Impala: یک پایگاه داده ی پردازش گسترده موازی برای هدوپ که در ابتدا توسط Cloudera تولید شد. اما اکنون به عنوان نرم افزار متن باز منتشر شده است؛
  • آپاچی Oozie: سیستم برنامه ریزی گردش کار مبتنی بر سرور برای مدیریت مشاغل(tasks) در هدوپ ؛
  • آپاچی Phoenix: یک موتور پایگاه داده ارتباطی متن باز، جهت پردازش گسترده موازی برای هدوپ که مبتنی بر Apache HBase است؛
  • آپاچی Pig: یک پلت فرم سطح بالا برای ایجاد برنامه هایی که در هدوپ اجرا می شوند؛
  • آپاچی Sqoop: ابزاری برای انتقال توده ای از داده ها بین هدوپ و فروشگاه های داده ای ساخت یافته، مانند پایگاه داده های رابطه ای است؛
  • آپاچی Spark: موتوری سریع برای پردازش کلان داده ها که قادر به جاری کردن و حمایت از SQL، پردازش گراف و یادگیری ماشین است؛
  • آپاچی Storm: سیستم متن باز برای پردازش داده ها؛
  • آپاچی ZooKeeper: سرویس رجیستری متن باز جهت پیکربندی، هماهنگ سازی و نامگذاری سیستم های توزیع شده بزرگ.ماژول‌های هدوپ

نویسنده نوشته: N.M

N.M

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *