چالش‌های هدوپ چیست؟

برای استفاده از هدوپ مانند تمامی ابزارها با چالش هایی مواجه هستیم.چهار مورد از مهمترین چالش‌های هدوپ عبارتند از:

برنامه نویسی MapReduce برای همه مشکلات مناسب نیست.

این نوع برنامه نویسی برای درخواست (request) اطلاعات ساده و مشکلاتی که می توانند به واحدهای مستقل تقسیم شوند خوب به نظر می آید اما برای کارهای تحلیلی پرتکرار و تعاملی کارآمد نیست. MapReduce فشرده است زیرا گره‌های محاسباتی به جز تعدادی از آنها به هم متصل نیستند و یا الگوریتمهای تکرارپذیر برای تکمیل نیاز به فازهای مختلف نقشه برداری یا مرتب سازی کاهشی دارند که این امر باعث ایجاد چندین فایل بین مراحل MapReduce می شود و برای محاسبات پیشرفته تحلیلی ناکارآمد است.

کمبود استعداد در حوزه کار با هدوپ

پیدا کردن برنامه نویسانی که مهارتهای کافی جاوا برای استفاده از  MapReduce داشته باشند، می تواند بسیار مشکل باشد. این یکی از دلایلی است که شرکتهای فراهم کننده سیستم های محاسبات توزیعی در حال رقابت هستند تا فناوری ارتباطی(SQL) را در  اهمیت بالاتری نسبت به هدوپ قرار دهند. پیدا کردن برنامه نویسان با مهارت های SQL بسیار راحت تر از برنامه نویسان با مهارت های MapReduce است. و مدیریت هدوپ به نظر می رسد بخشی هنر و بخشی علم باشد. همچنین برای مدیریت هدوپ  نیاز به سطح پایین دانش از سیستم عامل، سخت افزار و تنظیمات هسته هدوپ نیز هست.

امنیت داده

یکی دیگر از چالش ها مربوط به مسائل امنیتی اطلاعات تقسیم شده است. البته ابزارها و فن آوری های جدید روز به روز بهتر می شوند. بنابراین می توان امید داشت . پروتکل تأیید هویت Kerberos یک گامی بزرگ در جهت ایجاد محیط های امن هدوپ  است.

مدیریت کامل داده ها و حاکمیت کامل آن ها

هدوپ  ابزارهایی آسان و با ویژگی های زیاد برای مدیریت داده ها، تمیز کردن داده ها، حاکمیت و فراداده ندارد. از مهمترین کمبودهای هدوپ می توان به فقدان ابزار برای کیفیت داده ها و استانداردسازی آن ها اشاره کرد.

 

چالش‌های هدوپ
چالش های هدوپ

نویسنده نوشته: MHQ

MHQ
محمدحسین قپانداران، دانشجوی مهندسی کامپیوتر دانشگاه خوارزمی، فعال در حوزه طراحی وب و دیجیتال مارکتینگ، علاقمند به فعالیت در حوزه کلان داده و ابزارهای تحلیلی آن

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *