apache sqoop

Apache Sqoop

Apache Sqoop چیست؟ Apache Sqoop برنامه ی کاربردی مبتنی بر کنسول و مبتنی بر جاوا است که برای انتقال توده ای از اطلاعات بین آپاچی هدوپ و مراکز ذخیره سازی داده غیر هدوپ مانند پایگاه داده های ارتباطی، پایگاه داده های NoSQL و انبارهای داده طراحی شده است. بنابراین Apache Sqoop  ابزاری در اکوسیستم هدوپ است […]

Apache Storm

Apache Storm

Apache Storm چیست؟ Apache Storm  یک چارچوب محاسباتی پردازش جریان توزیع شده و متن باز است که به طور عمده در زبان برنامه نویسی Clojure  نوشته شده است.  Apache Storm موجب میشود که پردازش قابل اطمینان جریان نامحدودی از داده ها برای پردازش بلادرنگ که هدوپ برای پردازش دسته ای انجام می دهد، راحت شود. […]

Apache Zookeeper

Apache ZooKeeper

Apache ZooKeeper چیست؟ Apache Apache ZooKeeper  یک رابط برنامه کاربردی  (API) فایل متن باز است که اجازه می دهد تا پروسه های توزیع شده در سیستم های بزرگ با یکدیگر همگام سازی شوند که در نتیجه تمام مشتریانی که درخواستی می‌کنند اطلاعات سازگار دریافت کنند. خدمات Apache ZooKeeper  ، که یک زیر پروژه هدوپ است، […]

Apache Spark

Apache Spark

Apache Spark چیست؟ Apache Spark  یک چهارچوب متن باز پردازش موازی برای اجرای برنامه های تجزیه و تحلیل داده در مقیاس بزرگ در رایانه های خوشه بندی شده است که می تواند هر دو تجزیه و تحلیل دسته ای و بلادرنگ و نیز داده های مربوط به پردازش داده ها را رسیدگی کند. Spark  یک […]

Apache Pig

Apache Pig چیست؟ Apache Pig  فناوری متن بازی است که مکانیزمی سطح بالا را برای برنامه ریزی موازی کارهای MapReduce  در خوشه های هدوپ ارائه می دهد . Pig  برنامه نویسان را قادر می سازد تا روش های اجرای پرس و جو(query) برای تجزیه و تحلیل مجموعه داده های بزرگ و توزیع شده را بدون […]

Apache Hive

Apache Hive

Apache Hive انبار داده ای متن باز برای پرس و جو(query) و تجزیه و تحلیل مجموعه داده های بزرگ ذخیره شده در فایل های هدوپ است.  هدوپ چهارچوبی برای مدیریت مجموعه کلان داده ها در یک محیط محاسباتیِ توزیع شده است. Hive  دارای سه عملکرد اصلی است : خلاصه سازی داده ها، پرس و جو […]

Apache HBase

Apache HBase چیست؟ Apache HBase  یک محل ذخیره داده و با نوع key/value و بر مبنای ستون است که برای اجرا بر روی سیستم فایل توزیع شده هدوپ (HDFS, Hadoop Distributed File System)  ساخته شده است.  هدوپ چهارچوبی برای مدیریت مجموعه داده های بزرگ در یک محیط محاسباتی توزیع شده است. HBase  برای پشتیبانی از […]

ماژول‌های هدوپ

ماژول‌های هدوپ

ماژول‌های هدوپ هدوپ به عنوان یک چارچوب نرم افزاری از چندین ماژول کاربردی تشکیل شده است. هدوپ از Hadoop Common به عنوان یک هسته برای ارائه کتابخانه های ضروری چارچوب استفاده می کند. سایر اجزاء شامل سیستم فایل توزیع شده هدوپ(Hadoop Distributed File System  یا به اختصار HDFS ) است که قادر به ذخیره داده […]

موتور پیشنهاد دهنده

موتور پیشنهاد دهنده و هدوپ

موتور پیشنهاد دهنده چیست؟ یک موتور پیشنهاد دهنده که با عنوان سامانه پیشنهاد دهنده نیز شناخته می شود، نرم افزاری است که داده های موجود را تجزیه و تحلیل می کند تا پیشنهاداتی مانند یک کتاب، یک ویدیو،کار یا یک محتوای جذاب دیگر را که ممکن است برای یک کاربر وبسایت جذاب باشد، ارائه دهد. […]