Apache Pig

Apache Pig چیست؟

Apache Pig  فناوری متن بازی است که مکانیزمی سطح بالا را برای برنامه ریزی موازی کارهای MapReduce  در خوشه های هدوپ ارائه می دهد .

Pig  برنامه نویسان را قادر می سازد تا روش های اجرای پرس و جو(query) برای تجزیه و تحلیل مجموعه داده های بزرگ و توزیع شده را بدون نیاز به انجام کار سطح پایین در MapReduce  ایجاد کنند که بسیار شبیه نحوه استفاده از نرم افزار انبار داده Apache Hive  است که یک رابط مشابه SQL برای هدوپ ایجاد میکند که به برنامه نویسی مستقیم MapReduce نیازی ندارد.

بخش های اصلی Pig  کامپایلر و زبان اسکریپت نویسی به نام Pig Latin است. Pig Latin زبانی جریان داده ای(Data flow) است که برای پردازش موازی به کار می رود.  مدیران پروژه Pig بنیاد نرم افزار آپاچی، این زبان را به عنوان راهی بین زبان اعلانی SQL  و رویکرد رویه ای جاوا مورد استفاده در برنامه های MapReduce قرار می‌دهند.

به عنوان مثال، طرفداران آن می گویند، اتصال داده ها با زبان Pig Latin ساده تر از جاواست. با این حال، از طریق استفاده از توابع تعریف شده توسط کاربر (UDFs)، برنامه های Pig Latin می توانند گسترش یابند تا شامل وظایف پردازش سفارشی نوشته شده در جاوا و همچنین زبان هایی مانند جاوا اسکریپت و پایتون باشد.

Apache Pig در تحقیقات یاهو به وجود آمد و برای اولین بار به صورت رسمی در مقاله ای که در سال ۲۰۰۸ منتشر شد، معرفی شد. Pig در نظر گرفته شده است تا بتواند انواع داده ها شامل اطلاعات ساختار یافته و غیر ساختاری و داده های ارتباطی و تودرتو را بپذیرد.  این دیدگاه همه جانبه از داده ها احتمالا در تصمیم گیری برای نامگذاری این محیط بنام این حیوان دست داشت(Pig به معنای خوک است).  این دیدگاه به Pig در چهارچوب های برنامه نیز گسترش می یابد؛ در حالی که این تکنولوژی در درجه اول با هدوپ همراه است، گفته شده است که به خوبی قادر به استفاده با قالب های دیگر نیز هست.

چهارچوب اساسی هدوپ از برنامه های کاربردی گسترده وب که معماران روش های غیر SQL را برای جمع آوری و تجزیه و تحلیل اقتصادی حجم عظیمی از داده ها استفاده می کنند، رشد می‌کند. برای کمک به رسیدگی برنامه های کاربردی کلان داده ها تعداد زیادی افزونه وجود دارد که Apache Pig فقط بخشی از لیست طولانی از تکنولوژی های اکوسیستم هدوپ است که شامل Hive، HBase، ZooKeeper  و دیگر ابزارهای موجود برای پر کردن شکاف های عملکردی در این چهارچوب است.

apache pig - آپاچی پیگ

نویسنده نوشته: N.M

N.M

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *