آشنایی و معرفی سیستم هادوپ

برای نظر دادن اولین باش!
منتشرشده در سایر مقالات
11 آذر
آشنایی و معرفی سیستم هادوپ

اکثرا شرکتها با مقدار زیادی داده های جدید که در اشکال مختلف بسیاری دریافت و تولید می شوند ، روبرو هستند. بر این اساس کلان داده ها این پتانسیل را دارند که بینش هایی ایجاد کنند که می تواند هر کسب و کاری را دگرگون کند. علم کلان داده ها افق کاملاً جدیدی از معماری های پشتیبانی کننده برای فرایند ذخیره سازی و مدیریت و نگهداری امن داده ها را فراهم آورده است.

هادوپ یک چارچوب نرم ‌افزاری منبع باز[1] است که پردازش توزیع شده داده های بزرگ را بر روی خوشه[2][3]هایی از سرورها ممکن میسازد. این چارچوب که به زبان جاوا نوشته شده است، برای انجام پردازش توزیع شده بر روی هزاران ماشین با تحمل‌پذیری خطای بالا طراحی شده است. به جای تکیه بر سخت ‌افزارهای گران قیمت ،تحمل‌پذیری در مقابل خطا در این خوشه ها از توانایی نرم افزاری در تشخیص و اداره خرابی در لایه کاربرد می‌آید .

هسته اصلی هادوپ یک بخش ذخیره سازی یعنی سیستم فایل توزیع شده هادوپ25 یا  HDFS و یک بخش پردازشی با عنوان نگاشت/کاهش21 تشکیل شده است. هادوپ فایلها را به بلوک های بزرگ شکسته و آنها را بین نودهای یک خوشه توزیع می کند. برای پردازش داده، بخش نگاشت/کاهش بسته کدی را برای نودها ارسال می کند تا پردازش را به صورت موازی انجام دهند. این رویکرد از محلیت27 داده بهره میبرد )نودها بر روی بخشی از داده کار میکنند که در دسترشان قرار دارد( بدین ترتیب داده ها سریعتر و کاراتر از وقتی که از یک معماری متکی بر  ابررایانه21 که از سیستم فایل موازی استفاده کرده و محاسبه و داده را از طریق یک شبکه پرسرعت به هم وصل میکند، پردازش می شوند.

چارچوب هادوپ همانطور که گفته شد به زبان جاوا نوشته شده است، اما کاربران نهایی می توانند در کار با هادوپ، هر زبان برنامه نویسی ای را برای پیاده سازی بخش های نگاشت و کاهش به کار ببرند.

چارچوب اصلی هادوپ در ساده ترین صورت از ماژول های زیر تشکیل شده است) لازم به ذکر می باشد در طول زمان هسته اصلی هادوپ مرتبا تغییر نموده و هم اینک نیز در حال توسعه می باشد(:

  • بخش مشترکات هادوپ: شامل کتابخانه ها و ابزارهای لازم توسط دیگر ماژول های هادوپ است.
  • سیستم فایل توزیع شده هادوپ (HDFS) : یک سیستم فایل توزیع شده است که داده را بر روی ماشین های خوشه ها ذخیره کرده و پهنای باند وسیعی را به وجود می آورد.
  • موتور نگاشت/کاهش : یک مدل برنامه نویسی برای پردازش داده در مقیاس های بالا است.

در واقع هادوپ یک سیستم فایل توزیع شده تهیه میکند که می تواند داده را بر روی هزاران سرور ذخیره کند ،و وظایف را بر روی این ماشین ها پخش کرده و فعالیت های پردازشی را روی آنها از طریق سیستم نگاشت/کاهش به انجام برساند. تصویر زیر ساختار اصلی سیستم هادوپ را نمایش می دهد.

 

 

سیستم فایل توزیع شده هادوپ ، فایلهای بزرگ )در حد گیگابایت تا ترابایت( را روی چندین ماشین مختلف نگهداری می کند. به وسیله تکرار21 داده ها روی چندین میزبان31، قابلیت اطمینان31 حاصل می شود و در نتیجه نیازی به ابزارهای ذخیره سازی و یا آرایه چندگانه دیسک های مستقل 32نیست. ساختار سیستم فایل مورد استفاده در سیستم هادوپ در تصویر پایین نمایش داده شده است.

 

به منظور حفظ حالت توازن داده ها، جابه‌جایی نسخه های کپی بین یکدیگر و نگهداری تعداد تکرار داده های مختلف داده گره ها با یکدیگر صحبت می کنند. 

با افـــــــزودن امکاناتی از جمـــله گره های نام ثانویه[4]، قابلیت دسترسی بالا34، هادوپ به نسخهHDFS 2.X  ارتقا پیدا کرده و این روند و توسعه به خاطر نیاز بازار همچنان در حال تغییر و توسعه می باشد.

 

[1] Open Source

[2] Map/Reduce Locality 27

[3] Cluster Hadoop Distributed File System 25

[4] Secondary Name Node High Availability 34

آخرین ویرایش در شنبه, 11 آذر 1396 ساعت 07:12

نظر دادن

از پر شدن تمامی موارد الزامی ستاره‌دار (*) اطمینان حاصل کنید. کد HTML مجاز نیست.

تهران ، خ کارگر شمالی ، کوچه اشراقی ، خیابان هئیت ، ساختمان گرد آفرید، پارک علم و فناوری دانشگاه تربیت مدرس تهران، پ 15 شماره تماس : 02166582371

درباره ما

امروزه بهره گیری از فناوری اطلاعات در امر یادگیری و یاد دهی یکی از ضرورت های انکارناپذیر است. کاربست فناوری در یادگیری و یاددهی در سطوح مختلف صورت می پذیرد. در آینده کسانی موفق خواهند بود که یاد بگیرند، چگونه یاد بگیرند. روند رشد فناوری اطلاعات و ارتباطات به عبارت دقیق تر فناوری های دانش کاربست آنها در فضاهای یادگیری را اجتناب ناپذیر نموده است. ادامه ..

آمار بازدید

امروز82
دیروز191
این هفته1598
این ماه3699
مجموع109729

4
آنلاین
یکشنبه, 30 دی 1397 11:17
توسعه یافته توسط مارال وب