مدت زمان ماشین کاری و مقادیر مرجع در اسپارک

مدت زمان ماشین کاری و مقادیر مرجع در اسپارک

Apache Spark یک چارچوب محاسباتی خوشه ای با منبع باز است.Apache Spark به عنوان پایه معماری آن مجموعه داده های توزیع شده انعطاف پذیر (RDD)،یک مجموعه چندگانه از اقلام قابل خواندن است که در میان یک دسته از ماشین ها توزیع شده است، که در یک روش تحمل آماری نگهداری می شود.در Spark 1.x، RDD اولین وظیفه برنامه نویسی برنامه (API) بود،اما از Spark 2.x استفاده از API Dataset تشویق شده استتکنولوژی RDD همچنان API API Dataset است.  جرقه و RDD های آن در سال 2012 در واکنش به محدودیت های پارادایم محاسباتخوشه MapReduce ایجاد شده است که یک ساختار داده خطی خاص را در برنامه هایتوزیع شده ایجاد می کند: برنامه های MapReduce خواندن داده های ورودی ازروی دیسک، ترسیم عملکرد در داده ها، کاهش نتایج نقشه و نتایج ذخیره سازیشده روی دیسک. RDDs Spark به عنوان یک مجموعه کار برای برنامه های توزیع شدهکه یک فرم (عمدا) محدود از حافظه اشتراکی توزیع شده را ارائه می دهد.  جایی که ذخیره سازی توزیع شده مورد نیاز نمی باشد و سیستم فایل محلی می تواندبه جای آن استفاده شود. در چنین سناریویی، جرقه بر روی یک ماشین مجزااجرا می شود و یک هسته مجاز در هر هسته CPU .مدت زمان ماشین کاری و مقادیر مرجع در اسپارکجرک اجرای هر دو الگوریتم تکرار را تسهیل می کند که داده های چندگانه آنها رادر یک حلقه قرار می دهد و تجزیه و تحلیل داده های تعاملی / اکتشافی، یعنیپرس و جو از داده های متداول پایگاه داده، را مشاهده می کنند. تأخیر چنینبرنامه های کاربردی ممکن است در مقایسه با اجرای MapReduce چندینمرتبه کاهش یابد.  (همانطور که در Apache Hadoop پراکنده بود .در میان کلاسالگوریتم های تکراری، الگوریتم های آموزش برای سیستم های یادگیری ماشین است که انگیزه اولیه برای توسعه اسپارک آپاچی را شکل دادند .