Merhabalar arkadaşlar, Sitemizi programlama ile ilgilenen bütün arkadaşlarımızın türkçe içerik konusunda çektiği sıkıntılar düşünülerek soru/cevap şeklinde bir etkileşimde bulunabilmesi için kurduk. Umuyoruz hepimiz için güzel bir deneyim olur. Hasscript Ekibi
Birbirinden değerli Türkçe Blog yazarlarını takip edebilmek için ziyaret edebileceğiniz bir internet sitesi. yazarlar.hasscript.com
0 oy
10 gösterim
RDD kavramı nedir? Hangi uygulamada kullanılıyor?

alekta movik movik
Veri Bilimi kategorisinde (3.7k puan)

1 cevap

0 oy

Resillient Distributed Dataset: esnek dağıtık veri kümesi

RDD sparkın temel olarak aldığı ve alt yapsında kullandığı immutable (oluşturulduktan sonra değiştirilemeyen) obje koleksiyonlarıdır(collection).

Spark elimizdeki herhangi bir array veya benzeri collection yapısını mantıksal paçalara ayrılıp her bir parça üzerinde istenilen kodun çalıştırılması için hafızada bir collection topluluğu oluşturur. Topluluğun her üyesi spark üzerinde farklı bilgisayarlarda da çalıştırılır/çalıştırılabilir. 

Yazılan kod birbirini takip eden elamanları üzerinde iş yapmayı gerektiriyorsa RDD olarak kullanılamaz. Örneğin bir yıl içindeki her ay için bir kümülatif maaş toplamı isterseniz RDD kullanıp paralel hale getiremezsiniz. Temel sebep dağıtılan parçaların farklı bilgisayarda olacakları ve hangi bilgisayarda hangi parçanın olduğunu bilmemenizden olacaktır. Onun yerine her bir kaydın belirli bir oranla çarpılarak maaş artırımı hesaplanması yapmak istersek, RDD kavramı uygun bir kavram olacaktır. Sebep bir kaydın diğer kayıtlarla hesaplama anlamında bağlılığı bulunmamaktadır.

Kısaca elimizdeki bir dizinin birçok alt diziye ayrılıp farklı bilgisaylar/işlemciler tarafından kullanılmasına olanak sağlayan bir yapıdır.


alekta movik movik
önce (3.7k puan)

İlgili sorular

+1 oy
1 cevap 27 gösterim
27 gösterim 12 Temmuz Veri Tabanı kategorisinde buzel (612 puan) sordu
0 oy
1 cevap 30 gösterim
0 oy
1 cevap 51 gösterim
51 gösterim 25 Nisan 2017 Genel Kavramlar kategorisinde Semih (118 puan) sordu
0 oy
1 cevap 363 gösterim
363 gösterim 19 Şubat 2017 Genel Kavramlar kategorisinde kenan (3.7k puan) sordu
0 oy
1 cevap 52 gösterim
52 gösterim 26 Kasım 2016 Genel Kavramlar kategorisinde tolgacelik.art (1.8k puan) sordu
...