search
Giriş
Merhabalar arkadaşlar, Sitemizi programlama ile ilgilenen bütün arkadaşlarımızın Türkçe içerik konusunda çektiği sıkıntılar düşünülerek soru/cevap şeklinde bir etkileşimde bulunabilmesi için kurduk. Umuyoruz hepimiz için güzel bir deneyim olur. Hasscript Ekibi
0 oy
135 gösterim
RDD kavramı nedir? Hangi uygulamada kullanılıyor?
Veri Bilimi kategorisinde 5.7k puan

1 cevap

0 oy

Resillient Distributed Dataset: esnek dağıtık veri kümesi

RDD sparkın temel olarak aldığı ve alt yapsında kullandığı immutable (oluşturulduktan sonra değiştirilemeyen) obje koleksiyonlarıdır(collection).

Spark elimizdeki herhangi bir array veya benzeri collection yapısını mantıksal paçalara ayrılıp her bir parça üzerinde istenilen kodun çalıştırılması için hafızada bir collection topluluğu oluşturur. Topluluğun her üyesi spark üzerinde farklı bilgisayarlarda da çalıştırılır/çalıştırılabilir. 

Yazılan kod birbirini takip eden elamanları üzerinde iş yapmayı gerektiriyorsa RDD olarak kullanılamaz. Örneğin bir yıl içindeki her ay için bir kümülatif maaş toplamı isterseniz RDD kullanıp paralel hale getiremezsiniz. Temel sebep dağıtılan parçaların farklı bilgisayarda olacakları ve hangi bilgisayarda hangi parçanın olduğunu bilmemenizden olacaktır. Onun yerine her bir kaydın belirli bir oranla çarpılarak maaş artırımı hesaplanması yapmak istersek, RDD kavramı uygun bir kavram olacaktır. Sebep bir kaydın diğer kayıtlarla hesaplama anlamında bağlılığı bulunmamaktadır.

Kısaca elimizdeki bir dizinin birçok alt diziye ayrılıp farklı bilgisaylar/işlemciler tarafından kullanılmasına olanak sağlayan bir yapıdır.

5.7k puan

İlgili sorular

0 oy
2 cevap 791 gösterim
791 gösterim
In memory database nedir? ne gibi kolaylık sağlar. Spring boot projelerinde in memory database kavramı geçiyor, başka In memory database var mıdır?
9 Haziran 2020 Genel Kavramlar kategorisinde tolgacelik.art 2.0k puan sordu
1 oy
1 cevap 250 gösterim
250 gösterim
Global scope kavramı ve Scope-Lifetime farkı nedir ?
1 Kasım 2019 Genel Kavramlar kategorisinde begum22 116 puan sordu
1 oy
1 cevap 104 gösterim
104 gösterim
oracle veritabanında cursor kavramı nedir? bilgi verebilir misiniz?
12 Temmuz 2018 Veri Tabanı kategorisinde buzel 604 puan sordu
0 oy
1 cevap 332 gösterim
332 gösterim
Oracle veri tabanında "deterministic" diye bir şey gördüm. Bu ne işe yarıyor bilen var mı? Nasıl kullanılır? Avantajı -dezavantajı nedir?
8 Mayıs 2018 Veri Tabanı kategorisinde tolgacelik.art 2.0k puan sordu
0 oy
1 cevap 130 gösterim
130 gösterim 25 Nisan 2017 Genel Kavramlar kategorisinde Semih 120 puan sordu