Akumulatori su varijable koje se samo "dodaju" kroz asocijativnu operaciju i stoga se mogu učinkovito podržavati paralelno. Mogu se koristiti za implementaciju brojača (kao u MapReduce) ili zbrojeva. Spark izvorno podržava akumulatore numeričkih tipova, a programeri mogu dodati podršku za nove tipove.
Zašto koristimo akumulator?
Hidraulički akumulatori se koriste u širokom rasponu industrija za pohranu energije; održavati pritisak; prigušiti vibracije, pulsacije i udare; i mnogo više. Skladištenje energije – Akumulatori mogu prihvatiti, pohraniti i otpustiti energiju u obliku tekućine pod tlakom kako bi poboljšali učinkovitost vašeg hidrauličkog sustava.
Koja je razlika između emitiranja i akumulatora u Sparku?
Ključna razlika između varijable emitiranja i akumulatora je to što je varijabla emitiranja samo za čitanje, akumulator se može dodati. … Svaki radni čvor može pristupiti i dodati samo svojoj lokalnoj vrijednosti akumulatora, a samo upravljački program može pristupiti globalnoj vrijednosti.
Kako Spark akumulator radi?
Akumulatori su varijable koje se koriste za agregiranje informacija među izvršiteljima. Na primjer, ove informacije mogu se odnositi na podatke ili dijagnozu API-ja kao što je koliko je zapisa oštećeno ili koliko je puta pozvan određeni API knjižnice.
Zašto radnik varijablu akumulatora u Sparku ne bi trebao koristiti za operacije transformacije?
Akumulator će dati pogrešan izlaz. Ako zadatak tada radi sporo, Spark može pokrenuti spekulativnu kopiju tog zadatka na drugom čvoru. Presuda: Nije obrađeno. Akumulator će dati pogrešan izlaz.
