Auaunaga

Spark Streaming masini fa'amama fa'amaumauga
(I) DStream ma RDD
E pei ona tatou iloa, Spark Streaming computation e faʻavae i luga ole Spark Core, ma o le autu ole Spark Core o le RDD, o lea e tatau ai ona fesoʻotaʻi le Spark Streaming ma le RDD.Ae ui i lea, o le Spark Streaming e le faʻatagaina tagata faʻaoga e faʻaoga saʻo le RDD, ae o se seti o manatu DStream, DStream ma RDD e aofia ai sootaga, e mafai ona e malamalama i ai o le mamanu teuteu i Java, o lona uiga, DStream o se faʻaleleia o le RDD, ae o le amio e tutusa ma le RDD.
DStream ma RDD e iai uma tulaga.
(1) e iai ni suiga tutusa, e pei o le faʻafanua, reduceByKey, ma isi, ae faʻapea foʻi ma nisi tulaga ese, pei o Window, mapWithStated, ma isi.
(2) o loʻo i ai uma gaioiga faʻatinoga, pei ole foreachRDD, faitau, ma isi.
Ole fa'ata'ita'iga fa'apolokalame e fa'atutusa.
(B) Folasaga o DStream i Spark Streaming
DStream e tele vasega.
(1) Vasega fa'amaumauga, pei ole InputDStream, fa'apitoa e pei o DirectKafkaInputStream, ma isi.
(2) Vasega liua, e masani lava MappedDStream, ShuffledDStream
(3) vasega fa'atino, e pei o le ForEachDStream
Mai luga, o faʻamatalaga mai le amataga (faʻapipiʻi) e oʻo i le faʻaiʻuga (output) e faia e le DStream system, o lona uiga e masani lava e le mafai e le tagata faʻaoga ona faʻapipiʻi saʻo ma faʻaogaina RDDs, o lona uiga o le DStream o loʻo i ai le avanoa ma le matafaioi e avea ai. e nafa ma le taamilosaga o le olaga o RDDs.
I se isi faaupuga, Spark Streaming e iai lefa'amamaina otometigaluega faatino.
(iii) Le fa'agasologa ole fa'atupuina ole RDD ile Spark Streaming
Ole tafega ole olaga ole RDD ile Spark Streaming e faigata e pei ona taua i lalo.
(1) I totonu o le InputDStream, o faʻamaumauga na maua ua liua i le RDD, pei o DirectKafkaInputStream, lea e gaosia ai KafkaRDD.
(2) ona ala lea i MappedDStream ma isi faʻaliliuga faʻamatalaga, o le taimi lenei e taʻua saʻo RDD e fetaui ma le auala faʻafanua mo le liua
(3) I le faʻatinoga o le vasega, naʻo le taimi e faʻaalia ai le RDD, e mafai ona e faʻatagaina le tagata faʻaoga e faʻatino le teuina tutusa, isi faʻatusatusaga, ma isi gaioiga.