国产一区二区精品-国产一区二区精品久-国产一区二区精品久久-国产一区二区精品久久91-免费毛片播放-免费毛片基地

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

手機(jī)站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時(shí)隨地免費(fèi)學(xué)

千鋒教育

掃一掃進(jìn)入千鋒手機(jī)站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時(shí)隨地免費(fèi)學(xué)習(xí)課程

當(dāng)前位置:首頁(yè)  >  技術(shù)干貨  > 【操作教程】累加器和廣播變量在哪些場(chǎng)景使用

【操作教程】累加器和廣播變量在哪些場(chǎng)景使用

來(lái)源:千鋒教育
發(fā)布人:syq
時(shí)間: 2022-07-22 17:55:00 1658483700

  累加器和廣播變量在哪些場(chǎng)景使用?累加器是分布式的并且共享只寫變量。如果在轉(zhuǎn)換運(yùn)算符中調(diào)用了累加器,并且沒(méi)有后續(xù)的動(dòng)作運(yùn)算符,則不會(huì)執(zhí)行累加器。如果后面兩次調(diào)用action操作符,累加器會(huì)被執(zhí)行兩次,導(dǎo)致過(guò)度加法。

累加器和廣播變量在哪些場(chǎng)景使用

  1、廣播變量的使用介紹

  解決的場(chǎng)景:

1

  將Driver進(jìn)程的共享數(shù)據(jù)發(fā)送給所有子節(jié)點(diǎn)的Executor進(jìn)程的每個(gè)任務(wù)。如果不使用廣播變量技術(shù),Driver端默認(rèn)會(huì)將共享數(shù)據(jù)分發(fā)給各個(gè)[Task],對(duì)網(wǎng)絡(luò)分發(fā)造成很大壓力。

  如果采用廣播變量技術(shù),Driver端的共享數(shù)據(jù)只會(huì)發(fā)送給每個(gè)[Executor]。 Executor 中的所有任務(wù)都重用這個(gè)對(duì)象。確保共享對(duì)象是[可序列化的]。因?yàn)榭绻?jié)點(diǎn)傳輸?shù)臄?shù)據(jù)必須是可序列化的。

  將共享對(duì)象廣播到Driver端的每個(gè)Executor:

  val bc = sc.broadcast(共享對(duì)象)

  在執(zhí)行器中獲得:

  bc.值

  2、累加器的使用方法

  集群中的所有 Executor 對(duì)同一個(gè)變量執(zhí)行累積操作。 Spark 目前只支持累加 [add] 操作。內(nèi)置3個(gè)累加器:【LongAccumulator】、【DoubleAccumulator】、【CollectionAccumulator】。

  如何使用整數(shù)累加器?

  在Driver端定義整數(shù)累加器并賦初值。

  acc=sc.accumulator(0)

  Executor端每次累加1

  acc+=1

  或者 acc.add(1)

2

  3、綜合案例

3

4

  以上代碼不僅練習(xí)了累加器和廣播變量在哪些場(chǎng)景使用,還練習(xí)了如何使用函數(shù)式編程(Map、Filter),如何創(chuàng)建上下文變量,以及如何使用并行性。這些練習(xí)比較全面,希望能幫助你學(xué)習(xí)更多技能。更多關(guān)于IT大數(shù)據(jù)培訓(xùn)的問(wèn)題,歡迎咨詢千鋒教育在線名師,如果想要了解我們的師資、課程、項(xiàng)目實(shí)操的話可以點(diǎn)擊咨詢課程顧問(wèn),獲取試聽資格來(lái)試聽我們的課程,在線零距離接觸千鋒教育大咖名師,讓你輕松從入門到精通。

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
請(qǐng)您保持通訊暢通,專屬學(xué)習(xí)老師24小時(shí)內(nèi)將與您1V1溝通
免費(fèi)領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
云快照與自動(dòng)備份有什么區(qū)別?

1、定義和目標(biāo)不同云快照的主要目標(biāo)是提供一種快速恢復(fù)數(shù)據(jù)的方法,它只記錄在快照時(shí)間點(diǎn)后的數(shù)據(jù)變化,而不是所有的數(shù)據(jù)。自動(dòng)備份的主要目標(biāo)...詳情>>

2023-10-14 12:48:59
服務(wù)器為什么要用Linux?

服務(wù)器為什么要用Linux作為服務(wù)器操作系統(tǒng)的優(yōu)選,Linux在眾多選擇中脫穎而出。Linux作為服務(wù)器操作系統(tǒng)的優(yōu)選,有其獨(dú)特的優(yōu)勢(shì)和特點(diǎn)。包括其...詳情>>

2023-10-14 12:34:11
ORM解決的主要問(wèn)題是什么?

ORM(對(duì)象關(guān)系映射)解決的主要問(wèn)題是將關(guān)系數(shù)據(jù)庫(kù)與面向?qū)ο缶幊讨g的映射困境。在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)中,數(shù)據(jù)以表格的形式存儲(chǔ),而在面向?qū)ο?..詳情>>

2023-10-14 12:26:19
Go為什么不支持三元運(yùn)算符?

Go為什么不支持三元運(yùn)算符Go語(yǔ)言是一種以簡(jiǎn)潔和有效性為目標(biāo)的編程語(yǔ)言,因此在設(shè)計(jì)過(guò)程中,Go的設(shè)計(jì)者刻意排除了一些他們認(rèn)為可能導(dǎo)致復(fù)雜性或...詳情>>

2023-10-14 12:12:36
IT通常說(shuō)的平臺(tái)是什么意思?

在信息技術(shù)(IT)領(lǐng)域,”平臺(tái)”這個(gè)詞有著廣泛的含義,它常常指代支持軟件應(yīng)用開發(fā)和運(yùn)行的基礎(chǔ)框架和環(huán)境。以下是對(duì)”平臺(tái)”這個(gè)概念的更深入...詳情>>

2023-10-14 11:55:36