零基礎(chǔ)學(xué)編程需要什么基礎(chǔ)?英語(yǔ)不好可以學(xué)嗎 2022-09-06
零基礎(chǔ)學(xué)編程需要什么基礎(chǔ)?英語(yǔ)不好可以學(xué)嗎?零基礎(chǔ)學(xué)習(xí)編程需要具備扎實(shí)的計(jì)算機(jī)基礎(chǔ)常識(shí),較強(qiáng)的邏輯思維、計(jì)算機(jī)操作系統(tǒng)體系結(jié)構(gòu)、計(jì)算...詳情>
爬蟲分類有哪些? 2022-09-05
通用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)中搜集網(wǎng)頁(yè),采集信息,這些網(wǎng)頁(yè)信息決定著整個(gè)引擎系統(tǒng)的內(nèi)容是否豐富,信息是否即時(shí),因此其性能的優(yōu)劣直接影響著搜索...詳情>
2022年it行業(yè)的就業(yè)方向及前景分析 2022-09-05
在2022年it主流就業(yè)方向包括前端開發(fā)、數(shù)據(jù)庫(kù)管理、大數(shù)據(jù)開發(fā)、后臺(tái)開發(fā)、嵌入式開發(fā)、AI智能和UI設(shè)計(jì)這七大方向,每個(gè)方向所需要的技能都會(huì)...詳情>
SparkStreaming消費(fèi)速度趕不上生產(chǎn)速度怎么辦? 2022-09-02
在默認(rèn)情況下,Spark Streaming 通過(guò)receiver或者Direct方式以生產(chǎn)者生產(chǎn)數(shù)據(jù)的速率接收數(shù)據(jù)。當(dāng) batch processing time > batch interval 的...詳情>
SparkStreaming一個(gè)批次有多久?一個(gè)批次有多少條數(shù)據(jù)? 2022-09-02
關(guān)于批次間隔需要結(jié)合業(yè)務(wù)來(lái)確定的,如果實(shí)時(shí)性要求高,批次間隔需要調(diào)小。 每個(gè)批次的數(shù)據(jù)量是和每天產(chǎn)生的數(shù)據(jù)量有直接關(guān)系,在計(jì)算的時(shí)候需...詳情>
批次累加 2022-09-02
UpdataStateBykey updataStateBykey是特殊的reduceByKey, 相當(dāng)于oldValue+reduceByKey(newValue1,newValue2),通過(guò)傳入一個(gè)updateFunc來(lái)實(shí)現(xiàn)...詳情>
解決數(shù)據(jù)積壓(重點(diǎn)) 2022-09-02
批處理時(shí)間<<批間隔時(shí)間:流量太小,集群閑置,浪費(fèi)資源,批處理時(shí)間>>批間隔時(shí)間:流量太大,集群繁忙,數(shù)據(jù)積壓導(dǎo)致系統(tǒng)崩潰#####通過(guò)設(shè)置sp...詳情>
SparkStreaming整合Kafka(重點(diǎn)) 2022-09-02
receiver方式 sparkStream啟動(dòng)一個(gè)單獨(dú)的線程receiver定時(shí)使用kafka高階API向kafka拉取數(shù)據(jù),并自動(dòng)地更新zk的offsets。優(yōu)點(diǎn):用戶專注于業(yè)務(wù)...詳情>
DStream 2022-09-02
DStream是Spark Streaming的基礎(chǔ)抽象,代表持續(xù)的數(shù)據(jù)流,它由一系列連續(xù)的RDD組成,一個(gè)批次間隔接收的數(shù)據(jù)只會(huì)存放在一個(gè)block中,因此每個(gè)...詳情>
SparkSQL的時(shí)間類型? 2022-09-02
SparkSQL的時(shí)間類型?SparkSQL的所有類型都在org.apache.spark.sql.types._的包下面,這個(gè)里面我們可以引入對(duì)應(yīng)的schema類型,包括事件的Date...詳情>
熱問(wèn)標(biāo)簽 更多>>
熱問(wèn)TOP榜
在線提問(wèn)
專業(yè)導(dǎo)師線上坐鎮(zhèn),解答個(gè)性化學(xué)習(xí)難題
提交問(wèn)題