一、數(shù)據(jù)結(jié)構(gòu)中Passes和I/O cost
Passes和I/O cost
pass翻譯成“趟”。一趟過去做若干歸并。
I/O cost翻譯成“I/O開銷”。I/O是整個(gè)操作系統(tǒng)數(shù)據(jù)交換與人機(jī)交互的通道,現(xiàn)在系統(tǒng)都有可能處理大量文件,大量數(shù)據(jù)庫操作,而這些操作都依賴于系統(tǒng)的I/O性能。
BIO (Blocking I/O):同步阻塞I/O模式,數(shù)據(jù)的讀取寫入必須阻塞在一個(gè)線程內(nèi)等待其完成。這里使用那個(gè)經(jīng)典的燒開水例子,這里假設(shè)一個(gè)燒開水的場景,有一排水壺在燒開水,BIO的工作模式就是, 叫一個(gè)線程停留在一個(gè)水壺那,直到這個(gè)水壺?zé)_,才去處理下一個(gè)水壺。但是實(shí)際上線程在等待水壺?zé)_的時(shí)間段什么都沒有做。
NIO (New I/O):同時(shí)支持阻塞與非阻塞模式,但這里我們以其同步非阻塞I/O模式來說明,那么什么叫做同步非阻塞?如果還拿燒開水來說,NIO的做法是叫一個(gè)線程不斷的輪詢每個(gè)水壺的狀態(tài),看看是否有水壺的狀態(tài)發(fā)生了改變,從而進(jìn)行下一步的操作。
AIO ( Asynchronous I/O):異步非阻塞I/O模型。異步非阻塞與同步非阻塞的區(qū)別在哪里?異步非阻塞無需一個(gè)線程去輪詢所有IO操作的狀態(tài)改變,在相應(yīng)的狀態(tài)改變后,系統(tǒng)會(huì)通知對應(yīng)的線程來處理。對應(yīng)到燒開水中就是,為每個(gè)水壺上面裝了一個(gè)開關(guān),水燒開之后,水壺會(huì)自動(dòng)通知我水燒開了。
IO調(diào)用步驟
進(jìn)程中的IO調(diào)用步驟大致可以分為以下四步:
進(jìn)程向操作系統(tǒng)請求數(shù)據(jù) ;
操作系統(tǒng)把外部數(shù)據(jù)加載到內(nèi)核的緩沖區(qū)中;
操作系統(tǒng)把內(nèi)核的緩沖區(qū)拷貝到進(jìn)程的緩沖區(qū) ;
進(jìn)程獲得數(shù)據(jù)完成自己的功能 ;
當(dāng)操作系統(tǒng)在把外部數(shù)據(jù)放到進(jìn)程緩沖區(qū)的這段時(shí)間(即上述的第二,三步),如果應(yīng)用進(jìn)程是掛起等待的,那么就是同步IO,反之,就是異步IO,也就是AIO 。
延伸閱讀:
二、數(shù)據(jù)庫IO特點(diǎn)
IO有四種類型:連續(xù)讀,隨機(jī)讀,隨機(jī)寫和連續(xù)寫,連續(xù)讀寫的IO size通常比較大(128KB-1MB),主要衡量吞吐量,而隨機(jī)讀寫的IO size比較小(小于8KB),主要衡量IOPS和響應(yīng)時(shí)間。數(shù)據(jù)庫中的全表掃描是連續(xù)讀IO,索引訪問則是典型的隨機(jī)讀IO,日志文件是連續(xù)寫IO,而數(shù)據(jù)文件則是隨機(jī)寫IO。
數(shù)據(jù)庫系統(tǒng)基于傳統(tǒng)磁盤訪問特性來設(shè)計(jì),最大特點(diǎn)是日志文件采用sequential logging,數(shù)據(jù)庫中的日志文件,要求必須在事務(wù)提交時(shí)寫入到磁盤,對響應(yīng)時(shí)間的要求很高,所以設(shè)計(jì)為順序?qū)懭氲姆绞剑梢杂行Ы档痛疟P尋道花費(fèi)的時(shí)間,減少延遲時(shí)間。日志文件的順序?qū)懭耄m然是物理位置是連續(xù)的,但是并不同于傳統(tǒng)的連續(xù)寫類型,日志文件的IO size很小(通常小于4K),每個(gè)IO之間是獨(dú)立的(磁頭必須抬起來重新尋道,并等待磁盤轉(zhuǎn)動(dòng)到相應(yīng)的位置),而且間隔很短,數(shù)據(jù)庫通過log buffer(緩存)和group commit的方式(批量提交)來達(dá)到提高IO size的大小,并減少IO的次數(shù),從而得到更小的響應(yīng)延遲,所以日志文件的順序?qū)懭肟梢员徽J(rèn)為是“連續(xù)位置的隨機(jī)寫入”,更關(guān)注IOPS,而不是吞吐量。
數(shù)據(jù)文件采用in place uddate的方式,意思是數(shù)據(jù)文件的修改都是寫入到原來的位置,數(shù)據(jù)文件不同于日志文件,并不會(huì)在事務(wù)commit時(shí)寫入數(shù)據(jù)文件,只有當(dāng)數(shù)據(jù)庫發(fā)現(xiàn)dirty buffer過多或者需要做checkpoint動(dòng)作時(shí),才會(huì)刷新這些dirty buffer到相應(yīng)的位置,這是一個(gè)異步的過程,通常情況下,數(shù)據(jù)文件的隨機(jī)寫入對IO的要求并不是特別高,只要滿足checkpoint和dirty buffer的要求就可以了。