一、數(shù)據(jù)結(jié)構(gòu)中Passes和I/O cost

Passes和I/O cost

pass翻譯成“趟”。一趟過去做若干歸并。

I/O cost翻譯成“I/O開銷”。I/O是整個操作系統(tǒng)數(shù)據(jù)交換與人機(jī)交互的通道，現(xiàn)在系統(tǒng)都有可能處理大量文件，大量數(shù)據(jù)庫操作，而這些操作都依賴于系統(tǒng)的I/O性能。

BIO （Blocking I/O）：同步阻塞I/O模式，數(shù)據(jù)的讀取寫入必須阻塞在一個線程內(nèi)等待其完成。這里使用那個經(jīng)典的燒開水例子，這里假設(shè)一個燒開水的場景，有一排水壺在燒開水，BIO的工作模式就是， 叫一個線程停留在一個水壺那，直到這個水壺?zé)_，才去處理下一個水壺。但是實際上線程在等待水壺?zé)_的時間段什么都沒有做。

NIO （New I/O）：同時支持阻塞與非阻塞模式，但這里我們以其同步非阻塞I/O模式來說明，那么什么叫做同步非阻塞？如果還拿燒開水來說，NIO的做法是叫一個線程不斷的輪詢每個水壺的狀態(tài)，看看是否有水壺的狀態(tài)發(fā)生了改變，從而進(jìn)行下一步的操作。

AIO （ Asynchronous I/O）：異步非阻塞I/O模型。異步非阻塞與同步非阻塞的區(qū)別在哪里？異步非阻塞無需一個線程去輪詢所有IO操作的狀態(tài)改變，在相應(yīng)的狀態(tài)改變后，系統(tǒng)會通知對應(yīng)的線程來處理。對應(yīng)到燒開水中就是，為每個水壺上面裝了一個開關(guān)，水燒開之后，水壺會自動通知我水燒開了。

IO調(diào)用步驟

進(jìn)程中的IO調(diào)用步驟大致可以分為以下四步：

進(jìn)程向操作系統(tǒng)請求數(shù)據(jù) ;

操作系統(tǒng)把外部數(shù)據(jù)加載到內(nèi)核的緩沖區(qū)中;

操作系統(tǒng)把內(nèi)核的緩沖區(qū)拷貝到進(jìn)程的緩沖區(qū) ;

進(jìn)程獲得數(shù)據(jù)完成自己的功能 ;

當(dāng)操作系統(tǒng)在把外部數(shù)據(jù)放到進(jìn)程緩沖區(qū)的這段時間（即上述的第二，三步），如果應(yīng)用進(jìn)程是掛起等待的，那么就是同步IO，反之，就是異步IO，也就是AIO 。

延伸閱讀：

二、數(shù)據(jù)庫IO特點

IO有四種類型：連續(xù)讀，隨機(jī)讀，隨機(jī)寫和連續(xù)寫，連續(xù)讀寫的IO size通常比較大(128KB-1MB)，主要衡量吞吐量，而隨機(jī)讀寫的IO size比較小(小于8KB)，主要衡量IOPS和響應(yīng)時間。數(shù)據(jù)庫中的全表掃描是連續(xù)讀IO，索引訪問則是典型的隨機(jī)讀IO，日志文件是連續(xù)寫IO，而數(shù)據(jù)文件則是隨機(jī)寫IO。

數(shù)據(jù)庫系統(tǒng)基于傳統(tǒng)磁盤訪問特性來設(shè)計，最大特點是日志文件采用sequential logging，數(shù)據(jù)庫中的日志文件，要求必須在事務(wù)提交時寫入到磁盤，對響應(yīng)時間的要求很高，所以設(shè)計為順序?qū)懭氲姆绞剑梢杂行Ы档痛疟P尋道花費的時間，減少延遲時間。日志文件的順序?qū)懭耄m然是物理位置是連續(xù)的，但是并不同于傳統(tǒng)的連續(xù)寫類型，日志文件的IO size很小(通常小于4K),每個IO之間是獨立的(磁頭必須抬起來重新尋道，并等待磁盤轉(zhuǎn)動到相應(yīng)的位置)，而且間隔很短，數(shù)據(jù)庫通過log buffer(緩存)和group commit的方式(批量提交)來達(dá)到提高IO size的大小，并減少IO的次數(shù)，從而得到更小的響應(yīng)延遲，所以日志文件的順序?qū)懭肟梢员徽J(rèn)為是“連續(xù)位置的隨機(jī)寫入”，更關(guān)注IOPS，而不是吞吐量。

數(shù)據(jù)文件采用in place uddate的方式，意思是數(shù)據(jù)文件的修改都是寫入到原來的位置，數(shù)據(jù)文件不同于日志文件，并不會在事務(wù)commit時寫入數(shù)據(jù)文件，只有當(dāng)數(shù)據(jù)庫發(fā)現(xiàn)dirty buffer過多或者需要做checkpoint動作時，才會刷新這些dirty buffer到相應(yīng)的位置，這是一個異步的過程，通常情況下，數(shù)據(jù)文件的隨機(jī)寫入對IO的要求并不是特別高，只要滿足checkpoint和dirty buffer的要求就可以了。