延迟写
在使用write函数向文件中写入数据的时候,并不是在调用了函数后数据就被写进了磁盘,操作系统在内核中设置了一块页缓冲区,数据会先被写入到内核的页缓冲区中,等到页缓冲区满了或者系统需要重新利用页缓冲区的时候才会将此缓冲区排入到写队列中去,待到达队首的时候,将数据真正写入到磁盘当中。这就是延迟写,延迟写会造成缓冲区中的数据和磁盘中的数据之间的不同步。
sync、fsync、fdatasync
UNIX系统提供了sync、fsync和fdatasync三个函数完成延迟写操作。
- sync函数会强制将内核中的所有修改过的缓冲区刷新,并立刻返回,不会等到实际的I/O操作完成后再返回。所以sync函数并不能保证数据一定写入到了磁盘中。在Linux中有一个名为update的守护进程会定期(几秒或几十秒)调用sync函数,来将刷新内核缓冲区。
- fsync函数会强制将内核中与fd文件相关的缓冲区刷新,并等待到实际I/O操作结束后再返回,如果实际I/O操作未结束,那么函数将一直处于阻塞状态。所以fsync函数可以保证数据一定被写入到磁盘中。
- fdatasync函数和fsync函数类似,唯一的区别就是fdatasync函数只会将文件的数据部分更新到磁盘中,而fsync函数不仅会将文件的数据部分还会将文件的属性更新到磁盘中。
在linux操作系统上,怎样保证对文件的更新内容成功持久化到硬盘?
只调用write()不够,需要调用fsync。
一般情况下,对硬盘(或者其他持久存储设备)文件的write操作,更新的只是内存中的页缓存(page cache),而脏页面不会立即更新到硬盘中,而是由操作系统统一调度,如由专门的flusher内核线程在满足一定条件时(如一定时间间隔、内存中的脏页达到一定比例)内将脏页面同步到硬盘上(放入设备的IO请求队列)。
write调用不会等到硬盘IO完成之后才返回,因此如果OS在write调用之后、硬盘同步之前崩溃,则数据可能丢失。虽然这样的时间窗口很小,但是对于需要保证事务的持久化(durability)和一致性(consistency)的数据库程序来说,write()所提供的“松散的异步语义”是不够的,通常需要OS提供的同步IO(synchronized-IO)原语即fsync来保证。fsync的功能是确保文件fd所有已修改的内容已经正确同步到硬盘上,该调用会阻塞等待直到设备报告IO完成。
|