虚拟存储（虚拟存储技术）

　　虚拟存储（虚拟存储技术）云与虚拟化
　　云计算是通过Internet服务的方式提供动态可伸缩资源的计算模式，经过多年的发展已成为企业IT技术的重要支撑。虚拟化是云计算的核心技术之一，将一台计算机抽象为多台逻辑计算机，即虚拟机，每个虚拟机是一个单独安全的环境，可运行不同的操作系统且互不影响。
　　虚拟化技术给资源使用和调度带来了极大便利，云计算系统可以根据负载情况及时进行资源调度，在提升资源利用率的同时保证应用和服务不会因资源不足而影响服务质量。然而虚拟化也是有代价的，对资源的抽象带来了性能损失，这也是虚拟化一直致力解决的问题。
　　虚拟化的资源抽象可以简单划分为三部分：CPU虚拟化、内存虚拟化和设备虚拟化。其中设备虚拟化已经可以实现网络、存储等设备直通虚拟机，没有性能损失；CPU虚拟化在硬件特性的支持下，执行普通指令性能与裸机相同；而内存虚拟化相比裸机，仍然存在较大差异，是当下值得关注的问题。
　　内存虚拟化
　　虚拟内存：说到内存虚拟化，就不得不提虚拟内存的概念。早期的操作系统只有物理地址且空间有限，进程使用内存时必须小心翼翼以避免覆盖其他进程的内存。为避免此问题，虚拟内存的概念被抽象出来，保证每个进程都有一块连续的、独立的虚拟内存空间。进程直接通过VA（VirtualAddress）使用内存，CPU访存时发出的VA由硬件MMU（MemoryManagementUnit）拦截并转换为PA（PhysicalAddress），VA到PA的映射使用页表进行管理，MMU在转换时会自动查询页表。
　　内存虚拟化：与虚拟内存的概念类似，一台主机上的每个虚拟机认为自己独占整个物理地址空间，因而需要对内存再做一次抽象，即内存虚拟化，保证每个虚拟机都有独立的地址空间。这样一来，在虚拟机和物理机中均有VA和PA的概念，即GVA（GuestVirtualAddress）和GPA（GuestPhysicalAddress），以及HVA（HostVirtualAddress）和HPA（HostPhysicalAddress）。虚拟机内的程序使用的是GVA，最终需要转换成HPA。两个VA到PA（GVA到GPA以及HVA到HPA）的映射同样使用页表管理，GPA到HVA一般是几段连续的线性映射，由虚拟机的管理程序VMM（VirtualMachineMonitor）进行管理。
　　进程访存需要从VA转换成PA，在引入内存虚拟化后，转换路径发生了很大的变化。原本只需要将VA转换为PA，虚拟化后转换过程变成GVAgt；GPAgt；HVAgt；HPA。路径变得更长更复杂之后，对于访存的安全和性能都带来了挑战，这两点也是内存虚拟化需要达到的目标：1）安全，即地址转换的合法性，虚拟机不能访问不属于自己的内存；2）性能，即地址转换的高效性，包括转换关系建立的开销低，以及转换过程本身的开销低。
　　经典方案
　　为达成内存虚拟化的目标，已经有很多虚拟化方案被提出，SPT（ShadowPageTable）和EPT（ExtendedPageTable）是两种典型的方案，也是大家最熟悉的方案。我们先以此为切入点，看看他们是如何工作的，然后再讨论其他的虚拟化方案。
　　SPT：由于最初的硬件只支持一层页表转换，直接用来转换虚拟机或物理机上的VA到PA都无法完成GVA到HPA的转换。因此SPT建立了一条捷径，即影子页表，直接管理GVA到HPA的映射，如下图所示。每一个影子页表实例对应虚拟机内一个进程，影子页表的建立需要VMM查询虚拟机内进程的页表。
　　由于影子页表管理的是GVA到HPA的直接映射，SPT地址转换路径与物理机路径相当，直接查询一层页表就可以完成地址转换。在使用4级页表时，转换过程如下图所示。
　　优势：SPT地址转换过程的开销低，与物理机相当。
　　劣势：
　　1）地址转换关系的建立开销很大，为保证地址转换的合法性，所有的转换关系建立，即虚拟机进程的页表修改，都会被拦截之后陷出到特权的VMM中代为执行；
　　2）影子页表本身需要占用内存，且一个影子页表只对应虚拟机内一个进程，整体会占用较多内存资源。
　　EPT：后来的硬件针对虚拟化增加了嵌套页表的支持，使得硬件可以自动完成两层页表转换。EPT即是基于硬件支持的方案，在管理GVA到GPA的虚拟机页表基础上，新增扩展页表管理GPA到HPA的映射，如下图所示。这两层页表相互独立，两层映射关系转换都由硬件自动完成。
　　由于虚拟机内各级页表（gL4，gL3，gL2，gL1）内容只是GPA，查询下一级时必须先经扩展页表（nL4，nL3，nL2，nL1）转换为HPA，使得整个转换路径很长。在两层页表均为4级时，转换过程如下图所示。
　　优势：地址转换关系的建立开销低，独立的EPT页表的存在保证了地址转换的合法性，因此虚拟机的页表可以自行修改而无需VMM的干预。
　　劣势：转换过程的开销很大，最坏情况下需要24（4444）次硬件查表转换。
　　两种经典的方案在安全上都有坚实的保证，但在性能上各有缺陷。SPT为保证地址转换的合法性在建立转换关系时付出了很大代价，而EPT虽然消除了建立转换关系的开销，转换路径却更长了。
　　其他探索
　　业界和学术界关于内存虚拟化还有很多的探索，基本思想与SPT或EPT类似，可以据此分为三类来看：
　　1）一层页表方案。与SPT类似，使用一层页表直接管理GVA到HPA的映射；
　　2）两层页表方案。与EPT类似，使用两层独立页表分别管理GVA到GPA以及GPA到HPA的映射；
　　3）混合方案。结合前两类方案，进行动态的选择。
　　DirectPaging：一层页表方案，这是Xen在早期硬件仅支持一层页表时的半虚拟化方案。相比于SPT最大的区别是，没有单独维护GVA到GPA的虚拟机页表，虚拟机知道自己处于虚拟化环境，即知道自己的页表内容是HPA。虚拟机修改页表也需要陷出，但是采用主动陷出的方式，可以batch化，而SPT则是被动拦截陷出；读取页表时只能拿到HPA，需要查一张M2P（MachinetoPhysical）表才能得到GPA。
　　DirectPaging同样使用一层页表管理GVA到HPA映射，地址转换的路径与SPT是相同的。在使用4级页表时，最坏只需4次查表。
　　优势：地址转换过程的开销低，与物理机相当。
　　劣势：
　　1）地址转换关系的建立开销很大，所有页表修改都需要主动陷出；
　　2）需要虚拟机做半虚拟化的适配，虚拟机需要感知自己的页表管理的是GVA到HPA的映射。
　　DirectSegment：两层页表方案，这是学术界基于新硬件的方案。GVA到GPA的映射管理与EPT相同，同样采用多级页表。但GPA到HPA的映射采用分段机制，GPA转换为HPA时只需要通过硬件加上一个偏移即可。
　　GPA虽然不等于HPA，但二者的映射关系十分简单，只需要DirectSegment硬件添加一个偏移，整个转换路径与物理机的路径相比差别很小，仅多了几次硬件偏移。虚拟机使用4级页表时，转换路径如下图所示，其中DS表示GPA到HPA转换的硬件支持。
　　优势：地址转换关系的建立开销低，同时转换过程的开销也很低。
　　劣势：
　　1）需要硬件支持GPA到HPA分段映射，现有的硬件不具备这样的功能；
　　2）需要分配大段连续的内存，即主机不能有太多内存碎片。
　　FlatEPT：两层页表方案，这也是学术界提出的基于新硬件的方案。整体与EPT非常相似，唯一的区别在于EPT管理GPA到HPA的使用多级页表，一般是4级，每级512项；而FlatEPT使用仅有一级的扁平页表，表项远不止512。
　　与EPT相同，虚拟机内各级页表的内容也是GPA，查询下一级时需要先经过扁平扩展页表（nL4）转换为HPA。由于扁平扩展页表只有一级，转换路径相比EPT缩短了非常多。在虚拟机内使用4级页表时，转换路径如下图所示，最坏只需9（4141）次查表。
　　优势：地址转换关系的建立开销低，同时转换过程的开销也较低。相比于DirectSegment对内存分配要求很低，只需要少量连续内存用作扁平扩展页表即可（8G规格虚拟机只需要16M）。
　　劣势：需要硬件支持扁平扩展页表，当前的硬件只支持表项为512的多级扩展页表。
　　MixSPTandEPT：混合方案，这是学术界较早提出的方案，简单而言就是动态的分时切换SPT与EPT。在虚拟机运行时监控和采集TLBmiss与PageFault的数据，在二者达到设定的阈值时进行SPT与EPT之间的切换，如下图所示：
　　TLBmiss率高于阈值T1，PageFault频率低于阈值T2时，从EPT切换到SPT
　　TLBmiss率低于阈值T1，PageFault频率高于阈值T2时，从SPT切换到EPT
　　优势：有机会充分利用SPT与EPT的优势，达到更好的性能。
　　劣势：
　　1）页表切换阈值的设定很困难，硬件配置都可能影响阈值；
　　2）SPT与EPT的切换也是有代价的，主要是SPT的销毁与重建。
　　总结
　　一层页表显著的优势是地址转换过程开销低，与物理机相同，需要解决的问题是减少地址转换建立的开销。一个可能的方向是放弃一些安全性，让页表的修改更轻量；另一个更实际的方向是在合适的场景使用，即针对页表修改不频繁的负载使用。
　　两层页表的优势是地址转换建立的开销小，虚拟机可以独立修改页表，需要考虑的问题是缩短转换路径。这个方向其实可行性很高，但是依赖新硬件的支持，短期不太可能出现符合要求的新硬件。
　　混合页表的设计初衷是希望充分利用两类页表的优势，但是做好动态的模式切换是非常困难的，负载的差异甚至硬件的差异都可能影响切换的效果。或许针对已知负载做定向的调优是一个可行的方向。
　　长远来看，如果有新硬件的加持，两层页表（尤其是FlatEPT）是比较完善的方案，地址转换可以很高效，也不需要在安全和通用性上做一些牺牲。但是短期来看，新硬件为时尚早，在一层页表方案上做进一步的探索和优化，是更加实际的。我们将会持续在内存虚拟化这条路径探索更多的可能，欢迎大家加入OpenAnolis龙蜥社区讨论交流。
　　关于作者：陶志恒（君川），2020年加入阿里云操作系统云原生底层系统团队，目前从事性能优化方向的工作。
　　原文链接：
　　http：click。aliyun。comm1000287430
　　本文为阿里云原创内容，未经允许不得转载。
　　举报评论2
　　请先登录后发表评论～
　　评论某用户1310762158赞
　　转发了回复4天前AlexText赞
　　转发了回复4天前
　　让世界看到中国青年的拼搏力量光明网154评论14小时前拉萨贡嘎机场T3航站楼投运中国经济网52评论1天前有感于奥运健儿的青春气质人民网660评论19小时前刚刚看到这里，点击刷新阿里云云栖号
　　阿里云计算有限公司
　　关注TA的热门作品Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？
　　1744阅读5天前快速界定故障：SocketTracer网络监控实践
　　632阅读6天前当Java遇上机密计算，又一段奇幻之旅开始了
　　540阅读3天前阿里云马涛：什么是操作系统的云原生？
　　424阅读5天前获国际架构顶会ATC2021最佳论文！Fuxi2。0去中心化的调度架构详解
　　374阅读4天前
　　查看更多头条热榜换一换1
　　于月仙丈夫发讣告
　　2hr人民日报评阿里女员工被侵害事件
　　3hr济南华联辞退阿里员工遭侵害涉事者
　　4hr英国学者：美国抗疫第一荒谬
　　5hr北京报告1例来京就诊肺炭疽病例
　　6hr众星悼念于月仙
　　7hr专家：本土疫情或于8月底解决
　　8hr中俄联合军演开始
　　9hr全红婵父亲：不收房产现金等捐赠
　　10hr《乡村爱情》再无谢大脚
　　精彩视频换一换
　　11：26孟晚舟事件新进展！
　　52万次播放
　　08：30孩子们终于放假，回到阔别1月的小院，来个大扫除，住着倍儿舒服
　　18万次播放
　　06：28立秋，家人团聚吃饺子，妈妈擀皮，奶奶包，宸宸跟着打下手
　　23万次播放
　　10：28马霞：用离岸人民币给美元釜底抽薪
　　24万次播放
　　09：51中美正面交锋，白宫一再出笨招？3大信号表明：美国最多扛30年
　　73万次播放