一文读懂Kernel同步机制的底层实现(超详细)
原子操作
通常我们代码中的aa1这样的一行语句,翻译成汇编后蕴含着3条指令:ldrx0,aaddx0,x0,1strx0,a
即(1)从内存中读取a变量到X0寄存器(2)X0寄存器加1(3)将X0写入到内存a中
既然是3条指令,那么就有可能并发,也就意味着返回的结果可能不是预期的。
然后在linuxkernel的操作系统中,提供访问原子变量的函数,用来解决上述问题。其中部分原子操作的API如下:
atomicreadatomicaddreturn(i,v)atomicadd(i,v)atomicinc(v)atomicaddunless(v,a,u)atomicincnotzero(v)atomicsubreturn(i,v)atomicsubandtest(i,v)atomicsub(i,v)atomicdec(v)atomiccmpxchg(v,旧,新)
那么操作系统(仅仅是软件而已)是如何保证原子操作的呢?(还是得靠硬件),硬件原理是什么呢?
以上的那些API函数,在底层调用的其实都是如下lseatomicaddreturnname宏的封装,这段代码中最核心的也就是ldadd指令了,这是armv8。1增加的LSE(LargeSystemExtension)feature。(linuxarcharm64includeasmatomiclse。h)staticinlineintlseatomicaddreturnname(inti,atomictv){u32tmp;asmvolatile(LSEPREAMBLEldaddmbw〔i〕,w〔tmp〕,〔v〕addw〔i〕,w〔i〕,w〔tmp〕:〔i〕r(i),〔v〕Q(vcounter),〔tmp〕r(tmp):r(v):cl);returni;}
那么系统如果没有LSE扩展呢,即armv8。0,其实现的原型如下所示,这段代码中最核心的也就是ldxr、stxr指令了。(linuxarcharm64includeasmatomicllsc。h)staticinlinevoidllscatomicop(inti,atomictv){unsignedlongtmp;intresult;asmvolatile(atomicopLLSCFALLBACK(prfmpstl1strm,21:ldxrw0,2asmopw0,w0,w3stxrw1,w0,2cbnzw1,1b):r(result),r(tmp),Q(vcounter):stringify(constraint)r(i));}
那么在armv8。0之前呢,如armv7是怎样实现的?如下所示,这段代码中最核心的也就是ldrex、strex指令了。(linuxarcharmincludeasmatomic。h)staticinlinevoidatomicop(inti,atomictv){unsignedlongtmp;intresult;prefetchw(vcounter);asmvolatile(atomicop1:ldrex0,〔3〕asmop0,0,4strex1,0,〔3〕teq1,0bne1b:r(result),r(tmp),Qo(vcounter):r(vcounter),Ir(i):cc);}总结:
在很早期,使用arm的exclusive机制来实现的原子操作,exclusive相关的指令也就是ldrex、strex了,但在armv8后,exclusive机制的指令发生了变化变成了ldxr、stxr。但是又由于在一个大系统中,处理器是非常多的,竞争也激烈,使用独占的存储和加载指令可能要多次尝试才能成功,性能也就变得很差,在armv8。1为了解决该问题,增加了ldadd等相关的原子操作指令。
更多linux内核视频教程文档资料免费领取后台私信【内核】自行获取。
Linux内核源码内存调优文件系统进程管理设备驱动网络协议栈学习视频教程腾讯课堂自旋锁早期旋锁的设计
早期的spinlock的设计是锁的拥有者加锁时将锁的值设置为1,释放锁时将锁的值设置为0,这样做的缺点是会出现先来抢占锁的进程一直抢占不到锁,而后来的进程可能一来就能获取到锁。导致这个原因的是先抢占的进程和后抢占的进程在抢占锁时并没有一个先后关系,最终就是离锁所在的内存最近的cpu节点就有更多的机会抢占锁,离锁所在内存远的节点可能一直抢占不到。新版旋锁设计
为了解决这个spinlock的不公平问题,linux2。6。25内核以后,spinlock采用了一种FIFOticketbased算法的spinlock机制,可以很好的实现先来先抢占的思想。具体的做法如下:spinlock的核心字段有owner和next,在初始时,ownernext0当第一个进程抢占spinlock时,会在进程函数本地保存下next的值,也就是next0,并将spinlock的next字段加1;当获取spinlock的进程的本地next和spinlock的owner相等时,该进程就获取到spinlock;由于第一个进程本地的next0,并且spinlock的owner为0,所以第一个CPU获取到spinlock;接着当第二个进程抢占spinlock,此时spinlock的next值为1,保存到本地,然后将spinlock的next字段加1。而spinlock的owner字段依然为0,第二个进程的本地next不等于spinlock的owner,所以一直自旋等待spinlock;第三个进程抢占spinlock,得到本地next值为2,然后将spinlock的next字段加1。此时spinlock的owner字段还是为0,所以第三个进程自旋等待。当第一个进程处理完临界区以后,就释放spinlock,执行的操作是将spinlock的owner字段加1;由于第二个进程和第三个进程都还在等待spinlock,他们会不停第获取spinlock的owner字段,并和自己本地的next值进行比较。当第二个进程发现自己的next值和spinlock的owner字段相等时(此时nextowner2),第二个进程就获取到spinlock。第三个进程的本地next值是3,和spinlock的owner字段不相等,所以继续等待;只有在第二个进程释放了spinlock,就会将spinlock的owner字段加1,第三个进程才有机会获取spinlock。
我在举个例子,如下:
T1:进程1调用spinlock,此时next0,owner0获得该锁,在archspinlock()底层实现中,会nextT2:进程2调用spinlock,此时next1,owner0没有获得该锁,while(1)中调用wfe指令standby在那里,等待ownernext成立。T3:进程3调用spinlock,此时next2,owner0没有获得该锁,while(1)中调用wfe指令standby在那里,等待ownernext成立。T4T5:进程1调用spinunlock,此时owner,即owner1,接着调用sev指令,让进程2和进程3退出standby状态,走while(1)流程,重新检查ownernext条件。此时进程2条件成立,进程3继续等待。进程2获得该锁,进程3继续等待。LinuxKernel中的SpinLock的实现
(linuxincludelinuxspinlock。h)staticalwaysinlinevoidspinunlock(spinlocktlock){rawspinunlock(lockrlock);}staticalwaysinlinevoidspinlock(spinlocktlock){rawspinlock(lockrlock);}(linuxincludelinuxspinlock。h)definerawspinlockirq(lock)rawspinlockirq(lock)definerawspinlockbh(lock)rawspinlockbh(lock)definerawspinunlock(lock)rawspinunlock(lock)definerawspinunlockirq(lock)rawspinunlockirq(lock)definerawspinlock(lock)rawspinlock(lock)(linuxkernellockingspinlock。c)ifdefCONFIGUNINLINESPINUNLOCKvoidlockfuncrawspinunlock(rawspinlocktlock){rawspinunlock(lock);}EXPORTSYMBOL(rawspinunlock);endififndefCONFIGINLINESPINLOCKvoidlockfuncrawspinlock(rawspinlocktlock){rawspinlock(lock);}EXPORTSYMBOL(rawspinlock);endif(linuxincludelinuxspinlockapismp。h)staticinlinevoidrawspinunlock(rawspinlocktlock){spinrelease(lockdepmap,RETIP);dorawspinunlock(lock);preemptenable();}staticinlinevoidrawspinlock(rawspinlocktlock){preemptdisable();spinacquire(lockdepmap,0,0,RETIP);LOCKCONTENDED(lock,dorawspintrylock,dorawspinlock);}(linuxincludelinuxspinlock。h)staticinlinevoiddorawspinunlock(rawspinlocktlock)releases(lock){mmiowbspinunlock();archspinunlock(lockrawlock);release(lock);}staticinlinevoiddorawspinlock(rawspinlocktlock)acquires(lock){acquire(lock);archspinlock(lockrawlock);mmiowbspinlock();}
对于archspinlock()、archspinunlock()的底层实现,不同的kernel版本也一直在变化。
对于kernel4。4这个版本,还是比较好理解的,最核心的也就是ldaxr、ldaxr独占指令,以及stlrhrelease指令(linuxarcharm64includeasmspinlock。h)staticinlinevoidarchspinlock(archspinlocktlock){unsignedinttmp;archspinlocktlockval,newval;asmvolatile(Atomicallyincrementthenextticket。ARM64LSEATOMICINSN(LLSCprfmpstl1strm,31:ldaxrw0,3addw1,w0,w5stxrw2,w1,3cbnzw2,1b,LSEatomicsmovw2,w5ldaddaw2,w0,3nopnopnop)Didwegetthelock?eorw1,w0,w0,ror16cbzw1,3fNo:spinontheowner。Sendalocaleventtoavoidmissinganunlockbeforetheexclusiveload。sevl2:wfeldaxrhw2,4eorw1,w2,w0,lsr16cbnzw1,2bWegotthelock。Criticalsectionstartshere。3::r(lockval),r(newval),r(tmp),Q(lock):Q(lockowner),I(1TICKETSHIFT):memory);}staticinlinevoidarchspinunlock(archspinlocktlock){unsignedlongtmp;asmvolatile(ARM64LSEATOMICINSN(LLSCldrhw1,0addw1,w1,1stlrhw1,0,LSEatomicsmovw1,1nopstaddlhw1,0):Q(lockowner),r(tmp)::memory);}