多CPU支持下的 percpu 变量分析

蔚落 2022-08-10 08:36 57阅读 0赞

/\*

\*使用一个数组，来记录对于每个特定的CPU的变量的地址偏移量。

\*有些CPU有自己独特的技术来实现。

\*/

\#ifndef \_\_per\_cpu\_offset  
extern unsigned long \_\_per\_cpu\_offset\[NR\_CPUS\];

\#define per\_cpu\_offset(x) (\_\_per\_cpu\_offset\[x\])  
\#endif

/\*

\*使用标准方式声明多CPU共存变量时，其实是声明了per\_cpu\_\_varname这个变量名的变量。  
 \*/  
\#define per\_cpu\_var(var) per\_cpu\_\_\#\#var

/\*  
 \* 加入偏移量来取得最终的某CPU变量的位置。

\*  
 \* S390有独有的技术来实现这种偏移功能。  
 \*/  
\#ifndef SHIFT\_PERCPU\_PTR  
\#define SHIFT\_PERCPU\_PTR(\_\_p, \_\_offset) RELOC\_HIDE((\_\_p), (\_\_offset))  
\#endif

/\*

\*RELOC\_HIDE 使用ptr变量类型指针后加入相就的偏移量。

\*/

\#ifndef RELOC\_HIDE  
\# define RELOC\_HIDE(ptr, off)     /  
  (\{ unsigned long \_\_ptr;     /  
     \_\_ptr = (unsigned long) (ptr);    /  
    (typeof(ptr)) (\_\_ptr + (off)); \})  
\#endif

我们首先来看一个功能很特殊的头文件： stringify.h

\#ifndef \_\_LINUX\_STRINGIFY\_H  
\#define \_\_LINUX\_STRINGIFY\_H

/\*

\* 多级字符串化，可以使用宏的参数本身变为一个宏.  如，当编译-DFOO=bar时, \_\_stringify(FOO)  
 \* 将会其转化为宏"bar".可能有些编译器是不支持的。  
 \*/

\#define \_\_stringify\_1(x...) \#x  
\#define \_\_stringify(x...) \_\_stringify\_1(x)

\#endif /\* !\_\_LINUX\_STRINGIFY\_H \*/

\#ifdef CONFIG\_X86\_64  
\#define \_\_percpu\_seg  gs  
\#define \_\_percpu\_mov\_op  movq  
\#else  
\#define \_\_percpu\_seg  fs  
\#define \_\_percpu\_mov\_op  movl  
\#endif

\#ifdef CONFIG\_SMP  
\#define \_\_percpu\_arg(x)  "%%"\_\_stringify(\_\_percpu\_seg)":%P" \#x  
\#define \_\_my\_cpu\_offset  percpu\_read(this\_cpu\_off)  
\#else  
\#define \_\_percpu\_arg(x)  "%P" \#x  
\#endif

在多CPU环境下，\_\_percpu\_arg(x) 输出的内容是：

32bit CPU:

%%fs:%P\#x

64bit CPU:

%%gs:%P\#x

让我们再来看一段汇编代码，用来执行某一种操作，设计的比较精巧：

/\*我们可以运行一条指令（两参数），第一个参数是val,第二参数是多CPU变量存储段寄存器fs定位地址，输出结果在var变量中\*/  
extern void \_\_bad\_percpu\_size(void);

\#define percpu\_to\_op(op, var, val)   /  
do \{       /  
 typedef typeof(var) T\_\_;   / gcc功能扩展，得到了一个变量的类型。  
 if (0) \{     /  
  T\_\_ tmp\_\_;    /  
  tmp\_\_ = (val);    /  
 \}      /  
 switch (sizeof(var)) \{    /  
 case 1:      /  
  asm(op "b %1,"\_\_percpu\_arg(0)  /  
      : "+m" (var)   /  
      : "qi" ((T\_\_)(val)));  /  
  break;     /  
 case 2:      /  
  asm(op "w %1,"\_\_percpu\_arg(0)  /  
      : "+m" (var)   /  
      : "ri" ((T\_\_)(val)));  /  
  break;     /  
 case 4:      /  
  asm(op "l %1,"\_\_percpu\_arg(0)  /  
      : "+m" (var)   /  
      : "ri" ((T\_\_)(val)));  /  
  break;     /  
 case 8:      /  
  asm(op "q %1,"\_\_percpu\_arg(0)  /  
      : "+m" (var)   /  
      : "re" ((T\_\_)(val)));  /  
  break;     /  
 default: \_\_bad\_percpu\_size();   /  
 \}      /  
\} while (0)

/\*  
 \* 当percpu\_read\_stable()允许多CPU变量被缓存时，当访问这一变量，具体的值将会被缓存，percpu\_read() 使gcc装载缓存的变量  
 \* percpu\_read\_stable() 是非常高效的，同时这种缓存也跨CPU的。

\* get\_current() 和 get\_thread\_info() 来得到用户信息的方式都为

\* 单线程独立的方式，它就是由多CPU方式来实现的，因此在不同的CPU下都是稳定的。  
 \*/  
\#define percpu\_read(var) percpu\_from\_op("mov", per\_cpu\_\_\#\#var, /  
            "m" (per\_cpu\_\_\#\#var))

/\*  
 \* 必须是一个左操作数，如果不是，将有语法错误

\*/  
\#define get\_cpu\_var(var) (\*(\{    /  
 extern int simple\_identifier\_\#\#var(void); /  
 preempt\_disable();    /   
 &\_\_get\_cpu\_var(var); \}))  
\#define put\_cpu\_var(var) preempt\_enable()

/\*  
 \* 进行无左操作数指令的优化函数

\*  
 \* var可以是cpu变量的全部和局部内容，如：char,int 或 long, percpu\_read() 计算左值  
 \*  
 \* 这个函数保证了写重入是原子操作，这里用了原子指令，而没有使用重入保护。  
 \*/  
\#ifndef percpu\_read  
\# define percpu\_read(var)      /  
  (\{         /  
 typeof(per\_cpu\_var(var)) \_\_tmp\_var\_\_;    /  
 \_\_tmp\_var\_\_ = get\_cpu\_var(var);     /  
 put\_cpu\_var(var);      /  
 \_\_tmp\_var\_\_;       /  
  \})  
\#endif

/\*  
 \* smp\_processor\_id(): get the current CPU ID.  
 \*  
 \* if DEBUG\_PREEMPT is enabled the we check whether it is  
 \* used in a preemption-safe way. (smp\_processor\_id() is safe  
 \* if it's used in a preemption-off critical section, or in  
 \* a thread that is bound to the current CPU.)  
 \*  
 \* NOTE: raw\_smp\_processor\_id() is for internal use only  
 \* (smp\_processor\_id() is the preferred variant), but in rare  
 \* instances it might also be used to turn off false positives  
 \* (i.e. smp\_processor\_id() use that the debugging code reports but  
 \* which use for some reason is legal). Don't use this to hack around  
 \* the warning message, as your code might not work under PREEMPT.  
 \*/  
\#ifdef CONFIG\_DEBUG\_PREEMPT  
  extern unsigned int debug\_smp\_processor\_id(void);  
\# define smp\_processor\_id() debug\_smp\_processor\_id()  
\#else  
\# define smp\_processor\_id() raw\_smp\_processor\_id()  
\#endif

/\*  
 \* 计算当前CPU的变量的偏移量。

\* 有此系统架构将提供\_\_my\_cpu\_offset来提供高效性。

\*/  
\#ifndef \_\_my\_cpu\_offset  
\#define \_\_my\_cpu\_offset per\_cpu\_offset(raw\_smp\_processor\_id())  
\#endif  
\#ifdef CONFIG\_DEBUG\_PREEMPT  
\#define my\_cpu\_offset per\_cpu\_offset(smp\_processor\_id())  
\#else  
\#define my\_cpu\_offset \_\_my\_cpu\_offset  
\#endif

/\*

\*可以看到per\_cpu找出了某一个CPU的变量

\*\_\_get\_cpu\_var和\_\_raw\_get\_cpu\_var功能一样，得到当前CPU的偏移量。

\*/

\#define per\_cpu(var, cpu) /  
 (\*SHIFT\_PERCPU\_PTR(&per\_cpu\_var(var), per\_cpu\_offset(cpu)))  
\#define \_\_get\_cpu\_var(var) /  
 (\*SHIFT\_PERCPU\_PTR(&per\_cpu\_var(var), my\_cpu\_offset))  
\#define \_\_raw\_get\_cpu\_var(var) /  
 (\*SHIFT\_PERCPU\_PTR(&per\_cpu\_var(var), \_\_my\_cpu\_offset))