arch/x86_64/kernel/vsyscall.c

   1 /*
   2  *  linux/arch/x86_64/kernel/vsyscall.c
   3  *
   4  *  Copyright (C) 2001 Andrea Arcangeli <andrea@suse.de> SuSE
   5  *  Copyright 2003 Andi Kleen, SuSE Labs.
   6  *
   7  *  Thanks to hpa@transmeta.com for some useful hint.
   8  *  Special thanks to Ingo Molnar for his early experience with
   9  *  a different vsyscall implementation for Linux/IA32 and for the name.
  10  *
  11  *  vsyscall 1 is located at -10Mbyte, vsyscall 2 is located
  12  *  at virtual address -10Mbyte+1024bytes etc... There are at max 4
  13  *  vsyscalls. One vsyscall can reserve more than 1 slot to avoid
  14  *  jumping out of line if necessary. We cannot add more with this
  15  *  mechanism because older kernels won't return -ENOSYS.
  16  *  If we want more than four we need a vDSO.
  17  *
  18  *  Note: the concept clashes with user mode linux. If you use UML and
  19  *  want per guest time just set the kernel.vsyscall64 sysctl to 0.
  20  */
  21
  22 #include <linux/time.h>
  23 #include <linux/init.h>
  24 #include <linux/kernel.h>
  25 #include <linux/timer.h>
  26 #include <linux/seqlock.h>
  27 #include <linux/jiffies.h>
  28 #include <linux/sysctl.h>
  29 #include <linux/clocksource.h>
  30 #include <linux/getcpu.h>
  31 #include <linux/cpu.h>
  32 #include <linux/smp.h>
  33 #include <linux/notifier.h>
  34
  35 #include <asm/vsyscall.h>
  36 #include <asm/pgtable.h>
  37 #include <asm/page.h>
  38 #include <asm/unistd.h>
  39 #include <asm/fixmap.h>
  40 #include <asm/errno.h>
  41 #include <asm/io.h>
  42 #include <asm/segment.h>
  43 #include <asm/desc.h>
  44 #include <asm/topology.h>
  45
  46 #define __vsyscall(nr) __attribute__ ((unused,__section__(".vsyscall_" #nr)))
  47 #define __syscall_clobber "r11","rcx","memory"
  48 #define __pa_vsymbol(x)                 \
  49         ({unsigned long v;              \
  50         extern char __vsyscall_0;       \
  51           asm("" : "=r" (v) : "0" (x)); \
  52           ((v - VSYSCALL_FIRST_PAGE) + __pa_symbol(&__vsyscall_0)); })
  53
  54 /*
  55  * vsyscall_gtod_data contains data that is :
  56  * - readonly from vsyscalls
  57  * - writen by timer interrupt or systcl (/proc/sys/kernel/vsyscall64)
  58  * Try to keep this structure as small as possible to avoid cache line ping pongs
  59  */
  60 struct vsyscall_gtod_data_t {
  61         seqlock_t       lock;
  62
  63         /* open coded 'struct timespec' */
  64         time_t          wall_time_sec;
  65         u32             wall_time_nsec;
  66
  67         int             sysctl_enabled;
  68         struct timezone sys_tz;
  69         struct { /* extract of a clocksource struct */
  70                 cycle_t (*vread)(void);
  71                 cycle_t cycle_last;
  72                 cycle_t mask;
  73                 u32     mult;
  74                 u32     shift;
  75         } clock;
  76 };
  77 int __vgetcpu_mode __section_vgetcpu_mode;
  78
  79 struct vsyscall_gtod_data_t __vsyscall_gtod_data __section_vsyscall_gtod_data =
  80 {
  81         .lock = SEQLOCK_UNLOCKED,
  82         .sysctl_enabled = 1,
  83 };
  84
  85 void update_vsyscall(struct timespec *wall_time, struct clocksource *clock)
  86 {
  87         unsigned long flags;
  88
  89         write_seqlock_irqsave(&vsyscall_gtod_data.lock, flags);
  90         /* copy vsyscall data */
  91         vsyscall_gtod_data.clock.vread = clock->vread;
  92         vsyscall_gtod_data.clock.cycle_last = clock->cycle_last;
  93         vsyscall_gtod_data.clock.mask = clock->mask;
  94         vsyscall_gtod_data.clock.mult = clock->mult;
  95         vsyscall_gtod_data.clock.shift = clock->shift;
  96         vsyscall_gtod_data.wall_time_sec = wall_time->tv_sec;
  97         vsyscall_gtod_data.wall_time_nsec = wall_time->tv_nsec;
  98         vsyscall_gtod_data.sys_tz = sys_tz;
  99         write_sequnlock_irqrestore(&vsyscall_gtod_data.lock, flags);
 100 }
 101
 102 /* RED-PEN may want to readd seq locking, but then the variable should be
 103  * write-once.
 104  */
 105 static __always_inline void do_get_tz(struct timezone * tz)
 106 {
 107         *tz = __vsyscall_gtod_data.sys_tz;
 108 }
 109
 110 static __always_inline int gettimeofday(struct timeval *tv, struct timezone *tz)
 111 {
 112         int ret;
 113         asm volatile("vsysc2: syscall"
 114                 : "=a" (ret)
 115                 : "0" (__NR_gettimeofday),"D" (tv),"S" (tz)
 116                 : __syscall_clobber );
 117         return ret;
 118 }
 119
 120 static __always_inline long time_syscall(long *t)
 121 {
 122         long secs;
 123         asm volatile("vsysc1: syscall"
 124                 : "=a" (secs)
 125                 : "0" (__NR_time),"D" (t) : __syscall_clobber);
 126         return secs;
 127 }
 128
 129 static __always_inline void do_vgettimeofday(struct timeval * tv)
 130 {
 131         cycle_t now, base, mask, cycle_delta;
 132         unsigned seq;
 133         unsigned long mult, shift, nsec;
 134         cycle_t (*vread)(void);
 135         do {
 136                 seq = read_seqbegin(&__vsyscall_gtod_data.lock);
 137
 138                 vread = __vsyscall_gtod_data.clock.vread;
 139                 if (unlikely(!__vsyscall_gtod_data.sysctl_enabled || !vread)) {
 140                         gettimeofday(tv,NULL);
 141                         return;
 142                 }
 143                 now = vread();
 144                 base = __vsyscall_gtod_data.clock.cycle_last;
 145                 mask = __vsyscall_gtod_data.clock.mask;
 146                 mult = __vsyscall_gtod_data.clock.mult;
 147                 shift = __vsyscall_gtod_data.clock.shift;
 148
 149                 tv->tv_sec = __vsyscall_gtod_data.wall_time_sec;
 150                 nsec = __vsyscall_gtod_data.wall_time_nsec;
 151         } while (read_seqretry(&__vsyscall_gtod_data.lock, seq));
 152
 153         /* calculate interval: */
 154         cycle_delta = (now - base) & mask;
 155         /* convert to nsecs: */
 156         nsec += (cycle_delta * mult) >> shift;
 157
 158         while (nsec >= NSEC_PER_SEC) {
 159                 tv->tv_sec += 1;
 160                 nsec -= NSEC_PER_SEC;
 161         }
 162         tv->tv_usec = nsec / NSEC_PER_USEC;
 163 }
 164
 165 int __vsyscall(0) vgettimeofday(struct timeval * tv, struct timezone * tz)
 166 {
 167         if (tv)
 168                 do_vgettimeofday(tv);
 169         if (tz)
 170                 do_get_tz(tz);
 171         return 0;
 172 }
 173
 174 /* This will break when the xtime seconds get inaccurate, but that is
 175  * unlikely */
 176 time_t __vsyscall(1) vtime(time_t *t)
 177 {
 178         time_t result;
 179         if (unlikely(!__vsyscall_gtod_data.sysctl_enabled))
 180                 return time_syscall(t);
 181         result = __vsyscall_gtod_data.wall_time_sec;
 182         if (t)
 183                 *t = result;
 184         return result;
 185 }
 186
 187 /* Fast way to get current CPU and node.
 188    This helps to do per node and per CPU caches in user space.
 189    The result is not guaranteed without CPU affinity, but usually
 190    works out because the scheduler tries to keep a thread on the same
 191    CPU.
 192
 193    tcache must point to a two element sized long array.
 194    All arguments can be NULL. */
 195 long __vsyscall(2)
 196 vgetcpu(unsigned *cpu, unsigned *node, struct getcpu_cache *tcache)
 197 {
 198         unsigned int dummy, p;
 199         unsigned long j = 0;
 200
 201         /* Fast cache - only recompute value once per jiffies and avoid
 202            relatively costly rdtscp/cpuid otherwise.
 203            This works because the scheduler usually keeps the process
 204            on the same CPU and this syscall doesn't guarantee its
 205            results anyways.
 206            We do this here because otherwise user space would do it on
 207            its own in a likely inferior way (no access to jiffies).
 208            If you don't like it pass NULL. */
 209         if (tcache && tcache->blob[0] == (j = __jiffies)) {
 210                 p = tcache->blob[1];
 211         } else if (__vgetcpu_mode == VGETCPU_RDTSCP) {
 212                 /* Load per CPU data from RDTSCP */
 213                 rdtscp(dummy, dummy, p);
 214         } else {
 215                 /* Load per CPU data from GDT */
 216                 asm("lsl %1,%0" : "=r" (p) : "r" (__PER_CPU_SEG));
 217         }
 218         if (tcache) {
 219                 tcache->blob[0] = j;
 220                 tcache->blob[1] = p;
 221         }
 222         if (cpu)
 223                 *cpu = p & 0xfff;
 224         if (node)
 225                 *node = p >> 12;
 226         return 0;
 227 }
 228
 229 long __vsyscall(3) venosys_1(void)
 230 {
 231         return -ENOSYS;
 232 }
 233
 234 #ifdef CONFIG_SYSCTL
 235
 236 #define SYSCALL 0x050f
 237 #define NOP2    0x9090
 238
 239 /*
 240  * NOP out syscall in vsyscall page when not needed.
 241  */
 242 static int vsyscall_sysctl_change(ctl_table *ctl, int write, struct file * filp,
 243                         void __user *buffer, size_t *lenp, loff_t *ppos)
 244 {
 245         extern u16 vsysc1, vsysc2;
 246         u16 __iomem *map1;
 247         u16 __iomem *map2;
 248         int ret = proc_dointvec(ctl, write, filp, buffer, lenp, ppos);
 249         if (!write)
 250                 return ret;
 251         /* gcc has some trouble with __va(__pa()), so just do it this
 252            way. */
 253         map1 = ioremap(__pa_vsymbol(&vsysc1), 2);
 254         if (!map1)
 255                 return -ENOMEM;
 256         map2 = ioremap(__pa_vsymbol(&vsysc2), 2);
 257         if (!map2) {
 258                 ret = -ENOMEM;
 259                 goto out;
 260         }
 261         if (!vsyscall_gtod_data.sysctl_enabled) {
 262                 writew(SYSCALL, map1);
 263                 writew(SYSCALL, map2);
 264         } else {
 265                 writew(NOP2, map1);
 266                 writew(NOP2, map2);
 267         }
 268         iounmap(map2);
 269 out:
 270         iounmap(map1);
 271         return ret;
 272 }
 273
 274 static int vsyscall_sysctl_nostrat(ctl_table *t, int __user *name, int nlen,
 275                                 void __user *oldval, size_t __user *oldlenp,
 276                                 void __user *newval, size_t newlen)
 277 {
 278         return -ENOSYS;
 279 }
 280
 281 static ctl_table kernel_table2[] = {
 282         { .ctl_name = 99, .procname = "vsyscall64",
 283           .data = &vsyscall_gtod_data.sysctl_enabled, .maxlen = sizeof(int),
 284           .mode = 0644,
 285           .strategy = vsyscall_sysctl_nostrat,
 286           .proc_handler = vsyscall_sysctl_change },
 287         {}
 288 };
 289
 290 static ctl_table kernel_root_table2[] = {
 291         { .ctl_name = CTL_KERN, .procname = "kernel", .mode = 0555,
 292           .child = kernel_table2 },
 293         {}
 294 };
 295
 296 #endif
 297
 298 /* Assume __initcall executes before all user space. Hopefully kmod
 299    doesn't violate that. We'll find out if it does. */
 300 static void __cpuinit vsyscall_set_cpu(int cpu)
 301 {
 302         unsigned long *d;
 303         unsigned long node = 0;
 304 #ifdef CONFIG_NUMA
 305         node = cpu_to_node[cpu];
 306 #endif
 307         if (cpu_has(&cpu_data[cpu], X86_FEATURE_RDTSCP))
 308                 write_rdtscp_aux((node << 12) | cpu);
 309
 310         /* Store cpu number in limit so that it can be loaded quickly
 311            in user space in vgetcpu.
 312            12 bits for the CPU and 8 bits for the node. */
 313         d = (unsigned long *)(cpu_gdt(cpu) + GDT_ENTRY_PER_CPU);
 314         *d = 0x0f40000000000ULL;
 315         *d |= cpu;
 316         *d |= (node & 0xf) << 12;
 317         *d |= (node >> 4) << 48;
 318 }
 319
 320 static void __cpuinit cpu_vsyscall_init(void *arg)
 321 {
 322         /* preemption should be already off */
 323         vsyscall_set_cpu(raw_smp_processor_id());
 324 }
 325
 326 static int __cpuinit
 327 cpu_vsyscall_notifier(struct notifier_block *n, unsigned long action, void *arg)
 328 {
 329         long cpu = (long)arg;
 330         if (action == CPU_ONLINE)
 331                 smp_call_function_single(cpu, cpu_vsyscall_init, NULL, 0, 1);
 332         return NOTIFY_DONE;
 333 }
 334
 335 static void __init map_vsyscall(void)
 336 {
 337         extern char __vsyscall_0;
 338         unsigned long physaddr_page0 = __pa_symbol(&__vsyscall_0);
 339
 340         /* Note that VSYSCALL_MAPPED_PAGES must agree with the code below. */
 341         __set_fixmap(VSYSCALL_FIRST_PAGE, physaddr_page0, PAGE_KERNEL_VSYSCALL);
 342 }
 343
 344 static int __init vsyscall_init(void)
 345 {
 346         BUG_ON(((unsigned long) &vgettimeofday !=
 347                         VSYSCALL_ADDR(__NR_vgettimeofday)));
 348         BUG_ON((unsigned long) &vtime != VSYSCALL_ADDR(__NR_vtime));
 349         BUG_ON((VSYSCALL_ADDR(0) != __fix_to_virt(VSYSCALL_FIRST_PAGE)));
 350         BUG_ON((unsigned long) &vgetcpu != VSYSCALL_ADDR(__NR_vgetcpu));
 351         map_vsyscall();
 352 #ifdef CONFIG_SYSCTL
 353         register_sysctl_table(kernel_root_table2);
 354 #endif
 355         on_each_cpu(cpu_vsyscall_init, NULL, 0, 1);
 356         hotcpu_notifier(cpu_vsyscall_notifier, 0);
 357         return 0;
 358 }
 359
 360 __initcall(vsyscall_init);