x86, bitops: make constant-bit set/clear_bit ops faster, gcc workaround
[cascardo/linux.git] / include / asm-x86 / page.h
1 #ifndef _ASM_X86_PAGE_H
2 #define _ASM_X86_PAGE_H
3
4 #include <linux/const.h>
5
6 /* PAGE_SHIFT determines the page size */
7 #define PAGE_SHIFT      12
8 #define PAGE_SIZE       (_AC(1,UL) << PAGE_SHIFT)
9 #define PAGE_MASK       (~(PAGE_SIZE-1))
10
11 #ifdef __KERNEL__
12
13 #define __PHYSICAL_MASK         ((phys_addr_t)(1ULL << __PHYSICAL_MASK_SHIFT) - 1)
14 #define __VIRTUAL_MASK          ((1UL << __VIRTUAL_MASK_SHIFT) - 1)
15
16 /* Cast PAGE_MASK to a signed type so that it is sign-extended if
17    virtual addresses are 32-bits but physical addresses are larger
18    (ie, 32-bit PAE). */
19 #define PHYSICAL_PAGE_MASK      (((signed long)PAGE_MASK) & __PHYSICAL_MASK)
20
21 /* PTE_MASK extracts the PFN from a (pte|pmd|pud|pgd)val_t */
22 #define PTE_MASK                ((pteval_t)PHYSICAL_PAGE_MASK)
23
24 #define PMD_PAGE_SIZE           (_AC(1, UL) << PMD_SHIFT)
25 #define PMD_PAGE_MASK           (~(PMD_PAGE_SIZE-1))
26
27 #define HPAGE_SHIFT             PMD_SHIFT
28 #define HPAGE_SIZE              (_AC(1,UL) << HPAGE_SHIFT)
29 #define HPAGE_MASK              (~(HPAGE_SIZE - 1))
30 #define HUGETLB_PAGE_ORDER      (HPAGE_SHIFT - PAGE_SHIFT)
31
32 /* to align the pointer to the (next) page boundary */
33 #define PAGE_ALIGN(addr)        (((addr)+PAGE_SIZE-1)&PAGE_MASK)
34
35 #ifndef __ASSEMBLY__
36 #include <linux/types.h>
37 #endif
38
39 #ifdef CONFIG_X86_64
40 #include <asm/page_64.h>
41 #else
42 #include <asm/page_32.h>
43 #endif  /* CONFIG_X86_64 */
44
45 #define PAGE_OFFSET             ((unsigned long)__PAGE_OFFSET)
46
47 #define VM_DATA_DEFAULT_FLAGS \
48         (((current->personality & READ_IMPLIES_EXEC) ? VM_EXEC : 0 ) | \
49          VM_READ | VM_WRITE | VM_MAYREAD | VM_MAYWRITE | VM_MAYEXEC)
50
51
52 #ifndef __ASSEMBLY__
53
54 extern int page_is_ram(unsigned long pagenr);
55 extern int devmem_is_allowed(unsigned long pagenr);
56
57 extern unsigned long max_pfn_mapped;
58
59 struct page;
60
61 static inline void clear_user_page(void *page, unsigned long vaddr,
62                                 struct page *pg)
63 {
64         clear_page(page);
65 }
66
67 static inline void copy_user_page(void *to, void *from, unsigned long vaddr,
68                                 struct page *topage)
69 {
70         copy_page(to, from);
71 }
72
73 #define __alloc_zeroed_user_highpage(movableflags, vma, vaddr) \
74         alloc_page_vma(GFP_HIGHUSER | __GFP_ZERO | movableflags, vma, vaddr)
75 #define __HAVE_ARCH_ALLOC_ZEROED_USER_HIGHPAGE
76
77 typedef struct { pgdval_t pgd; } pgd_t;
78 typedef struct { pgprotval_t pgprot; } pgprot_t;
79
80 static inline pgd_t native_make_pgd(pgdval_t val)
81 {
82         return (pgd_t) { val };
83 }
84
85 static inline pgdval_t native_pgd_val(pgd_t pgd)
86 {
87         return pgd.pgd;
88 }
89
90 #if PAGETABLE_LEVELS >= 3
91 #if PAGETABLE_LEVELS == 4
92 typedef struct { pudval_t pud; } pud_t;
93
94 static inline pud_t native_make_pud(pmdval_t val)
95 {
96         return (pud_t) { val };
97 }
98
99 static inline pudval_t native_pud_val(pud_t pud)
100 {
101         return pud.pud;
102 }
103 #else   /* PAGETABLE_LEVELS == 3 */
104 #include <asm-generic/pgtable-nopud.h>
105
106 static inline pudval_t native_pud_val(pud_t pud)
107 {
108         return native_pgd_val(pud.pgd);
109 }
110 #endif  /* PAGETABLE_LEVELS == 4 */
111
112 typedef struct { pmdval_t pmd; } pmd_t;
113
114 static inline pmd_t native_make_pmd(pmdval_t val)
115 {
116         return (pmd_t) { val };
117 }
118
119 static inline pmdval_t native_pmd_val(pmd_t pmd)
120 {
121         return pmd.pmd;
122 }
123 #else  /* PAGETABLE_LEVELS == 2 */
124 #include <asm-generic/pgtable-nopmd.h>
125
126 static inline pmdval_t native_pmd_val(pmd_t pmd)
127 {
128         return native_pgd_val(pmd.pud.pgd);
129 }
130 #endif  /* PAGETABLE_LEVELS >= 3 */
131
132 static inline pte_t native_make_pte(pteval_t val)
133 {
134         return (pte_t) { .pte = val };
135 }
136
137 static inline pteval_t native_pte_val(pte_t pte)
138 {
139         return pte.pte;
140 }
141
142 #define pgprot_val(x)   ((x).pgprot)
143 #define __pgprot(x)     ((pgprot_t) { (x) } )
144
145 #ifdef CONFIG_PARAVIRT
146 #include <asm/paravirt.h>
147 #else  /* !CONFIG_PARAVIRT */
148
149 #define pgd_val(x)      native_pgd_val(x)
150 #define __pgd(x)        native_make_pgd(x)
151
152 #ifndef __PAGETABLE_PUD_FOLDED
153 #define pud_val(x)      native_pud_val(x)
154 #define __pud(x)        native_make_pud(x)
155 #endif
156
157 #ifndef __PAGETABLE_PMD_FOLDED
158 #define pmd_val(x)      native_pmd_val(x)
159 #define __pmd(x)        native_make_pmd(x)
160 #endif
161
162 #define pte_val(x)      native_pte_val(x)
163 #define __pte(x)        native_make_pte(x)
164
165 #endif  /* CONFIG_PARAVIRT */
166
167 #define __pa(x)         __phys_addr((unsigned long)(x))
168 /* __pa_symbol should be used for C visible symbols.
169    This seems to be the official gcc blessed way to do such arithmetic. */
170 #define __pa_symbol(x)  __pa(__phys_reloc_hide((unsigned long)(x)))
171
172 #define __va(x)                 ((void *)((unsigned long)(x)+PAGE_OFFSET))
173
174 #define __boot_va(x)            __va(x)
175 #define __boot_pa(x)            __pa(x)
176
177 #define virt_to_page(kaddr)     pfn_to_page(__pa(kaddr) >> PAGE_SHIFT)
178 #define pfn_to_kaddr(pfn)      __va((pfn) << PAGE_SHIFT)
179 #define virt_addr_valid(kaddr)  pfn_valid(__pa(kaddr) >> PAGE_SHIFT)
180
181 #endif  /* __ASSEMBLY__ */
182
183 #include <asm-generic/memory_model.h>
184 #include <asm-generic/page.h>
185
186 #define __HAVE_ARCH_GATE_AREA 1
187
188 #endif  /* __KERNEL__ */
189 #endif  /* _ASM_X86_PAGE_H */