kprobes: Unpoison stack in jprobe_return() for KASAN
[cascardo/linux.git] / arch / arm64 / kernel / efi-entry.S
1 /*
2  * EFI entry point.
3  *
4  * Copyright (C) 2013, 2014 Red Hat, Inc.
5  * Author: Mark Salter <msalter@redhat.com>
6  *
7  * This program is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License version 2 as
9  * published by the Free Software Foundation.
10  *
11  */
12 #include <linux/linkage.h>
13 #include <linux/init.h>
14
15 #include <asm/assembler.h>
16
17 #define EFI_LOAD_ERROR 0x8000000000000001
18
19         __INIT
20
21         /*
22          * We arrive here from the EFI boot manager with:
23          *
24          *    * CPU in little-endian mode
25          *    * MMU on with identity-mapped RAM
26          *    * Icache and Dcache on
27          *
28          * We will most likely be running from some place other than where
29          * we want to be. The kernel image wants to be placed at TEXT_OFFSET
30          * from start of RAM.
31          */
32 ENTRY(entry)
33         /*
34          * Create a stack frame to save FP/LR with extra space
35          * for image_addr variable passed to efi_entry().
36          */
37         stp     x29, x30, [sp, #-32]!
38         mov     x29, sp
39
40         /*
41          * Call efi_entry to do the real work.
42          * x0 and x1 are already set up by firmware. Current runtime
43          * address of image is calculated and passed via *image_addr.
44          *
45          * unsigned long efi_entry(void *handle,
46          *                         efi_system_table_t *sys_table,
47          *                         unsigned long *image_addr) ;
48          */
49         adrp    x8, _text
50         add     x8, x8, #:lo12:_text
51         add     x2, sp, 16
52         str     x8, [x2]
53         bl      efi_entry
54         cmn     x0, #1
55         b.eq    efi_load_fail
56
57         /*
58          * efi_entry() will have copied the kernel image if necessary and we
59          * return here with device tree address in x0 and the kernel entry
60          * point stored at *image_addr. Save those values in registers which
61          * are callee preserved.
62          */
63         mov     x20, x0         // DTB address
64         ldr     x0, [sp, #16]   // relocated _text address
65         ldr     w21, =stext_offset
66         add     x21, x0, x21
67
68         /*
69          * Calculate size of the kernel Image (same for original and copy).
70          */
71         adrp    x1, _text
72         add     x1, x1, #:lo12:_text
73         adrp    x2, _edata
74         add     x2, x2, #:lo12:_edata
75         sub     x1, x2, x1
76
77         /*
78          * Flush the copied Image to the PoC, and ensure it is not shadowed by
79          * stale icache entries from before relocation.
80          */
81         bl      __flush_dcache_area
82         ic      ialluis
83
84         /*
85          * Ensure that the rest of this function (in the original Image) is
86          * visible when the caches are disabled. The I-cache can't have stale
87          * entries for the VA range of the current image, so no maintenance is
88          * necessary.
89          */
90         adr     x0, entry
91         adr     x1, entry_end
92         sub     x1, x1, x0
93         bl      __flush_dcache_area
94
95         /* Turn off Dcache and MMU */
96         mrs     x0, CurrentEL
97         cmp     x0, #CurrentEL_EL2
98         b.ne    1f
99         mrs     x0, sctlr_el2
100         bic     x0, x0, #1 << 0 // clear SCTLR.M
101         bic     x0, x0, #1 << 2 // clear SCTLR.C
102         msr     sctlr_el2, x0
103         isb
104         b       2f
105 1:
106         mrs     x0, sctlr_el1
107         bic     x0, x0, #1 << 0 // clear SCTLR.M
108         bic     x0, x0, #1 << 2 // clear SCTLR.C
109         msr     sctlr_el1, x0
110         isb
111 2:
112         /* Jump to kernel entry point */
113         mov     x0, x20
114         mov     x1, xzr
115         mov     x2, xzr
116         mov     x3, xzr
117         br      x21
118
119 efi_load_fail:
120         mov     x0, #EFI_LOAD_ERROR
121         ldp     x29, x30, [sp], #32
122         ret
123
124 entry_end:
125 ENDPROC(entry)