ARM: OMAP2+: Fix l2dis_3630 for rodata
[cascardo/linux.git] / arch / arm / mach-omap2 / sleep34xx.S
1 /*
2  * (C) Copyright 2007
3  * Texas Instruments
4  * Karthik Dasu <karthik-dp@ti.com>
5  *
6  * (C) Copyright 2004
7  * Texas Instruments, <www.ti.com>
8  * Richard Woodruff <r-woodruff2@ti.com>
9  *
10  * This program is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU General Public License as
12  * published by the Free Software Foundation; either version 2 of
13  * the License, or (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR /PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 59 Temple Place, Suite 330, Boston,
23  * MA 02111-1307 USA
24  */
25 #include <linux/linkage.h>
26
27 #include <asm/assembler.h>
28
29 #include "omap34xx.h"
30 #include "iomap.h"
31 #include "cm3xxx.h"
32 #include "prm3xxx.h"
33 #include "sdrc.h"
34 #include "sram.h"
35 #include "control.h"
36
37 /*
38  * Registers access definitions
39  */
40 #define SDRC_SCRATCHPAD_SEM_OFFS        0xc
41 #define SDRC_SCRATCHPAD_SEM_V   OMAP343X_SCRATCHPAD_REGADDR\
42                                         (SDRC_SCRATCHPAD_SEM_OFFS)
43 #define PM_PREPWSTST_CORE_P     OMAP3430_PRM_BASE + CORE_MOD +\
44                                         OMAP3430_PM_PREPWSTST
45 #define PM_PWSTCTRL_MPU_P       OMAP3430_PRM_BASE + MPU_MOD + OMAP2_PM_PWSTCTRL
46 #define CM_IDLEST1_CORE_V       OMAP34XX_CM_REGADDR(CORE_MOD, CM_IDLEST1)
47 #define CM_IDLEST_CKGEN_V       OMAP34XX_CM_REGADDR(PLL_MOD, CM_IDLEST)
48 #define SRAM_BASE_P             OMAP3_SRAM_PA
49 #define CONTROL_STAT            OMAP343X_CTRL_BASE + OMAP343X_CONTROL_STATUS
50 #define CONTROL_MEM_RTA_CTRL    (OMAP343X_CTRL_BASE +\
51                                         OMAP36XX_CONTROL_MEM_RTA_CTRL)
52
53 /* Move this as correct place is available */
54 #define SCRATCHPAD_MEM_OFFS     0x310
55 #define SCRATCHPAD_BASE_P       (OMAP343X_CTRL_BASE +\
56                                         OMAP343X_CONTROL_MEM_WKUP +\
57                                         SCRATCHPAD_MEM_OFFS)
58 #define SDRC_POWER_V            OMAP34XX_SDRC_REGADDR(SDRC_POWER)
59 #define SDRC_SYSCONFIG_P        (OMAP343X_SDRC_BASE + SDRC_SYSCONFIG)
60 #define SDRC_MR_0_P             (OMAP343X_SDRC_BASE + SDRC_MR_0)
61 #define SDRC_EMR2_0_P           (OMAP343X_SDRC_BASE + SDRC_EMR2_0)
62 #define SDRC_MANUAL_0_P         (OMAP343X_SDRC_BASE + SDRC_MANUAL_0)
63 #define SDRC_MR_1_P             (OMAP343X_SDRC_BASE + SDRC_MR_1)
64 #define SDRC_EMR2_1_P           (OMAP343X_SDRC_BASE + SDRC_EMR2_1)
65 #define SDRC_MANUAL_1_P         (OMAP343X_SDRC_BASE + SDRC_MANUAL_1)
66 #define SDRC_DLLA_STATUS_V      OMAP34XX_SDRC_REGADDR(SDRC_DLLA_STATUS)
67 #define SDRC_DLLA_CTRL_V        OMAP34XX_SDRC_REGADDR(SDRC_DLLA_CTRL)
68
69 /*
70  * This file needs be built unconditionally as ARM to interoperate correctly
71  * with non-Thumb-2-capable firmware.
72  */
73         .arm
74
75 /*
76  * API functions
77  */
78
79         .text
80 /*
81  * L2 cache needs to be toggled for stable OFF mode functionality on 3630.
82  * This function sets up a flag that will allow for this toggling to take
83  * place on 3630. Hopefully some version in the future may not need this.
84  */
85 ENTRY(enable_omap3630_toggle_l2_on_restore)
86         stmfd   sp!, {lr}       @ save registers on stack
87         /* Setup so that we will disable and enable l2 */
88         mov     r1, #0x1
89         adrl    r3, l2dis_3630_offset   @ may be too distant for plain adr
90         ldr     r2, [r3]                @ value for offset
91         str     r1, [r2, r3]            @ write to l2dis_3630
92         ldmfd   sp!, {pc}       @ restore regs and return
93 ENDPROC(enable_omap3630_toggle_l2_on_restore)
94
95         .text
96 /* Function to call rom code to save secure ram context */
97         .align  3
98 ENTRY(save_secure_ram_context)
99         stmfd   sp!, {r4 - r11, lr}     @ save registers on stack
100         adr     r3, api_params          @ r3 points to parameters
101         str     r0, [r3,#0x4]           @ r0 has sdram address
102         ldr     r12, high_mask
103         and     r3, r3, r12
104         ldr     r12, sram_phy_addr_mask
105         orr     r3, r3, r12
106         mov     r0, #25                 @ set service ID for PPA
107         mov     r12, r0                 @ copy secure service ID in r12
108         mov     r1, #0                  @ set task id for ROM code in r1
109         mov     r2, #4                  @ set some flags in r2, r6
110         mov     r6, #0xff
111         dsb                             @ data write barrier
112         dmb                             @ data memory barrier
113         smc     #1                      @ call SMI monitor (smi #1)
114         nop
115         nop
116         nop
117         nop
118         ldmfd   sp!, {r4 - r11, pc}
119         .align
120 sram_phy_addr_mask:
121         .word   SRAM_BASE_P
122 high_mask:
123         .word   0xffff
124 api_params:
125         .word   0x4, 0x0, 0x0, 0x1, 0x1
126 ENDPROC(save_secure_ram_context)
127 ENTRY(save_secure_ram_context_sz)
128         .word   . - save_secure_ram_context
129
130 /*
131  * ======================
132  * == Idle entry point ==
133  * ======================
134  */
135
136 /*
137  * Forces OMAP into idle state
138  *
139  * omap34xx_cpu_suspend() - This bit of code saves the CPU context if needed
140  * and executes the WFI instruction. Calling WFI effectively changes the
141  * power domains states to the desired target power states.
142  *
143  *
144  * Notes:
145  * - only the minimum set of functions gets copied to internal SRAM at boot
146  *   and after wake-up from OFF mode, cf. omap_push_sram_idle. The function
147  *   pointers in SDRAM or SRAM are called depending on the desired low power
148  *   target state.
149  * - when the OMAP wakes up it continues at different execution points
150  *   depending on the low power mode (non-OFF vs OFF modes),
151  *   cf. 'Resume path for xxx mode' comments.
152  */
153         .align  3
154 ENTRY(omap34xx_cpu_suspend)
155         stmfd   sp!, {r4 - r11, lr}     @ save registers on stack
156
157         /*
158          * r0 contains information about saving context:
159          *   0 - No context lost
160          *   1 - Only L1 and logic lost
161          *   2 - Only L2 lost (Even L1 is retained we clean it along with L2)
162          *   3 - Both L1 and L2 lost and logic lost
163          */
164
165         /*
166          * For OFF mode: save context and jump to WFI in SDRAM (omap3_do_wfi)
167          * For non-OFF modes: jump to the WFI code in SRAM (omap3_do_wfi_sram)
168          */
169         ldr     r4, omap3_do_wfi_sram_addr
170         ldr     r5, [r4]
171         cmp     r0, #0x0                @ If no context save required,
172         bxeq    r5                      @  jump to the WFI code in SRAM
173
174
175         /* Otherwise fall through to the save context code */
176 save_context_wfi:
177         /*
178          * jump out to kernel flush routine
179          *  - reuse that code is better
180          *  - it executes in a cached space so is faster than refetch per-block
181          *  - should be faster and will change with kernel
182          *  - 'might' have to copy address, load and jump to it
183          * Flush all data from the L1 data cache before disabling
184          * SCTLR.C bit.
185          */
186         ldr     r1, kernel_flush
187         mov     lr, pc
188         bx      r1
189
190         /*
191          * Clear the SCTLR.C bit to prevent further data cache
192          * allocation. Clearing SCTLR.C would make all the data accesses
193          * strongly ordered and would not hit the cache.
194          */
195         mrc     p15, 0, r0, c1, c0, 0
196         bic     r0, r0, #(1 << 2)       @ Disable the C bit
197         mcr     p15, 0, r0, c1, c0, 0
198         isb
199
200         /*
201          * Invalidate L1 data cache. Even though only invalidate is
202          * necessary exported flush API is used here. Doing clean
203          * on already clean cache would be almost NOP.
204          */
205         ldr     r1, kernel_flush
206         blx     r1
207         b       omap3_do_wfi
208 ENDPROC(omap34xx_cpu_suspend)
209 omap3_do_wfi_sram_addr:
210         .word omap3_do_wfi_sram
211 kernel_flush:
212         .word v7_flush_dcache_all
213
214 /* ===================================
215  * == WFI instruction => Enter idle ==
216  * ===================================
217  */
218
219 /*
220  * Do WFI instruction
221  * Includes the resume path for non-OFF modes
222  *
223  * This code gets copied to internal SRAM and is accessible
224  * from both SDRAM and SRAM:
225  * - executed from SRAM for non-off modes (omap3_do_wfi_sram),
226  * - executed from SDRAM for OFF mode (omap3_do_wfi).
227  */
228         .align  3
229 ENTRY(omap3_do_wfi)
230         ldr     r4, sdrc_power          @ read the SDRC_POWER register
231         ldr     r5, [r4]                @ read the contents of SDRC_POWER
232         orr     r5, r5, #0x40           @ enable self refresh on idle req
233         str     r5, [r4]                @ write back to SDRC_POWER register
234
235         /* Data memory barrier and Data sync barrier */
236         dsb
237         dmb
238
239 /*
240  * ===================================
241  * == WFI instruction => Enter idle ==
242  * ===================================
243  */
244         wfi                             @ wait for interrupt
245
246 /*
247  * ===================================
248  * == Resume path for non-OFF modes ==
249  * ===================================
250  */
251         nop
252         nop
253         nop
254         nop
255         nop
256         nop
257         nop
258         nop
259         nop
260         nop
261
262 /*
263  * This function implements the erratum ID i581 WA:
264  *  SDRC state restore before accessing the SDRAM
265  *
266  * Only used at return from non-OFF mode. For OFF
267  * mode the ROM code configures the SDRC and
268  * the DPLL before calling the restore code directly
269  * from DDR.
270  */
271
272 /* Make sure SDRC accesses are ok */
273 wait_sdrc_ok:
274
275 /* DPLL3 must be locked before accessing the SDRC. Maybe the HW ensures this */
276         ldr     r4, cm_idlest_ckgen
277 wait_dpll3_lock:
278         ldr     r5, [r4]
279         tst     r5, #1
280         beq     wait_dpll3_lock
281
282         ldr     r4, cm_idlest1_core
283 wait_sdrc_ready:
284         ldr     r5, [r4]
285         tst     r5, #0x2
286         bne     wait_sdrc_ready
287         /* allow DLL powerdown upon hw idle req */
288         ldr     r4, sdrc_power
289         ldr     r5, [r4]
290         bic     r5, r5, #0x40
291         str     r5, [r4]
292
293 is_dll_in_lock_mode:
294         /* Is dll in lock mode? */
295         ldr     r4, sdrc_dlla_ctrl
296         ldr     r5, [r4]
297         tst     r5, #0x4
298         bne     exit_nonoff_modes       @ Return if locked
299         /* wait till dll locks */
300 wait_dll_lock_timed:
301         ldr     r4, sdrc_dlla_status
302         /* Wait 20uS for lock */
303         mov     r6, #8
304 wait_dll_lock:
305         subs    r6, r6, #0x1
306         beq     kick_dll
307         ldr     r5, [r4]
308         and     r5, r5, #0x4
309         cmp     r5, #0x4
310         bne     wait_dll_lock
311         b       exit_nonoff_modes       @ Return when locked
312
313         /* disable/reenable DLL if not locked */
314 kick_dll:
315         ldr     r4, sdrc_dlla_ctrl
316         ldr     r5, [r4]
317         mov     r6, r5
318         bic     r6, #(1<<3)             @ disable dll
319         str     r6, [r4]
320         dsb
321         orr     r6, r6, #(1<<3)         @ enable dll
322         str     r6, [r4]
323         dsb
324         b       wait_dll_lock_timed
325
326 exit_nonoff_modes:
327         /* Re-enable C-bit if needed */
328         mrc     p15, 0, r0, c1, c0, 0
329         tst     r0, #(1 << 2)           @ Check C bit enabled?
330         orreq   r0, r0, #(1 << 2)       @ Enable the C bit if cleared
331         mcreq   p15, 0, r0, c1, c0, 0
332         isb
333
334 /*
335  * ===================================
336  * == Exit point from non-OFF modes ==
337  * ===================================
338  */
339         ldmfd   sp!, {r4 - r11, pc}     @ restore regs and return
340 ENDPROC(omap3_do_wfi)
341 sdrc_power:
342         .word   SDRC_POWER_V
343 cm_idlest1_core:
344         .word   CM_IDLEST1_CORE_V
345 cm_idlest_ckgen:
346         .word   CM_IDLEST_CKGEN_V
347 sdrc_dlla_status:
348         .word   SDRC_DLLA_STATUS_V
349 sdrc_dlla_ctrl:
350         .word   SDRC_DLLA_CTRL_V
351 ENTRY(omap3_do_wfi_sz)
352         .word   . - omap3_do_wfi
353
354
355 /*
356  * ==============================
357  * == Resume path for OFF mode ==
358  * ==============================
359  */
360
361 /*
362  * The restore_* functions are called by the ROM code
363  *  when back from WFI in OFF mode.
364  * Cf. the get_*restore_pointer functions.
365  *
366  *  restore_es3: applies to 34xx >= ES3.0
367  *  restore_3630: applies to 36xx
368  *  restore: common code for 3xxx
369  *
370  * Note: when back from CORE and MPU OFF mode we are running
371  *  from SDRAM, without MMU, without the caches and prediction.
372  *  Also the SRAM content has been cleared.
373  */
374 ENTRY(omap3_restore_es3)
375         ldr     r5, pm_prepwstst_core_p
376         ldr     r4, [r5]
377         and     r4, r4, #0x3
378         cmp     r4, #0x0        @ Check if previous power state of CORE is OFF
379         bne     omap3_restore   @ Fall through to OMAP3 common code
380         adr     r0, es3_sdrc_fix
381         ldr     r1, sram_base
382         ldr     r2, es3_sdrc_fix_sz
383         mov     r2, r2, ror #2
384 copy_to_sram:
385         ldmia   r0!, {r3}       @ val = *src
386         stmia   r1!, {r3}       @ *dst = val
387         subs    r2, r2, #0x1    @ num_words--
388         bne     copy_to_sram
389         ldr     r1, sram_base
390         blx     r1
391         b       omap3_restore   @ Fall through to OMAP3 common code
392 ENDPROC(omap3_restore_es3)
393
394 ENTRY(omap3_restore_3630)
395         ldr     r1, pm_prepwstst_core_p
396         ldr     r2, [r1]
397         and     r2, r2, #0x3
398         cmp     r2, #0x0        @ Check if previous power state of CORE is OFF
399         bne     omap3_restore   @ Fall through to OMAP3 common code
400         /* Disable RTA before giving control */
401         ldr     r1, control_mem_rta
402         mov     r2, #OMAP36XX_RTA_DISABLE
403         str     r2, [r1]
404 ENDPROC(omap3_restore_3630)
405
406         /* Fall through to common code for the remaining logic */
407
408 ENTRY(omap3_restore)
409         /*
410          * Read the pwstctrl register to check the reason for mpu reset.
411          * This tells us what was lost.
412          */
413         ldr     r1, pm_pwstctrl_mpu
414         ldr     r2, [r1]
415         and     r2, r2, #0x3
416         cmp     r2, #0x0        @ Check if target power state was OFF or RET
417         bne     logic_l1_restore
418
419         adr     r1, l2dis_3630_offset   @ address for offset
420         ldr     r0, [r1]                @ value for offset
421         ldr     r0, [r1, r0]            @ value at l2dis_3630
422         cmp     r0, #0x1        @ should we disable L2 on 3630?
423         bne     skipl2dis
424         mrc     p15, 0, r0, c1, c0, 1
425         bic     r0, r0, #2      @ disable L2 cache
426         mcr     p15, 0, r0, c1, c0, 1
427 skipl2dis:
428         ldr     r0, control_stat
429         ldr     r1, [r0]
430         and     r1, #0x700
431         cmp     r1, #0x300
432         beq     l2_inv_gp
433         mov     r0, #40                 @ set service ID for PPA
434         mov     r12, r0                 @ copy secure Service ID in r12
435         mov     r1, #0                  @ set task id for ROM code in r1
436         mov     r2, #4                  @ set some flags in r2, r6
437         mov     r6, #0xff
438         adr     r3, l2_inv_api_params   @ r3 points to dummy parameters
439         dsb                             @ data write barrier
440         dmb                             @ data memory barrier
441         smc     #1                      @ call SMI monitor (smi #1)
442         /* Write to Aux control register to set some bits */
443         mov     r0, #42                 @ set service ID for PPA
444         mov     r12, r0                 @ copy secure Service ID in r12
445         mov     r1, #0                  @ set task id for ROM code in r1
446         mov     r2, #4                  @ set some flags in r2, r6
447         mov     r6, #0xff
448         ldr     r4, scratchpad_base
449         ldr     r3, [r4, #0xBC]         @ r3 points to parameters
450         dsb                             @ data write barrier
451         dmb                             @ data memory barrier
452         smc     #1                      @ call SMI monitor (smi #1)
453
454 #ifdef CONFIG_OMAP3_L2_AUX_SECURE_SAVE_RESTORE
455         /* Restore L2 aux control register */
456                                         @ set service ID for PPA
457         mov     r0, #CONFIG_OMAP3_L2_AUX_SECURE_SERVICE_SET_ID
458         mov     r12, r0                 @ copy service ID in r12
459         mov     r1, #0                  @ set task ID for ROM code in r1
460         mov     r2, #4                  @ set some flags in r2, r6
461         mov     r6, #0xff
462         ldr     r4, scratchpad_base
463         ldr     r3, [r4, #0xBC]
464         adds    r3, r3, #8              @ r3 points to parameters
465         dsb                             @ data write barrier
466         dmb                             @ data memory barrier
467         smc     #1                      @ call SMI monitor (smi #1)
468 #endif
469         b       logic_l1_restore
470
471         .align
472 l2_inv_api_params:
473         .word   0x1, 0x00
474 l2_inv_gp:
475         /* Execute smi to invalidate L2 cache */
476         mov r12, #0x1                   @ set up to invalidate L2
477         smc     #0                      @ Call SMI monitor (smieq)
478         /* Write to Aux control register to set some bits */
479         ldr     r4, scratchpad_base
480         ldr     r3, [r4,#0xBC]
481         ldr     r0, [r3,#4]
482         mov     r12, #0x3
483         smc     #0                      @ Call SMI monitor (smieq)
484         ldr     r4, scratchpad_base
485         ldr     r3, [r4,#0xBC]
486         ldr     r0, [r3,#12]
487         mov     r12, #0x2
488         smc     #0                      @ Call SMI monitor (smieq)
489 logic_l1_restore:
490         adr     r0, l2dis_3630_offset   @ adress for offset
491         ldr     r1, [r0]                @ value for offset
492         ldr     r1, [r0, r1]            @ value at l2dis_3630
493         cmp     r1, #0x1                @ Test if L2 re-enable needed on 3630
494         bne     skipl2reen
495         mrc     p15, 0, r1, c1, c0, 1
496         orr     r1, r1, #2              @ re-enable L2 cache
497         mcr     p15, 0, r1, c1, c0, 1
498 skipl2reen:
499
500         /* Now branch to the common CPU resume function */
501         b       cpu_resume
502 ENDPROC(omap3_restore)
503
504         .ltorg
505
506 /*
507  * Local variables
508  */
509 pm_prepwstst_core_p:
510         .word   PM_PREPWSTST_CORE_P
511 pm_pwstctrl_mpu:
512         .word   PM_PWSTCTRL_MPU_P
513 scratchpad_base:
514         .word   SCRATCHPAD_BASE_P
515 sram_base:
516         .word   SRAM_BASE_P + 0x8000
517 control_stat:
518         .word   CONTROL_STAT
519 control_mem_rta:
520         .word   CONTROL_MEM_RTA_CTRL
521 l2dis_3630_offset:
522         .long   l2dis_3630 - .
523
524         .data
525 l2dis_3630:
526         .word   0
527
528 /*
529  * Internal functions
530  */
531
532 /*
533  * This function implements the erratum ID i443 WA, applies to 34xx >= ES3.0
534  * Copied to and run from SRAM in order to reconfigure the SDRC parameters.
535  */
536         .text
537         .align  3
538 ENTRY(es3_sdrc_fix)
539         ldr     r4, sdrc_syscfg         @ get config addr
540         ldr     r5, [r4]                @ get value
541         tst     r5, #0x100              @ is part access blocked
542         it      eq
543         biceq   r5, r5, #0x100          @ clear bit if set
544         str     r5, [r4]                @ write back change
545         ldr     r4, sdrc_mr_0           @ get config addr
546         ldr     r5, [r4]                @ get value
547         str     r5, [r4]                @ write back change
548         ldr     r4, sdrc_emr2_0         @ get config addr
549         ldr     r5, [r4]                @ get value
550         str     r5, [r4]                @ write back change
551         ldr     r4, sdrc_manual_0       @ get config addr
552         mov     r5, #0x2                @ autorefresh command
553         str     r5, [r4]                @ kick off refreshes
554         ldr     r4, sdrc_mr_1           @ get config addr
555         ldr     r5, [r4]                @ get value
556         str     r5, [r4]                @ write back change
557         ldr     r4, sdrc_emr2_1         @ get config addr
558         ldr     r5, [r4]                @ get value
559         str     r5, [r4]                @ write back change
560         ldr     r4, sdrc_manual_1       @ get config addr
561         mov     r5, #0x2                @ autorefresh command
562         str     r5, [r4]                @ kick off refreshes
563         bx      lr
564
565 /*
566  * Local variables
567  */
568         .align
569 sdrc_syscfg:
570         .word   SDRC_SYSCONFIG_P
571 sdrc_mr_0:
572         .word   SDRC_MR_0_P
573 sdrc_emr2_0:
574         .word   SDRC_EMR2_0_P
575 sdrc_manual_0:
576         .word   SDRC_MANUAL_0_P
577 sdrc_mr_1:
578         .word   SDRC_MR_1_P
579 sdrc_emr2_1:
580         .word   SDRC_EMR2_1_P
581 sdrc_manual_1:
582         .word   SDRC_MANUAL_1_P
583 ENDPROC(es3_sdrc_fix)
584 ENTRY(es3_sdrc_fix_sz)
585         .word   . - es3_sdrc_fix