drivers/scsi/atari_scsi.c

   1 /*
   2  * atari_scsi.c -- Device dependent functions for the Atari generic SCSI port
   3  *
   4  * Copyright 1994 Roman Hodek <Roman.Hodek@informatik.uni-erlangen.de>
   5  *
   6  *   Loosely based on the work of Robert De Vries' team and added:
   7  *    - working real DMA
   8  *    - Falcon support (untested yet!)   ++bjoern fixed and now it works
   9  *    - lots of extensions and bug fixes.
  10  *
  11  * This file is subject to the terms and conditions of the GNU General Public
  12  * License.  See the file COPYING in the main directory of this archive
  13  * for more details.
  14  *
  15  */
  16
  17
  18 /**************************************************************************/
  19 /*                                                                        */
  20 /* Notes for Falcon SCSI:                                                 */
  21 /* ----------------------                                                 */
  22 /*                                                                        */
  23 /* Since the Falcon SCSI uses the ST-DMA chip, that is shared among       */
  24 /* several device drivers, locking and unlocking the access to this       */
  25 /* chip is required. But locking is not possible from an interrupt,       */
  26 /* since it puts the process to sleep if the lock is not available.       */
  27 /* This prevents "late" locking of the DMA chip, i.e. locking it just     */
  28 /* before using it, since in case of disconnection-reconnection           */
  29 /* commands, the DMA is started from the reselection interrupt.           */
  30 /*                                                                        */
  31 /* Two possible schemes for ST-DMA-locking would be:                      */
  32 /*  1) The lock is taken for each command separately and disconnecting    */
  33 /*     is forbidden (i.e. can_queue = 1).                                 */
  34 /*  2) The DMA chip is locked when the first command comes in and         */
  35 /*     released when the last command is finished and all queues are      */
  36 /*     empty.                                                             */
  37 /* The first alternative would result in bad performance, since the       */
  38 /* interleaving of commands would not be used. The second is unfair to    */
  39 /* other drivers using the ST-DMA, because the queues will seldom be      */
  40 /* totally empty if there is a lot of disk traffic.                       */
  41 /*                                                                        */
  42 /* For this reasons I decided to employ a more elaborate scheme:          */
  43 /*  - First, we give up the lock every time we can (for fairness), this    */
  44 /*    means every time a command finishes and there are no other commands */
  45 /*    on the disconnected queue.                                          */
  46 /*  - If there are others waiting to lock the DMA chip, we stop           */
  47 /*    issuing commands, i.e. moving them onto the issue queue.           */
  48 /*    Because of that, the disconnected queue will run empty in a         */
  49 /*    while. Instead we go to sleep on a 'fairness_queue'.                */
  50 /*  - If the lock is released, all processes waiting on the fairness      */
  51 /*    queue will be woken. The first of them tries to re-lock the DMA,     */
  52 /*    the others wait for the first to finish this task. After that,      */
  53 /*    they can all run on and do their commands...                        */
  54 /* This sounds complicated (and it is it :-(), but it seems to be a       */
  55 /* good compromise between fairness and performance: As long as no one     */
  56 /* else wants to work with the ST-DMA chip, SCSI can go along as          */
  57 /* usual. If now someone else comes, this behaviour is changed to a       */
  58 /* "fairness mode": just already initiated commands are finished and      */
  59 /* then the lock is released. The other one waiting will probably win     */
  60 /* the race for locking the DMA, since it was waiting for longer. And     */
  61 /* after it has finished, SCSI can go ahead again. Finally: I hope I      */
  62 /* have not produced any deadlock possibilities!                          */
  63 /*                                                                        */
  64 /**************************************************************************/
  65
  66
  67
  68 #include <linux/module.h>
  69
  70 #define AUTOSENSE
  71 /* For the Atari version, use only polled IO or REAL_DMA */
  72 #define REAL_DMA
  73 /* Support tagged queuing? (on devices that are able to... :-) */
  74 #define SUPPORT_TAGS
  75 #define MAX_TAGS 32
  76
  77 #include <linux/types.h>
  78 #include <linux/stddef.h>
  79 #include <linux/ctype.h>
  80 #include <linux/delay.h>
  81 #include <linux/mm.h>
  82 #include <linux/blkdev.h>
  83 #include <linux/interrupt.h>
  84 #include <linux/init.h>
  85 #include <linux/nvram.h>
  86 #include <linux/bitops.h>
  87 #include <linux/wait.h>
  88
  89 #include <asm/setup.h>
  90 #include <asm/atarihw.h>
  91 #include <asm/atariints.h>
  92 #include <asm/page.h>
  93 #include <asm/pgtable.h>
  94 #include <asm/irq.h>
  95 #include <asm/traps.h>
  96
  97 #include "scsi.h"
  98 #include <scsi/scsi_host.h>
  99 #include "atari_scsi.h"
 100 #include "NCR5380.h"
 101 #include <asm/atari_stdma.h>
 102 #include <asm/atari_stram.h>
 103 #include <asm/io.h>
 104
 105 #include <linux/stat.h>
 106
 107 #define IS_A_TT()       ATARIHW_PRESENT(TT_SCSI)
 108
 109 #define SCSI_DMA_WRITE_P(elt,val)                               \
 110         do {                                                    \
 111                 unsigned long v = val;                          \
 112                 tt_scsi_dma.elt##_lo = v & 0xff;                \
 113                 v >>= 8;                                        \
 114                 tt_scsi_dma.elt##_lmd = v & 0xff;               \
 115                 v >>= 8;                                        \
 116                 tt_scsi_dma.elt##_hmd = v & 0xff;               \
 117                 v >>= 8;                                        \
 118                 tt_scsi_dma.elt##_hi = v & 0xff;                \
 119         } while(0)
 120
 121 #define SCSI_DMA_READ_P(elt)                                    \
 122         (((((((unsigned long)tt_scsi_dma.elt##_hi << 8) |       \
 123              (unsigned long)tt_scsi_dma.elt##_hmd) << 8) |      \
 124            (unsigned long)tt_scsi_dma.elt##_lmd) << 8) |        \
 125          (unsigned long)tt_scsi_dma.elt##_lo)
 126
 127
 128 static inline void SCSI_DMA_SETADR(unsigned long adr)
 129 {
 130         st_dma.dma_lo = (unsigned char)adr;
 131         MFPDELAY();
 132         adr >>= 8;
 133         st_dma.dma_md = (unsigned char)adr;
 134         MFPDELAY();
 135         adr >>= 8;
 136         st_dma.dma_hi = (unsigned char)adr;
 137         MFPDELAY();
 138 }
 139
 140 static inline unsigned long SCSI_DMA_GETADR(void)
 141 {
 142         unsigned long adr;
 143         adr = st_dma.dma_lo;
 144         MFPDELAY();
 145         adr |= (st_dma.dma_md & 0xff) << 8;
 146         MFPDELAY();
 147         adr |= (st_dma.dma_hi & 0xff) << 16;
 148         MFPDELAY();
 149         return adr;
 150 }
 151
 152 static inline void ENABLE_IRQ(void)
 153 {
 154         if (IS_A_TT())
 155                 atari_enable_irq(IRQ_TT_MFP_SCSI);
 156         else
 157                 atari_enable_irq(IRQ_MFP_FSCSI);
 158 }
 159
 160 static inline void DISABLE_IRQ(void)
 161 {
 162         if (IS_A_TT())
 163                 atari_disable_irq(IRQ_TT_MFP_SCSI);
 164         else
 165                 atari_disable_irq(IRQ_MFP_FSCSI);
 166 }
 167
 168
 169 #define HOSTDATA_DMALEN         (((struct NCR5380_hostdata *) \
 170                                 (atari_scsi_host->hostdata))->dma_len)
 171
 172 /* Time (in jiffies) to wait after a reset; the SCSI standard calls for 250ms,
 173  * we usually do 0.5s to be on the safe side. But Toshiba CD-ROMs once more
 174  * need ten times the standard value... */
 175 #ifndef CONFIG_ATARI_SCSI_TOSHIBA_DELAY
 176 #define AFTER_RESET_DELAY       (HZ/2)
 177 #else
 178 #define AFTER_RESET_DELAY       (5*HZ/2)
 179 #endif
 180
 181 /***************************** Prototypes *****************************/
 182
 183 #ifdef REAL_DMA
 184 static int scsi_dma_is_ignored_buserr(unsigned char dma_stat);
 185 static void atari_scsi_fetch_restbytes(void);
 186 static long atari_scsi_dma_residual(struct Scsi_Host *instance);
 187 static int falcon_classify_cmd(Scsi_Cmnd *cmd);
 188 static unsigned long atari_dma_xfer_len(unsigned long wanted_len,
 189                                         Scsi_Cmnd *cmd, int write_flag);
 190 #endif
 191 static irqreturn_t scsi_tt_intr(int irq, void *dummy);
 192 static irqreturn_t scsi_falcon_intr(int irq, void *dummy);
 193 static void falcon_release_lock_if_possible(struct NCR5380_hostdata *hostdata);
 194 static void falcon_get_lock(void);
 195 #ifdef CONFIG_ATARI_SCSI_RESET_BOOT
 196 static void atari_scsi_reset_boot(void);
 197 #endif
 198 static unsigned char atari_scsi_tt_reg_read(unsigned char reg);
 199 static void atari_scsi_tt_reg_write(unsigned char reg, unsigned char value);
 200 static unsigned char atari_scsi_falcon_reg_read(unsigned char reg);
 201 static void atari_scsi_falcon_reg_write(unsigned char reg, unsigned char value);
 202
 203 /************************* End of Prototypes **************************/
 204
 205
 206 static struct Scsi_Host *atari_scsi_host;
 207 static unsigned char (*atari_scsi_reg_read)(unsigned char reg);
 208 static void (*atari_scsi_reg_write)(unsigned char reg, unsigned char value);
 209
 210 #ifdef REAL_DMA
 211 static unsigned long    atari_dma_residual, atari_dma_startaddr;
 212 static short            atari_dma_active;
 213 /* pointer to the dribble buffer */
 214 static char             *atari_dma_buffer;
 215 /* precalculated physical address of the dribble buffer */
 216 static unsigned long    atari_dma_phys_buffer;
 217 /* != 0 tells the Falcon int handler to copy data from the dribble buffer */
 218 static char             *atari_dma_orig_addr;
 219 /* size of the dribble buffer; 4k seems enough, since the Falcon cannot use
 220  * scatter-gather anyway, so most transfers are 1024 byte only. In the rare
 221  * cases where requests to physical contiguous buffers have been merged, this
 222  * request is <= 4k (one page). So I don't think we have to split transfers
 223  * just due to this buffer size...
 224  */
 225 #define STRAM_BUFFER_SIZE       (4096)
 226 /* mask for address bits that can't be used with the ST-DMA */
 227 static unsigned long    atari_dma_stram_mask;
 228 #define STRAM_ADDR(a)   (((a) & atari_dma_stram_mask) == 0)
 229 /* number of bytes to cut from a transfer to handle NCR overruns */
 230 static int atari_read_overruns;
 231 #endif
 232
 233 static int setup_can_queue = -1;
 234 module_param(setup_can_queue, int, 0);
 235 static int setup_cmd_per_lun = -1;
 236 module_param(setup_cmd_per_lun, int, 0);
 237 static int setup_sg_tablesize = -1;
 238 module_param(setup_sg_tablesize, int, 0);
 239 #ifdef SUPPORT_TAGS
 240 static int setup_use_tagged_queuing = -1;
 241 module_param(setup_use_tagged_queuing, int, 0);
 242 #endif
 243 static int setup_hostid = -1;
 244 module_param(setup_hostid, int, 0);
 245
 246
 247 #if defined(REAL_DMA)
 248
 249 static int scsi_dma_is_ignored_buserr(unsigned char dma_stat)
 250 {
 251         int i;
 252         unsigned long addr = SCSI_DMA_READ_P(dma_addr), end_addr;
 253
 254         if (dma_stat & 0x01) {
 255
 256                 /* A bus error happens when DMA-ing from the last page of a
 257                  * physical memory chunk (DMA prefetch!), but that doesn't hurt.
 258                  * Check for this case:
 259                  */
 260
 261                 for (i = 0; i < m68k_num_memory; ++i) {
 262                         end_addr = m68k_memory[i].addr + m68k_memory[i].size;
 263                         if (end_addr <= addr && addr <= end_addr + 4)
 264                                 return 1;
 265                 }
 266         }
 267         return 0;
 268 }
 269
 270
 271 #if 0
 272 /* Dead code... wasn't called anyway :-) and causes some trouble, because at
 273  * end-of-DMA, both SCSI ints are triggered simultaneously, so the NCR int has
 274  * to clear the DMA int pending bit before it allows other level 6 interrupts.
 275  */
 276 static void scsi_dma_buserr(int irq, void *dummy)
 277 {
 278         unsigned char dma_stat = tt_scsi_dma.dma_ctrl;
 279
 280         /* Don't do anything if a NCR interrupt is pending. Probably it's just
 281          * masked... */
 282         if (atari_irq_pending(IRQ_TT_MFP_SCSI))
 283                 return;
 284
 285         printk("Bad SCSI DMA interrupt! dma_addr=0x%08lx dma_stat=%02x dma_cnt=%08lx\n",
 286                SCSI_DMA_READ_P(dma_addr), dma_stat, SCSI_DMA_READ_P(dma_cnt));
 287         if (dma_stat & 0x80) {
 288                 if (!scsi_dma_is_ignored_buserr(dma_stat))
 289                         printk("SCSI DMA bus error -- bad DMA programming!\n");
 290         } else {
 291                 /* Under normal circumstances we never should get to this point,
 292                  * since both interrupts are triggered simultaneously and the 5380
 293                  * int has higher priority. When this irq is handled, that DMA
 294                  * interrupt is cleared. So a warning message is printed here.
 295                  */
 296                 printk("SCSI DMA intr ?? -- this shouldn't happen!\n");
 297         }
 298 }
 299 #endif
 300
 301 #endif
 302
 303
 304 static irqreturn_t scsi_tt_intr(int irq, void *dummy)
 305 {
 306 #ifdef REAL_DMA
 307         int dma_stat;
 308
 309         dma_stat = tt_scsi_dma.dma_ctrl;
 310
 311         dprintk(NDEBUG_INTR, "scsi%d: NCR5380 interrupt, DMA status = %02x\n",
 312                    atari_scsi_host->host_no, dma_stat & 0xff);
 313
 314         /* Look if it was the DMA that has interrupted: First possibility
 315          * is that a bus error occurred...
 316          */
 317         if (dma_stat & 0x80) {
 318                 if (!scsi_dma_is_ignored_buserr(dma_stat)) {
 319                         printk(KERN_ERR "SCSI DMA caused bus error near 0x%08lx\n",
 320                                SCSI_DMA_READ_P(dma_addr));
 321                         printk(KERN_CRIT "SCSI DMA bus error -- bad DMA programming!");
 322                 }
 323         }
 324
 325         /* If the DMA is active but not finished, we have the case
 326          * that some other 5380 interrupt occurred within the DMA transfer.
 327          * This means we have residual bytes, if the desired end address
 328          * is not yet reached. Maybe we have to fetch some bytes from the
 329          * rest data register, too. The residual must be calculated from
 330          * the address pointer, not the counter register, because only the
 331          * addr reg counts bytes not yet written and pending in the rest
 332          * data reg!
 333          */
 334         if ((dma_stat & 0x02) && !(dma_stat & 0x40)) {
 335                 atari_dma_residual = HOSTDATA_DMALEN - (SCSI_DMA_READ_P(dma_addr) - atari_dma_startaddr);
 336
 337                 dprintk(NDEBUG_DMA, "SCSI DMA: There are %ld residual bytes.\n",
 338                            atari_dma_residual);
 339
 340                 if ((signed int)atari_dma_residual < 0)
 341                         atari_dma_residual = 0;
 342                 if ((dma_stat & 1) == 0) {
 343                         /*
 344                          * After read operations, we maybe have to
 345                          * transport some rest bytes
 346                          */
 347                         atari_scsi_fetch_restbytes();
 348                 } else {
 349                         /*
 350                          * There seems to be a nasty bug in some SCSI-DMA/NCR
 351                          * combinations: If a target disconnects while a write
 352                          * operation is going on, the address register of the
 353                          * DMA may be a few bytes farer than it actually read.
 354                          * This is probably due to DMA prefetching and a delay
 355                          * between DMA and NCR.  Experiments showed that the
 356                          * dma_addr is 9 bytes to high, but this could vary.
 357                          * The problem is, that the residual is thus calculated
 358                          * wrong and the next transfer will start behind where
 359                          * it should.  So we round up the residual to the next
 360                          * multiple of a sector size, if it isn't already a
 361                          * multiple and the originally expected transfer size
 362                          * was.  The latter condition is there to ensure that
 363                          * the correction is taken only for "real" data
 364                          * transfers and not for, e.g., the parameters of some
 365                          * other command.  These shouldn't disconnect anyway.
 366                          */
 367                         if (atari_dma_residual & 0x1ff) {
 368                                 dprintk(NDEBUG_DMA, "SCSI DMA: DMA bug corrected, "
 369                                            "difference %ld bytes\n",
 370                                            512 - (atari_dma_residual & 0x1ff));
 371                                 atari_dma_residual = (atari_dma_residual + 511) & ~0x1ff;
 372                         }
 373                 }
 374                 tt_scsi_dma.dma_ctrl = 0;
 375         }
 376
 377         /* If the DMA is finished, fetch the rest bytes and turn it off */
 378         if (dma_stat & 0x40) {
 379                 atari_dma_residual = 0;
 380                 if ((dma_stat & 1) == 0)
 381                         atari_scsi_fetch_restbytes();
 382                 tt_scsi_dma.dma_ctrl = 0;
 383         }
 384
 385 #endif /* REAL_DMA */
 386
 387         NCR5380_intr(irq, dummy);
 388
 389 #if 0
 390         /* To be sure the int is not masked */
 391         atari_enable_irq(IRQ_TT_MFP_SCSI);
 392 #endif
 393         return IRQ_HANDLED;
 394 }
 395
 396
 397 static irqreturn_t scsi_falcon_intr(int irq, void *dummy)
 398 {
 399 #ifdef REAL_DMA
 400         int dma_stat;
 401
 402         /* Turn off DMA and select sector counter register before
 403          * accessing the status register (Atari recommendation!)
 404          */
 405         st_dma.dma_mode_status = 0x90;
 406         dma_stat = st_dma.dma_mode_status;
 407
 408         /* Bit 0 indicates some error in the DMA process... don't know
 409          * what happened exactly (no further docu).
 410          */
 411         if (!(dma_stat & 0x01)) {
 412                 /* DMA error */
 413                 printk(KERN_CRIT "SCSI DMA error near 0x%08lx!\n", SCSI_DMA_GETADR());
 414         }
 415
 416         /* If the DMA was active, but now bit 1 is not clear, it is some
 417          * other 5380 interrupt that finishes the DMA transfer. We have to
 418          * calculate the number of residual bytes and give a warning if
 419          * bytes are stuck in the ST-DMA fifo (there's no way to reach them!)
 420          */
 421         if (atari_dma_active && (dma_stat & 0x02)) {
 422                 unsigned long transferred;
 423
 424                 transferred = SCSI_DMA_GETADR() - atari_dma_startaddr;
 425                 /* The ST-DMA address is incremented in 2-byte steps, but the
 426                  * data are written only in 16-byte chunks. If the number of
 427                  * transferred bytes is not divisible by 16, the remainder is
 428                  * lost somewhere in outer space.
 429                  */
 430                 if (transferred & 15)
 431                         printk(KERN_ERR "SCSI DMA error: %ld bytes lost in "
 432                                "ST-DMA fifo\n", transferred & 15);
 433
 434                 atari_dma_residual = HOSTDATA_DMALEN - transferred;
 435                 dprintk(NDEBUG_DMA, "SCSI DMA: There are %ld residual bytes.\n",
 436                            atari_dma_residual);
 437         } else
 438                 atari_dma_residual = 0;
 439         atari_dma_active = 0;
 440
 441         if (atari_dma_orig_addr) {
 442                 /* If the dribble buffer was used on a read operation, copy the DMA-ed
 443                  * data to the original destination address.
 444                  */
 445                 memcpy(atari_dma_orig_addr, phys_to_virt(atari_dma_startaddr),
 446                        HOSTDATA_DMALEN - atari_dma_residual);
 447                 atari_dma_orig_addr = NULL;
 448         }
 449
 450 #endif /* REAL_DMA */
 451
 452         NCR5380_intr(irq, dummy);
 453         return IRQ_HANDLED;
 454 }
 455
 456
 457 #ifdef REAL_DMA
 458 static void atari_scsi_fetch_restbytes(void)
 459 {
 460         int nr;
 461         char *src, *dst;
 462         unsigned long phys_dst;
 463
 464         /* fetch rest bytes in the DMA register */
 465         phys_dst = SCSI_DMA_READ_P(dma_addr);
 466         nr = phys_dst & 3;
 467         if (nr) {
 468                 /* there are 'nr' bytes left for the last long address
 469                    before the DMA pointer */
 470                 phys_dst ^= nr;
 471                 dprintk(NDEBUG_DMA, "SCSI DMA: there are %d rest bytes for phys addr 0x%08lx",
 472                            nr, phys_dst);
 473                 /* The content of the DMA pointer is a physical address!  */
 474                 dst = phys_to_virt(phys_dst);
 475                 dprintk(NDEBUG_DMA, " = virt addr %p\n", dst);
 476                 for (src = (char *)&tt_scsi_dma.dma_restdata; nr != 0; --nr)
 477                         *dst++ = *src++;
 478         }
 479 }
 480 #endif /* REAL_DMA */
 481
 482
 483 static int falcon_got_lock = 0;
 484 static DECLARE_WAIT_QUEUE_HEAD(falcon_fairness_wait);
 485 static int falcon_trying_lock = 0;
 486 static DECLARE_WAIT_QUEUE_HEAD(falcon_try_wait);
 487 static int falcon_dont_release = 0;
 488
 489 /* This function releases the lock on the DMA chip if there is no
 490  * connected command and the disconnected queue is empty. On
 491  * releasing, instances of falcon_get_lock are awoken, that put
 492  * themselves to sleep for fairness. They can now try to get the lock
 493  * again (but others waiting longer more probably will win).
 494  */
 495
 496 static void falcon_release_lock_if_possible(struct NCR5380_hostdata *hostdata)
 497 {
 498         unsigned long flags;
 499
 500         if (IS_A_TT())
 501                 return;
 502
 503         local_irq_save(flags);
 504
 505         if (falcon_got_lock && !hostdata->disconnected_queue &&
 506             !hostdata->issue_queue && !hostdata->connected) {
 507
 508                 if (falcon_dont_release) {
 509 #if 0
 510                         printk("WARNING: Lock release not allowed. Ignored\n");
 511 #endif
 512                         local_irq_restore(flags);
 513                         return;
 514                 }
 515                 falcon_got_lock = 0;
 516                 stdma_release();
 517                 wake_up(&falcon_fairness_wait);
 518         }
 519
 520         local_irq_restore(flags);
 521 }
 522
 523 /* This function manages the locking of the ST-DMA.
 524  * If the DMA isn't locked already for SCSI, it tries to lock it by
 525  * calling stdma_lock(). But if the DMA is locked by the SCSI code and
 526  * there are other drivers waiting for the chip, we do not issue the
 527  * command immediately but wait on 'falcon_fairness_queue'. We will be
 528  * waked up when the DMA is unlocked by some SCSI interrupt. After that
 529  * we try to get the lock again.
 530  * But we must be prepared that more than one instance of
 531  * falcon_get_lock() is waiting on the fairness queue. They should not
 532  * try all at once to call stdma_lock(), one is enough! For that, the
 533  * first one sets 'falcon_trying_lock', others that see that variable
 534  * set wait on the queue 'falcon_try_wait'.
 535  * Complicated, complicated.... Sigh...
 536  */
 537
 538 static void falcon_get_lock(void)
 539 {
 540         unsigned long flags;
 541
 542         if (IS_A_TT())
 543                 return;
 544
 545         local_irq_save(flags);
 546
 547         wait_event_cmd(falcon_fairness_wait,
 548                 in_interrupt() || !falcon_got_lock || !stdma_others_waiting(),
 549                 local_irq_restore(flags),
 550                 local_irq_save(flags));
 551
 552         while (!falcon_got_lock) {
 553                 if (in_irq())
 554                         panic("Falcon SCSI hasn't ST-DMA lock in interrupt");
 555                 if (!falcon_trying_lock) {
 556                         falcon_trying_lock = 1;
 557                         stdma_lock(scsi_falcon_intr, NULL);
 558                         falcon_got_lock = 1;
 559                         falcon_trying_lock = 0;
 560                         wake_up(&falcon_try_wait);
 561                 } else {
 562                         wait_event_cmd(falcon_try_wait,
 563                                 falcon_got_lock && !falcon_trying_lock,
 564                                 local_irq_restore(flags),
 565                                 local_irq_save(flags));
 566                 }
 567         }
 568
 569         local_irq_restore(flags);
 570         if (!falcon_got_lock)
 571                 panic("Falcon SCSI: someone stole the lock :-(\n");
 572 }
 573
 574
 575 static int __init atari_scsi_detect(struct scsi_host_template *host)
 576 {
 577         static int called = 0;
 578         struct Scsi_Host *instance;
 579
 580         if (!MACH_IS_ATARI ||
 581             (!ATARIHW_PRESENT(ST_SCSI) && !ATARIHW_PRESENT(TT_SCSI)) ||
 582             called)
 583                 return 0;
 584
 585         host->proc_name = "Atari";
 586
 587         atari_scsi_reg_read  = IS_A_TT() ? atari_scsi_tt_reg_read :
 588                                            atari_scsi_falcon_reg_read;
 589         atari_scsi_reg_write = IS_A_TT() ? atari_scsi_tt_reg_write :
 590                                            atari_scsi_falcon_reg_write;
 591
 592         /* setup variables */
 593         host->can_queue =
 594                 (setup_can_queue > 0) ? setup_can_queue :
 595                 IS_A_TT() ? ATARI_TT_CAN_QUEUE : ATARI_FALCON_CAN_QUEUE;
 596         host->cmd_per_lun =
 597                 (setup_cmd_per_lun > 0) ? setup_cmd_per_lun :
 598                 IS_A_TT() ? ATARI_TT_CMD_PER_LUN : ATARI_FALCON_CMD_PER_LUN;
 599         /* Force sg_tablesize to 0 on a Falcon! */
 600         host->sg_tablesize =
 601                 !IS_A_TT() ? ATARI_FALCON_SG_TABLESIZE :
 602                 (setup_sg_tablesize >= 0) ? setup_sg_tablesize : ATARI_TT_SG_TABLESIZE;
 603
 604         if (setup_hostid >= 0)
 605                 host->this_id = setup_hostid;
 606         else {
 607                 /* use 7 as default */
 608                 host->this_id = 7;
 609                 /* Test if a host id is set in the NVRam */
 610                 if (ATARIHW_PRESENT(TT_CLK) && nvram_check_checksum()) {
 611                         unsigned char b = nvram_read_byte( 14 );
 612                         /* Arbitration enabled? (for TOS) If yes, use configured host ID */
 613                         if (b & 0x80)
 614                                 host->this_id = b & 7;
 615                 }
 616         }
 617
 618 #ifdef SUPPORT_TAGS
 619         if (setup_use_tagged_queuing < 0)
 620                 setup_use_tagged_queuing = DEFAULT_USE_TAGGED_QUEUING;
 621 #endif
 622 #ifdef REAL_DMA
 623         /* If running on a Falcon and if there's TT-Ram (i.e., more than one
 624          * memory block, since there's always ST-Ram in a Falcon), then allocate a
 625          * STRAM_BUFFER_SIZE byte dribble buffer for transfers from/to alternative
 626          * Ram.
 627          */
 628         if (MACH_IS_ATARI && ATARIHW_PRESENT(ST_SCSI) &&
 629             !ATARIHW_PRESENT(EXTD_DMA) && m68k_num_memory > 1) {
 630                 atari_dma_buffer = atari_stram_alloc(STRAM_BUFFER_SIZE, "SCSI");
 631                 if (!atari_dma_buffer) {
 632                         printk(KERN_ERR "atari_scsi_detect: can't allocate ST-RAM "
 633                                         "double buffer\n");
 634                         return 0;
 635                 }
 636                 atari_dma_phys_buffer = atari_stram_to_phys(atari_dma_buffer);
 637                 atari_dma_orig_addr = 0;
 638         }
 639 #endif
 640         instance = scsi_register(host, sizeof(struct NCR5380_hostdata));
 641         if (instance == NULL) {
 642                 atari_stram_free(atari_dma_buffer);
 643                 atari_dma_buffer = 0;
 644                 return 0;
 645         }
 646         atari_scsi_host = instance;
 647         /*
 648          * Set irq to 0, to avoid that the mid-level code disables our interrupt
 649          * during queue_command calls. This is completely unnecessary, and even
 650          * worse causes bad problems on the Falcon, where the int is shared with
 651          * IDE and floppy!
 652          */
 653        instance->irq = 0;
 654
 655 #ifdef CONFIG_ATARI_SCSI_RESET_BOOT
 656         atari_scsi_reset_boot();
 657 #endif
 658         NCR5380_init(instance, 0);
 659
 660         if (IS_A_TT()) {
 661
 662                 /* This int is actually "pseudo-slow", i.e. it acts like a slow
 663                  * interrupt after having cleared the pending flag for the DMA
 664                  * interrupt. */
 665                 if (request_irq(IRQ_TT_MFP_SCSI, scsi_tt_intr, IRQ_TYPE_SLOW,
 666                                  "SCSI NCR5380", instance)) {
 667                         printk(KERN_ERR "atari_scsi_detect: cannot allocate irq %d, aborting",IRQ_TT_MFP_SCSI);
 668                         scsi_unregister(atari_scsi_host);
 669                         atari_stram_free(atari_dma_buffer);
 670                         atari_dma_buffer = 0;
 671                         return 0;
 672                 }
 673                 tt_mfp.active_edge |= 0x80;             /* SCSI int on L->H */
 674 #ifdef REAL_DMA
 675                 tt_scsi_dma.dma_ctrl = 0;
 676                 atari_dma_residual = 0;
 677
 678                 if (MACH_IS_MEDUSA) {
 679                         /* While the read overruns (described by Drew Eckhardt in
 680                          * NCR5380.c) never happened on TTs, they do in fact on the Medusa
 681                          * (This was the cause why SCSI didn't work right for so long
 682                          * there.) Since handling the overruns slows down a bit, I turned
 683                          * the #ifdef's into a runtime condition.
 684                          *
 685                          * In principle it should be sufficient to do max. 1 byte with
 686                          * PIO, but there is another problem on the Medusa with the DMA
 687                          * rest data register. So 'atari_read_overruns' is currently set
 688                          * to 4 to avoid having transfers that aren't a multiple of 4. If
 689                          * the rest data bug is fixed, this can be lowered to 1.
 690                          */
 691                         atari_read_overruns = 4;
 692                 }
 693 #endif /*REAL_DMA*/
 694         } else { /* ! IS_A_TT */
 695
 696                 /* Nothing to do for the interrupt: the ST-DMA is initialized
 697                  * already by atari_init_INTS()
 698                  */
 699
 700 #ifdef REAL_DMA
 701                 atari_dma_residual = 0;
 702                 atari_dma_active = 0;
 703                 atari_dma_stram_mask = (ATARIHW_PRESENT(EXTD_DMA) ? 0x00000000
 704                                         : 0xff000000);
 705 #endif
 706         }
 707
 708         printk(KERN_INFO "scsi%d: options CAN_QUEUE=%d CMD_PER_LUN=%d SCAT-GAT=%d "
 709 #ifdef SUPPORT_TAGS
 710                         "TAGGED-QUEUING=%s "
 711 #endif
 712                         "HOSTID=%d",
 713                         instance->host_no, instance->hostt->can_queue,
 714                         instance->hostt->cmd_per_lun,
 715                         instance->hostt->sg_tablesize,
 716 #ifdef SUPPORT_TAGS
 717                         setup_use_tagged_queuing ? "yes" : "no",
 718 #endif
 719                         instance->hostt->this_id );
 720         NCR5380_print_options(instance);
 721         printk("\n");
 722
 723         called = 1;
 724         return 1;
 725 }
 726
 727 static int atari_scsi_release(struct Scsi_Host *sh)
 728 {
 729         if (IS_A_TT())
 730                 free_irq(IRQ_TT_MFP_SCSI, sh);
 731         if (atari_dma_buffer)
 732                 atari_stram_free(atari_dma_buffer);
 733         NCR5380_exit(sh);
 734         return 1;
 735 }
 736
 737 #ifndef MODULE
 738 static int __init atari_scsi_setup(char *str)
 739 {
 740         /* Format of atascsi parameter is:
 741          *   atascsi=<can_queue>,<cmd_per_lun>,<sg_tablesize>,<hostid>,<use_tags>
 742          * Defaults depend on TT or Falcon, hostid determined at run time.
 743          * Negative values mean don't change.
 744          */
 745         int ints[6];
 746
 747         get_options(str, ARRAY_SIZE(ints), ints);
 748
 749         if (ints[0] < 1) {
 750                 printk("atari_scsi_setup: no arguments!\n");
 751                 return 0;
 752         }
 753
 754         if (ints[0] >= 1) {
 755                 if (ints[1] > 0)
 756                         /* no limits on this, just > 0 */
 757                         setup_can_queue = ints[1];
 758         }
 759         if (ints[0] >= 2) {
 760                 if (ints[2] > 0)
 761                         setup_cmd_per_lun = ints[2];
 762         }
 763         if (ints[0] >= 3) {
 764                 if (ints[3] >= 0) {
 765                         setup_sg_tablesize = ints[3];
 766                         /* Must be <= SG_ALL (255) */
 767                         if (setup_sg_tablesize > SG_ALL)
 768                                 setup_sg_tablesize = SG_ALL;
 769                 }
 770         }
 771         if (ints[0] >= 4) {
 772                 /* Must be between 0 and 7 */
 773                 if (ints[4] >= 0 && ints[4] <= 7)
 774                         setup_hostid = ints[4];
 775                 else if (ints[4] > 7)
 776                         printk("atari_scsi_setup: invalid host ID %d !\n", ints[4]);
 777         }
 778 #ifdef SUPPORT_TAGS
 779         if (ints[0] >= 5) {
 780                 if (ints[5] >= 0)
 781                         setup_use_tagged_queuing = !!ints[5];
 782         }
 783 #endif
 784
 785         return 1;
 786 }
 787
 788 __setup("atascsi=", atari_scsi_setup);
 789 #endif /* !MODULE */
 790
 791 static int atari_scsi_bus_reset(Scsi_Cmnd *cmd)
 792 {
 793         int rv;
 794         struct NCR5380_hostdata *hostdata =
 795                 (struct NCR5380_hostdata *)cmd->device->host->hostdata;
 796
 797         /* For doing the reset, SCSI interrupts must be disabled first,
 798          * since the 5380 raises its IRQ line while _RST is active and we
 799          * can't disable interrupts completely, since we need the timer.
 800          */
 801         /* And abort a maybe active DMA transfer */
 802         if (IS_A_TT()) {
 803                 atari_turnoff_irq(IRQ_TT_MFP_SCSI);
 804 #ifdef REAL_DMA
 805                 tt_scsi_dma.dma_ctrl = 0;
 806 #endif /* REAL_DMA */
 807         } else {
 808                 atari_turnoff_irq(IRQ_MFP_FSCSI);
 809 #ifdef REAL_DMA
 810                 st_dma.dma_mode_status = 0x90;
 811                 atari_dma_active = 0;
 812                 atari_dma_orig_addr = NULL;
 813 #endif /* REAL_DMA */
 814         }
 815
 816         rv = NCR5380_bus_reset(cmd);
 817
 818         /* Re-enable ints */
 819         if (IS_A_TT()) {
 820                 atari_turnon_irq(IRQ_TT_MFP_SCSI);
 821         } else {
 822                 atari_turnon_irq(IRQ_MFP_FSCSI);
 823         }
 824         if (rv == SUCCESS)
 825                 falcon_release_lock_if_possible(hostdata);
 826
 827         return rv;
 828 }
 829
 830
 831 #ifdef CONFIG_ATARI_SCSI_RESET_BOOT
 832 static void __init atari_scsi_reset_boot(void)
 833 {
 834         unsigned long end;
 835
 836         /*
 837          * Do a SCSI reset to clean up the bus during initialization. No messing
 838          * with the queues, interrupts, or locks necessary here.
 839          */
 840
 841         printk("Atari SCSI: resetting the SCSI bus...");
 842
 843         /* get in phase */
 844         NCR5380_write(TARGET_COMMAND_REG,
 845                       PHASE_SR_TO_TCR(NCR5380_read(STATUS_REG)));
 846
 847         /* assert RST */
 848         NCR5380_write(INITIATOR_COMMAND_REG, ICR_BASE | ICR_ASSERT_RST);
 849         /* The min. reset hold time is 25us, so 40us should be enough */
 850         udelay(50);
 851         /* reset RST and interrupt */
 852         NCR5380_write(INITIATOR_COMMAND_REG, ICR_BASE);
 853         NCR5380_read(RESET_PARITY_INTERRUPT_REG);
 854
 855         end = jiffies + AFTER_RESET_DELAY;
 856         while (time_before(jiffies, end))
 857                 barrier();
 858
 859         printk(" done\n");
 860 }
 861 #endif
 862
 863
 864 static const char *atari_scsi_info(struct Scsi_Host *host)
 865 {
 866         /* atari_scsi_detect() is verbose enough... */
 867         static const char string[] = "Atari native SCSI";
 868         return string;
 869 }
 870
 871
 872 #if defined(REAL_DMA)
 873
 874 static unsigned long atari_scsi_dma_setup(struct Scsi_Host *instance,
 875                                           void *data, unsigned long count,
 876                                           int dir)
 877 {
 878         unsigned long addr = virt_to_phys(data);
 879
 880         dprintk(NDEBUG_DMA, "scsi%d: setting up dma, data = %p, phys = %lx, count = %ld, "
 881                    "dir = %d\n", instance->host_no, data, addr, count, dir);
 882
 883         if (!IS_A_TT() && !STRAM_ADDR(addr)) {
 884                 /* If we have a non-DMAable address on a Falcon, use the dribble
 885                  * buffer; 'orig_addr' != 0 in the read case tells the interrupt
 886                  * handler to copy data from the dribble buffer to the originally
 887                  * wanted address.
 888                  */
 889                 if (dir)
 890                         memcpy(atari_dma_buffer, data, count);
 891                 else
 892                         atari_dma_orig_addr = data;
 893                 addr = atari_dma_phys_buffer;
 894         }
 895
 896         atari_dma_startaddr = addr;     /* Needed for calculating residual later. */
 897
 898         /* Cache cleanup stuff: On writes, push any dirty cache out before sending
 899          * it to the peripheral. (Must be done before DMA setup, since at least
 900          * the ST-DMA begins to fill internal buffers right after setup. For
 901          * reads, invalidate any cache, may be altered after DMA without CPU
 902          * knowledge.
 903          *
 904          * ++roman: For the Medusa, there's no need at all for that cache stuff,
 905          * because the hardware does bus snooping (fine!).
 906          */
 907         dma_cache_maintenance(addr, count, dir);
 908
 909         if (count == 0)
 910                 printk(KERN_NOTICE "SCSI warning: DMA programmed for 0 bytes !\n");
 911
 912         if (IS_A_TT()) {
 913                 tt_scsi_dma.dma_ctrl = dir;
 914                 SCSI_DMA_WRITE_P(dma_addr, addr);
 915                 SCSI_DMA_WRITE_P(dma_cnt, count);
 916                 tt_scsi_dma.dma_ctrl = dir | 2;
 917         } else { /* ! IS_A_TT */
 918
 919                 /* set address */
 920                 SCSI_DMA_SETADR(addr);
 921
 922                 /* toggle direction bit to clear FIFO and set DMA direction */
 923                 dir <<= 8;
 924                 st_dma.dma_mode_status = 0x90 | dir;
 925                 st_dma.dma_mode_status = 0x90 | (dir ^ 0x100);
 926                 st_dma.dma_mode_status = 0x90 | dir;
 927                 udelay(40);
 928                 /* On writes, round up the transfer length to the next multiple of 512
 929                  * (see also comment at atari_dma_xfer_len()). */
 930                 st_dma.fdc_acces_seccount = (count + (dir ? 511 : 0)) >> 9;
 931                 udelay(40);
 932                 st_dma.dma_mode_status = 0x10 | dir;
 933                 udelay(40);
 934                 /* need not restore value of dir, only boolean value is tested */
 935                 atari_dma_active = 1;
 936         }
 937
 938         return count;
 939 }
 940
 941
 942 static long atari_scsi_dma_residual(struct Scsi_Host *instance)
 943 {
 944         return atari_dma_residual;
 945 }
 946
 947
 948 #define CMD_SURELY_BLOCK_MODE   0
 949 #define CMD_SURELY_BYTE_MODE    1
 950 #define CMD_MODE_UNKNOWN                2
 951
 952 static int falcon_classify_cmd(Scsi_Cmnd *cmd)
 953 {
 954         unsigned char opcode = cmd->cmnd[0];
 955
 956         if (opcode == READ_DEFECT_DATA || opcode == READ_LONG ||
 957             opcode == READ_BUFFER)
 958                 return CMD_SURELY_BYTE_MODE;
 959         else if (opcode == READ_6 || opcode == READ_10 ||
 960                  opcode == 0xa8 /* READ_12 */ || opcode == READ_REVERSE ||
 961                  opcode == RECOVER_BUFFERED_DATA) {
 962                 /* In case of a sequential-access target (tape), special care is
 963                  * needed here: The transfer is block-mode only if the 'fixed' bit is
 964                  * set! */
 965                 if (cmd->device->type == TYPE_TAPE && !(cmd->cmnd[1] & 1))
 966                         return CMD_SURELY_BYTE_MODE;
 967                 else
 968                         return CMD_SURELY_BLOCK_MODE;
 969         } else
 970                 return CMD_MODE_UNKNOWN;
 971 }
 972
 973
 974 /* This function calculates the number of bytes that can be transferred via
 975  * DMA. On the TT, this is arbitrary, but on the Falcon we have to use the
 976  * ST-DMA chip. There are only multiples of 512 bytes possible and max.
 977  * 255*512 bytes :-( This means also, that defining READ_OVERRUNS is not
 978  * possible on the Falcon, since that would require to program the DMA for
 979  * n*512 - atari_read_overrun bytes. But it seems that the Falcon doesn't have
 980  * the overrun problem, so this question is academic :-)
 981  */
 982
 983 static unsigned long atari_dma_xfer_len(unsigned long wanted_len,
 984                                         Scsi_Cmnd *cmd, int write_flag)
 985 {
 986         unsigned long   possible_len, limit;
 987
 988         if (IS_A_TT())
 989                 /* TT SCSI DMA can transfer arbitrary #bytes */
 990                 return wanted_len;
 991
 992         /* ST DMA chip is stupid -- only multiples of 512 bytes! (and max.
 993          * 255*512 bytes, but this should be enough)
 994          *
 995          * ++roman: Aaargl! Another Falcon-SCSI problem... There are some commands
 996          * that return a number of bytes which cannot be known beforehand. In this
 997          * case, the given transfer length is an "allocation length". Now it
 998          * can happen that this allocation length is a multiple of 512 bytes and
 999          * the DMA is used. But if not n*512 bytes really arrive, some input data
1000          * will be lost in the ST-DMA's FIFO :-( Thus, we have to distinguish
1001          * between commands that do block transfers and those that do byte
1002          * transfers. But this isn't easy... there are lots of vendor specific
1003          * commands, and the user can issue any command via the
1004          * SCSI_IOCTL_SEND_COMMAND.
1005          *
1006          * The solution: We classify SCSI commands in 1) surely block-mode cmd.s,
1007          * 2) surely byte-mode cmd.s and 3) cmd.s with unknown mode. In case 1)
1008          * and 3), the thing to do is obvious: allow any number of blocks via DMA
1009          * or none. In case 2), we apply some heuristic: Byte mode is assumed if
1010          * the transfer (allocation) length is < 1024, hoping that no cmd. not
1011          * explicitly known as byte mode have such big allocation lengths...
1012          * BTW, all the discussion above applies only to reads. DMA writes are
1013          * unproblematic anyways, since the targets aborts the transfer after
1014          * receiving a sufficient number of bytes.
1015          *
1016          * Another point: If the transfer is from/to an non-ST-RAM address, we
1017          * use the dribble buffer and thus can do only STRAM_BUFFER_SIZE bytes.
1018          */
1019
1020         if (write_flag) {
1021                 /* Write operation can always use the DMA, but the transfer size must
1022                  * be rounded up to the next multiple of 512 (atari_dma_setup() does
1023                  * this).
1024                  */
1025                 possible_len = wanted_len;
1026         } else {
1027                 /* Read operations: if the wanted transfer length is not a multiple of
1028                  * 512, we cannot use DMA, since the ST-DMA cannot split transfers
1029                  * (no interrupt on DMA finished!)
1030                  */
1031                 if (wanted_len & 0x1ff)
1032                         possible_len = 0;
1033                 else {
1034                         /* Now classify the command (see above) and decide whether it is
1035                          * allowed to do DMA at all */
1036                         switch (falcon_classify_cmd(cmd)) {
1037                         case CMD_SURELY_BLOCK_MODE:
1038                                 possible_len = wanted_len;
1039                                 break;
1040                         case CMD_SURELY_BYTE_MODE:
1041                                 possible_len = 0; /* DMA prohibited */
1042                                 break;
1043                         case CMD_MODE_UNKNOWN:
1044                         default:
1045                                 /* For unknown commands assume block transfers if the transfer
1046                                  * size/allocation length is >= 1024 */
1047                                 possible_len = (wanted_len < 1024) ? 0 : wanted_len;
1048                                 break;
1049                         }
1050                 }
1051         }
1052
1053         /* Last step: apply the hard limit on DMA transfers */
1054         limit = (atari_dma_buffer && !STRAM_ADDR(virt_to_phys(cmd->SCp.ptr))) ?
1055                     STRAM_BUFFER_SIZE : 255*512;
1056         if (possible_len > limit)
1057                 possible_len = limit;
1058
1059         if (possible_len != wanted_len)
1060                 dprintk(NDEBUG_DMA, "Sorry, must cut DMA transfer size to %ld bytes "
1061                            "instead of %ld\n", possible_len, wanted_len);
1062
1063         return possible_len;
1064 }
1065
1066
1067 #endif  /* REAL_DMA */
1068
1069
1070 /* NCR5380 register access functions
1071  *
1072  * There are separate functions for TT and Falcon, because the access
1073  * methods are quite different. The calling macros NCR5380_read and
1074  * NCR5380_write call these functions via function pointers.
1075  */
1076
1077 static unsigned char atari_scsi_tt_reg_read(unsigned char reg)
1078 {
1079         return tt_scsi_regp[reg * 2];
1080 }
1081
1082 static void atari_scsi_tt_reg_write(unsigned char reg, unsigned char value)
1083 {
1084         tt_scsi_regp[reg * 2] = value;
1085 }
1086
1087 static unsigned char atari_scsi_falcon_reg_read(unsigned char reg)
1088 {
1089         dma_wd.dma_mode_status= (u_short)(0x88 + reg);
1090         return (u_char)dma_wd.fdc_acces_seccount;
1091 }
1092
1093 static void atari_scsi_falcon_reg_write(unsigned char reg, unsigned char value)
1094 {
1095         dma_wd.dma_mode_status = (u_short)(0x88 + reg);
1096         dma_wd.fdc_acces_seccount = (u_short)value;
1097 }
1098
1099
1100 #include "atari_NCR5380.c"
1101
1102 static struct scsi_host_template driver_template = {
1103         .show_info              = atari_scsi_show_info,
1104         .name                   = "Atari native SCSI",
1105         .detect                 = atari_scsi_detect,
1106         .release                = atari_scsi_release,
1107         .info                   = atari_scsi_info,
1108         .queuecommand           = atari_scsi_queue_command,
1109         .eh_abort_handler       = atari_scsi_abort,
1110         .eh_bus_reset_handler   = atari_scsi_bus_reset,
1111         .can_queue              = 0, /* initialized at run-time */
1112         .this_id                = 0, /* initialized at run-time */
1113         .sg_tablesize           = 0, /* initialized at run-time */
1114         .cmd_per_lun            = 0, /* initialized at run-time */
1115         .use_clustering         = DISABLE_CLUSTERING
1116 };
1117
1118
1119 #include "scsi_module.c"
1120
1121 MODULE_LICENSE("GPL");