include/linux/iommu.h

   1 /*
   2  * Copyright (C) 2007-2008 Advanced Micro Devices, Inc.
   3  * Author: Joerg Roedel <joerg.roedel@amd.com>
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the GNU General Public License version 2 as published
   7  * by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write to the Free Software
  16  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  17  */
  18
  19 #ifndef __LINUX_IOMMU_H
  20 #define __LINUX_IOMMU_H
  21
  22 #include <linux/errno.h>
  23 #include <linux/err.h>
  24 #include <linux/of.h>
  25 #include <linux/types.h>
  26 #include <linux/scatterlist.h>
  27 #include <trace/events/iommu.h>
  28
  29 #define IOMMU_READ      (1 << 0)
  30 #define IOMMU_WRITE     (1 << 1)
  31 #define IOMMU_CACHE     (1 << 2) /* DMA cache coherency */
  32 #define IOMMU_NOEXEC    (1 << 3)
  33
  34 struct iommu_ops;
  35 struct iommu_group;
  36 struct bus_type;
  37 struct device;
  38 struct iommu_domain;
  39 struct notifier_block;
  40
  41 /* iommu fault flags */
  42 #define IOMMU_FAULT_READ        0x0
  43 #define IOMMU_FAULT_WRITE       0x1
  44
  45 typedef int (*iommu_fault_handler_t)(struct iommu_domain *,
  46                         struct device *, unsigned long, int, void *);
  47
  48 struct iommu_domain_geometry {
  49         dma_addr_t aperture_start; /* First address that can be mapped    */
  50         dma_addr_t aperture_end;   /* Last address that can be mapped     */
  51         bool force_aperture;       /* DMA only allowed in mappable range? */
  52 };
  53
  54 /* Domain feature flags */
  55 #define __IOMMU_DOMAIN_PAGING   (1U << 0)  /* Support for iommu_map/unmap */
  56 #define __IOMMU_DOMAIN_DMA_API  (1U << 1)  /* Domain for use in DMA-API
  57                                               implementation              */
  58 #define __IOMMU_DOMAIN_PT       (1U << 2)  /* Domain is identity mapped   */
  59
  60 /*
  61  * This are the possible domain-types
  62  *
  63  *      IOMMU_DOMAIN_BLOCKED    - All DMA is blocked, can be used to isolate
  64  *                                devices
  65  *      IOMMU_DOMAIN_IDENTITY   - DMA addresses are system physical addresses
  66  *      IOMMU_DOMAIN_UNMANAGED  - DMA mappings managed by IOMMU-API user, used
  67  *                                for VMs
  68  *      IOMMU_DOMAIN_DMA        - Internally used for DMA-API implementations.
  69  *                                This flag allows IOMMU drivers to implement
  70  *                                certain optimizations for these domains
  71  */
  72 #define IOMMU_DOMAIN_BLOCKED    (0U)
  73 #define IOMMU_DOMAIN_IDENTITY   (__IOMMU_DOMAIN_PT)
  74 #define IOMMU_DOMAIN_UNMANAGED  (__IOMMU_DOMAIN_PAGING)
  75 #define IOMMU_DOMAIN_DMA        (__IOMMU_DOMAIN_PAGING |        \
  76                                  __IOMMU_DOMAIN_DMA_API)
  77
  78 struct iommu_domain {
  79         unsigned type;
  80         const struct iommu_ops *ops;
  81         iommu_fault_handler_t handler;
  82         void *handler_token;
  83         struct iommu_domain_geometry geometry;
  84         void *iova_cookie;
  85 };
  86
  87 enum iommu_cap {
  88         IOMMU_CAP_CACHE_COHERENCY,      /* IOMMU can enforce cache coherent DMA
  89                                            transactions */
  90         IOMMU_CAP_INTR_REMAP,           /* IOMMU supports interrupt isolation */
  91         IOMMU_CAP_NOEXEC,               /* IOMMU_NOEXEC flag */
  92 };
  93
  94 /*
  95  * Following constraints are specifc to FSL_PAMUV1:
  96  *  -aperture must be power of 2, and naturally aligned
  97  *  -number of windows must be power of 2, and address space size
  98  *   of each window is determined by aperture size / # of windows
  99  *  -the actual size of the mapped region of a window must be power
 100  *   of 2 starting with 4KB and physical address must be naturally
 101  *   aligned.
 102  * DOMAIN_ATTR_FSL_PAMUV1 corresponds to the above mentioned contraints.
 103  * The caller can invoke iommu_domain_get_attr to check if the underlying
 104  * iommu implementation supports these constraints.
 105  */
 106
 107 enum iommu_attr {
 108         DOMAIN_ATTR_GEOMETRY,
 109         DOMAIN_ATTR_PAGING,
 110         DOMAIN_ATTR_WINDOWS,
 111         DOMAIN_ATTR_FSL_PAMU_STASH,
 112         DOMAIN_ATTR_FSL_PAMU_ENABLE,
 113         DOMAIN_ATTR_FSL_PAMUV1,
 114         DOMAIN_ATTR_NESTING,    /* two stages of translation */
 115         DOMAIN_ATTR_MAX,
 116 };
 117
 118 /**
 119  * struct iommu_dm_region - descriptor for a direct mapped memory region
 120  * @list: Linked list pointers
 121  * @start: System physical start address of the region
 122  * @length: Length of the region in bytes
 123  * @prot: IOMMU Protection flags (READ/WRITE/...)
 124  */
 125 struct iommu_dm_region {
 126         struct list_head        list;
 127         phys_addr_t             start;
 128         size_t                  length;
 129         int                     prot;
 130 };
 131
 132 #ifdef CONFIG_IOMMU_API
 133
 134 /**
 135  * struct iommu_ops - iommu ops and capabilities
 136  * @capable: check capability
 137  * @domain_alloc: allocate iommu domain
 138  * @domain_free: free iommu domain
 139  * @attach_dev: attach device to an iommu domain
 140  * @detach_dev: detach device from an iommu domain
 141  * @map: map a physically contiguous memory region to an iommu domain
 142  * @unmap: unmap a physically contiguous memory region from an iommu domain
 143  * @map_sg: map a scatter-gather list of physically contiguous memory chunks
 144  * to an iommu domain
 145  * @iova_to_phys: translate iova to physical address
 146  * @add_device: add device to iommu grouping
 147  * @remove_device: remove device from iommu grouping
 148  * @device_group: find iommu group for a particular device
 149  * @domain_get_attr: Query domain attributes
 150  * @domain_set_attr: Change domain attributes
 151  * @get_dm_regions: Request list of direct mapping requirements for a device
 152  * @put_dm_regions: Free list of direct mapping requirements for a device
 153  * @domain_window_enable: Configure and enable a particular window for a domain
 154  * @domain_window_disable: Disable a particular window for a domain
 155  * @domain_set_windows: Set the number of windows for a domain
 156  * @domain_get_windows: Return the number of windows for a domain
 157  * @of_xlate: add OF master IDs to iommu grouping
 158  * @pgsize_bitmap: bitmap of supported page sizes
 159  * @priv: per-instance data private to the iommu driver
 160  */
 161 struct iommu_ops {
 162         bool (*capable)(enum iommu_cap);
 163
 164         /* Domain allocation and freeing by the iommu driver */
 165         struct iommu_domain *(*domain_alloc)(unsigned iommu_domain_type);
 166         void (*domain_free)(struct iommu_domain *);
 167
 168         int (*attach_dev)(struct iommu_domain *domain, struct device *dev);
 169         void (*detach_dev)(struct iommu_domain *domain, struct device *dev);
 170         int (*map)(struct iommu_domain *domain, unsigned long iova,
 171                    phys_addr_t paddr, size_t size, int prot);
 172         size_t (*unmap)(struct iommu_domain *domain, unsigned long iova,
 173                      size_t size);
 174         size_t (*map_sg)(struct iommu_domain *domain, unsigned long iova,
 175                          struct scatterlist *sg, unsigned int nents, int prot);
 176         phys_addr_t (*iova_to_phys)(struct iommu_domain *domain, dma_addr_t iova);
 177         int (*add_device)(struct device *dev);
 178         void (*remove_device)(struct device *dev);
 179         struct iommu_group *(*device_group)(struct device *dev);
 180         int (*domain_get_attr)(struct iommu_domain *domain,
 181                                enum iommu_attr attr, void *data);
 182         int (*domain_set_attr)(struct iommu_domain *domain,
 183                                enum iommu_attr attr, void *data);
 184
 185         /* Request/Free a list of direct mapping requirements for a device */
 186         void (*get_dm_regions)(struct device *dev, struct list_head *list);
 187         void (*put_dm_regions)(struct device *dev, struct list_head *list);
 188
 189         /* Window handling functions */
 190         int (*domain_window_enable)(struct iommu_domain *domain, u32 wnd_nr,
 191                                     phys_addr_t paddr, u64 size, int prot);
 192         void (*domain_window_disable)(struct iommu_domain *domain, u32 wnd_nr);
 193         /* Set the number of windows per domain */
 194         int (*domain_set_windows)(struct iommu_domain *domain, u32 w_count);
 195         /* Get the number of windows per domain */
 196         u32 (*domain_get_windows)(struct iommu_domain *domain);
 197
 198 #ifdef CONFIG_OF_IOMMU
 199         int (*of_xlate)(struct device *dev, struct of_phandle_args *args);
 200 #endif
 201
 202         unsigned long pgsize_bitmap;
 203         void *priv;
 204 };
 205
 206 #define IOMMU_GROUP_NOTIFY_ADD_DEVICE           1 /* Device added */
 207 #define IOMMU_GROUP_NOTIFY_DEL_DEVICE           2 /* Pre Device removed */
 208 #define IOMMU_GROUP_NOTIFY_BIND_DRIVER          3 /* Pre Driver bind */
 209 #define IOMMU_GROUP_NOTIFY_BOUND_DRIVER         4 /* Post Driver bind */
 210 #define IOMMU_GROUP_NOTIFY_UNBIND_DRIVER        5 /* Pre Driver unbind */
 211 #define IOMMU_GROUP_NOTIFY_UNBOUND_DRIVER       6 /* Post Driver unbind */
 212
 213 extern int bus_set_iommu(struct bus_type *bus, const struct iommu_ops *ops);
 214 extern bool iommu_present(struct bus_type *bus);
 215 extern bool iommu_capable(struct bus_type *bus, enum iommu_cap cap);
 216 extern struct iommu_domain *iommu_domain_alloc(struct bus_type *bus);
 217 extern struct iommu_group *iommu_group_get_by_id(int id);
 218 extern void iommu_domain_free(struct iommu_domain *domain);
 219 extern int iommu_attach_device(struct iommu_domain *domain,
 220                                struct device *dev);
 221 extern void iommu_detach_device(struct iommu_domain *domain,
 222                                 struct device *dev);
 223 extern struct iommu_domain *iommu_get_domain_for_dev(struct device *dev);
 224 extern int iommu_map(struct iommu_domain *domain, unsigned long iova,
 225                      phys_addr_t paddr, size_t size, int prot);
 226 extern size_t iommu_unmap(struct iommu_domain *domain, unsigned long iova,
 227                        size_t size);
 228 extern size_t default_iommu_map_sg(struct iommu_domain *domain, unsigned long iova,
 229                                 struct scatterlist *sg,unsigned int nents,
 230                                 int prot);
 231 extern phys_addr_t iommu_iova_to_phys(struct iommu_domain *domain, dma_addr_t iova);
 232 extern void iommu_set_fault_handler(struct iommu_domain *domain,
 233                         iommu_fault_handler_t handler, void *token);
 234
 235 extern void iommu_get_dm_regions(struct device *dev, struct list_head *list);
 236 extern void iommu_put_dm_regions(struct device *dev, struct list_head *list);
 237 extern int iommu_request_dm_for_dev(struct device *dev);
 238
 239 extern int iommu_attach_group(struct iommu_domain *domain,
 240                               struct iommu_group *group);
 241 extern void iommu_detach_group(struct iommu_domain *domain,
 242                                struct iommu_group *group);
 243 extern struct iommu_group *iommu_group_alloc(void);
 244 extern void *iommu_group_get_iommudata(struct iommu_group *group);
 245 extern void iommu_group_set_iommudata(struct iommu_group *group,
 246                                       void *iommu_data,
 247                                       void (*release)(void *iommu_data));
 248 extern int iommu_group_set_name(struct iommu_group *group, const char *name);
 249 extern int iommu_group_add_device(struct iommu_group *group,
 250                                   struct device *dev);
 251 extern void iommu_group_remove_device(struct device *dev);
 252 extern int iommu_group_for_each_dev(struct iommu_group *group, void *data,
 253                                     int (*fn)(struct device *, void *));
 254 extern struct iommu_group *iommu_group_get(struct device *dev);
 255 extern void iommu_group_put(struct iommu_group *group);
 256 extern int iommu_group_register_notifier(struct iommu_group *group,
 257                                          struct notifier_block *nb);
 258 extern int iommu_group_unregister_notifier(struct iommu_group *group,
 259                                            struct notifier_block *nb);
 260 extern int iommu_group_id(struct iommu_group *group);
 261 extern struct iommu_group *iommu_group_get_for_dev(struct device *dev);
 262 extern struct iommu_domain *iommu_group_default_domain(struct iommu_group *);
 263
 264 extern int iommu_domain_get_attr(struct iommu_domain *domain, enum iommu_attr,
 265                                  void *data);
 266 extern int iommu_domain_set_attr(struct iommu_domain *domain, enum iommu_attr,
 267                                  void *data);
 268 struct device *iommu_device_create(struct device *parent, void *drvdata,
 269                                    const struct attribute_group **groups,
 270                                    const char *fmt, ...) __printf(4, 5);
 271 void iommu_device_destroy(struct device *dev);
 272 int iommu_device_link(struct device *dev, struct device *link);
 273 void iommu_device_unlink(struct device *dev, struct device *link);
 274
 275 /* Window handling function prototypes */
 276 extern int iommu_domain_window_enable(struct iommu_domain *domain, u32 wnd_nr,
 277                                       phys_addr_t offset, u64 size,
 278                                       int prot);
 279 extern void iommu_domain_window_disable(struct iommu_domain *domain, u32 wnd_nr);
 280 /**
 281  * report_iommu_fault() - report about an IOMMU fault to the IOMMU framework
 282  * @domain: the iommu domain where the fault has happened
 283  * @dev: the device where the fault has happened
 284  * @iova: the faulting address
 285  * @flags: mmu fault flags (e.g. IOMMU_FAULT_READ/IOMMU_FAULT_WRITE/...)
 286  *
 287  * This function should be called by the low-level IOMMU implementations
 288  * whenever IOMMU faults happen, to allow high-level users, that are
 289  * interested in such events, to know about them.
 290  *
 291  * This event may be useful for several possible use cases:
 292  * - mere logging of the event
 293  * - dynamic TLB/PTE loading
 294  * - if restarting of the faulting device is required
 295  *
 296  * Returns 0 on success and an appropriate error code otherwise (if dynamic
 297  * PTE/TLB loading will one day be supported, implementations will be able
 298  * to tell whether it succeeded or not according to this return value).
 299  *
 300  * Specifically, -ENOSYS is returned if a fault handler isn't installed
 301  * (though fault handlers can also return -ENOSYS, in case they want to
 302  * elicit the default behavior of the IOMMU drivers).
 303  */
 304 static inline int report_iommu_fault(struct iommu_domain *domain,
 305                 struct device *dev, unsigned long iova, int flags)
 306 {
 307         int ret = -ENOSYS;
 308
 309         /*
 310          * if upper layers showed interest and installed a fault handler,
 311          * invoke it.
 312          */
 313         if (domain->handler)
 314                 ret = domain->handler(domain, dev, iova, flags,
 315                                                 domain->handler_token);
 316
 317         trace_io_page_fault(dev, iova, flags);
 318         return ret;
 319 }
 320
 321 static inline size_t iommu_map_sg(struct iommu_domain *domain,
 322                                   unsigned long iova, struct scatterlist *sg,
 323                                   unsigned int nents, int prot)
 324 {
 325         return domain->ops->map_sg(domain, iova, sg, nents, prot);
 326 }
 327
 328 /* PCI device grouping function */
 329 extern struct iommu_group *pci_device_group(struct device *dev);
 330 /* Generic device grouping function */
 331 extern struct iommu_group *generic_device_group(struct device *dev);
 332
 333 #else /* CONFIG_IOMMU_API */
 334
 335 struct iommu_ops {};
 336 struct iommu_group {};
 337
 338 static inline bool iommu_present(struct bus_type *bus)
 339 {
 340         return false;
 341 }
 342
 343 static inline bool iommu_capable(struct bus_type *bus, enum iommu_cap cap)
 344 {
 345         return false;
 346 }
 347
 348 static inline struct iommu_domain *iommu_domain_alloc(struct bus_type *bus)
 349 {
 350         return NULL;
 351 }
 352
 353 static inline struct iommu_group *iommu_group_get_by_id(int id)
 354 {
 355         return NULL;
 356 }
 357
 358 static inline void iommu_domain_free(struct iommu_domain *domain)
 359 {
 360 }
 361
 362 static inline int iommu_attach_device(struct iommu_domain *domain,
 363                                       struct device *dev)
 364 {
 365         return -ENODEV;
 366 }
 367
 368 static inline void iommu_detach_device(struct iommu_domain *domain,
 369                                        struct device *dev)
 370 {
 371 }
 372
 373 static inline struct iommu_domain *iommu_get_domain_for_dev(struct device *dev)
 374 {
 375         return NULL;
 376 }
 377
 378 static inline int iommu_map(struct iommu_domain *domain, unsigned long iova,
 379                             phys_addr_t paddr, int gfp_order, int prot)
 380 {
 381         return -ENODEV;
 382 }
 383
 384 static inline int iommu_unmap(struct iommu_domain *domain, unsigned long iova,
 385                               int gfp_order)
 386 {
 387         return -ENODEV;
 388 }
 389
 390 static inline size_t iommu_map_sg(struct iommu_domain *domain,
 391                                   unsigned long iova, struct scatterlist *sg,
 392                                   unsigned int nents, int prot)
 393 {
 394         return -ENODEV;
 395 }
 396
 397 static inline int iommu_domain_window_enable(struct iommu_domain *domain,
 398                                              u32 wnd_nr, phys_addr_t paddr,
 399                                              u64 size, int prot)
 400 {
 401         return -ENODEV;
 402 }
 403
 404 static inline void iommu_domain_window_disable(struct iommu_domain *domain,
 405                                                u32 wnd_nr)
 406 {
 407 }
 408
 409 static inline phys_addr_t iommu_iova_to_phys(struct iommu_domain *domain, dma_addr_t iova)
 410 {
 411         return 0;
 412 }
 413
 414 static inline void iommu_set_fault_handler(struct iommu_domain *domain,
 415                                 iommu_fault_handler_t handler, void *token)
 416 {
 417 }
 418
 419 static inline void iommu_get_dm_regions(struct device *dev,
 420                                         struct list_head *list)
 421 {
 422 }
 423
 424 static inline void iommu_put_dm_regions(struct device *dev,
 425                                         struct list_head *list)
 426 {
 427 }
 428
 429 static inline int iommu_request_dm_for_dev(struct device *dev)
 430 {
 431         return -ENODEV;
 432 }
 433
 434 static inline int iommu_attach_group(struct iommu_domain *domain,
 435                                      struct iommu_group *group)
 436 {
 437         return -ENODEV;
 438 }
 439
 440 static inline void iommu_detach_group(struct iommu_domain *domain,
 441                                       struct iommu_group *group)
 442 {
 443 }
 444
 445 static inline struct iommu_group *iommu_group_alloc(void)
 446 {
 447         return ERR_PTR(-ENODEV);
 448 }
 449
 450 static inline void *iommu_group_get_iommudata(struct iommu_group *group)
 451 {
 452         return NULL;
 453 }
 454
 455 static inline void iommu_group_set_iommudata(struct iommu_group *group,
 456                                              void *iommu_data,
 457                                              void (*release)(void *iommu_data))
 458 {
 459 }
 460
 461 static inline int iommu_group_set_name(struct iommu_group *group,
 462                                        const char *name)
 463 {
 464         return -ENODEV;
 465 }
 466
 467 static inline int iommu_group_add_device(struct iommu_group *group,
 468                                          struct device *dev)
 469 {
 470         return -ENODEV;
 471 }
 472
 473 static inline void iommu_group_remove_device(struct device *dev)
 474 {
 475 }
 476
 477 static inline int iommu_group_for_each_dev(struct iommu_group *group,
 478                                            void *data,
 479                                            int (*fn)(struct device *, void *))
 480 {
 481         return -ENODEV;
 482 }
 483
 484 static inline struct iommu_group *iommu_group_get(struct device *dev)
 485 {
 486         return NULL;
 487 }
 488
 489 static inline void iommu_group_put(struct iommu_group *group)
 490 {
 491 }
 492
 493 static inline int iommu_group_register_notifier(struct iommu_group *group,
 494                                                 struct notifier_block *nb)
 495 {
 496         return -ENODEV;
 497 }
 498
 499 static inline int iommu_group_unregister_notifier(struct iommu_group *group,
 500                                                   struct notifier_block *nb)
 501 {
 502         return 0;
 503 }
 504
 505 static inline int iommu_group_id(struct iommu_group *group)
 506 {
 507         return -ENODEV;
 508 }
 509
 510 static inline int iommu_domain_get_attr(struct iommu_domain *domain,
 511                                         enum iommu_attr attr, void *data)
 512 {
 513         return -EINVAL;
 514 }
 515
 516 static inline int iommu_domain_set_attr(struct iommu_domain *domain,
 517                                         enum iommu_attr attr, void *data)
 518 {
 519         return -EINVAL;
 520 }
 521
 522 static inline struct device *iommu_device_create(struct device *parent,
 523                                         void *drvdata,
 524                                         const struct attribute_group **groups,
 525                                         const char *fmt, ...)
 526 {
 527         return ERR_PTR(-ENODEV);
 528 }
 529
 530 static inline void iommu_device_destroy(struct device *dev)
 531 {
 532 }
 533
 534 static inline int iommu_device_link(struct device *dev, struct device *link)
 535 {
 536         return -EINVAL;
 537 }
 538
 539 static inline void iommu_device_unlink(struct device *dev, struct device *link)
 540 {
 541 }
 542
 543 #endif /* CONFIG_IOMMU_API */
 544
 545 #endif /* __LINUX_IOMMU_H */