include/linux/qed/qed_roce_if.h

   1 /* QLogic qed NIC Driver
   2  * Copyright (c) 2015-2016  QLogic Corporation
   3  *
   4  * This software is available to you under a choice of one of two
   5  * licenses.  You may choose to be licensed under the terms of the GNU
   6  * General Public License (GPL) Version 2, available from the file
   7  * COPYING in the main directory of this source tree, or the
   8  * OpenIB.org BSD license below:
   9  *
  10  *     Redistribution and use in source and binary forms, with or
  11  *     without modification, are permitted provided that the following
  12  *     conditions are met:
  13  *
  14  *      - Redistributions of source code must retain the above
  15  *        copyright notice, this list of conditions and the following
  16  *        disclaimer.
  17  *
  18  *      - Redistributions in binary form must reproduce the above
  19  *        copyright notice, this list of conditions and the following
  20  *        disclaimer in the documentation and /or other materials
  21  *        provided with the distribution.
  22  *
  23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  30  * SOFTWARE.
  31  */
  32 #ifndef _QED_ROCE_IF_H
  33 #define _QED_ROCE_IF_H
  34 #include <linux/types.h>
  35 #include <linux/delay.h>
  36 #include <linux/list.h>
  37 #include <linux/mutex.h>
  38 #include <linux/pci.h>
  39 #include <linux/slab.h>
  40 #include <linux/qed/qed_if.h>
  41 #include <linux/qed/qed_ll2_if.h>
  42
  43 #define QED_RDMA_MAX_CNQ_SIZE               (0xFFFF)
  44
  45 /* rdma interface */
  46 enum qed_rdma_tid_type {
  47         QED_RDMA_TID_REGISTERED_MR,
  48         QED_RDMA_TID_FMR,
  49         QED_RDMA_TID_MW_TYPE1,
  50         QED_RDMA_TID_MW_TYPE2A
  51 };
  52
  53 struct qed_rdma_events {
  54         void *context;
  55         void (*affiliated_event)(void *context, u8 fw_event_code,
  56                                  void *fw_handle);
  57         void (*unaffiliated_event)(void *context, u8 event_code);
  58 };
  59
  60 struct qed_rdma_device {
  61         u32 vendor_id;
  62         u32 vendor_part_id;
  63         u32 hw_ver;
  64         u64 fw_ver;
  65
  66         u64 node_guid;
  67         u64 sys_image_guid;
  68
  69         u8 max_cnq;
  70         u8 max_sge;
  71         u8 max_srq_sge;
  72         u16 max_inline;
  73         u32 max_wqe;
  74         u32 max_srq_wqe;
  75         u8 max_qp_resp_rd_atomic_resc;
  76         u8 max_qp_req_rd_atomic_resc;
  77         u64 max_dev_resp_rd_atomic_resc;
  78         u32 max_cq;
  79         u32 max_qp;
  80         u32 max_srq;
  81         u32 max_mr;
  82         u64 max_mr_size;
  83         u32 max_cqe;
  84         u32 max_mw;
  85         u32 max_fmr;
  86         u32 max_mr_mw_fmr_pbl;
  87         u64 max_mr_mw_fmr_size;
  88         u32 max_pd;
  89         u32 max_ah;
  90         u8 max_pkey;
  91         u16 max_srq_wr;
  92         u8 max_stats_queues;
  93         u32 dev_caps;
  94
  95         /* Abilty to support RNR-NAK generation */
  96
  97 #define QED_RDMA_DEV_CAP_RNR_NAK_MASK                           0x1
  98 #define QED_RDMA_DEV_CAP_RNR_NAK_SHIFT                  0
  99         /* Abilty to support shutdown port */
 100 #define QED_RDMA_DEV_CAP_SHUTDOWN_PORT_MASK                     0x1
 101 #define QED_RDMA_DEV_CAP_SHUTDOWN_PORT_SHIFT                    1
 102         /* Abilty to support port active event */
 103 #define QED_RDMA_DEV_CAP_PORT_ACTIVE_EVENT_MASK         0x1
 104 #define QED_RDMA_DEV_CAP_PORT_ACTIVE_EVENT_SHIFT                2
 105         /* Abilty to support port change event */
 106 #define QED_RDMA_DEV_CAP_PORT_CHANGE_EVENT_MASK         0x1
 107 #define QED_RDMA_DEV_CAP_PORT_CHANGE_EVENT_SHIFT                3
 108         /* Abilty to support system image GUID */
 109 #define QED_RDMA_DEV_CAP_SYS_IMAGE_MASK                 0x1
 110 #define QED_RDMA_DEV_CAP_SYS_IMAGE_SHIFT                        4
 111         /* Abilty to support bad P_Key counter support */
 112 #define QED_RDMA_DEV_CAP_BAD_PKEY_CNT_MASK                      0x1
 113 #define QED_RDMA_DEV_CAP_BAD_PKEY_CNT_SHIFT                     5
 114         /* Abilty to support atomic operations */
 115 #define QED_RDMA_DEV_CAP_ATOMIC_OP_MASK                 0x1
 116 #define QED_RDMA_DEV_CAP_ATOMIC_OP_SHIFT                        6
 117 #define QED_RDMA_DEV_CAP_RESIZE_CQ_MASK                 0x1
 118 #define QED_RDMA_DEV_CAP_RESIZE_CQ_SHIFT                        7
 119         /* Abilty to support modifying the maximum number of
 120          * outstanding work requests per QP
 121          */
 122 #define QED_RDMA_DEV_CAP_RESIZE_MAX_WR_MASK                     0x1
 123 #define QED_RDMA_DEV_CAP_RESIZE_MAX_WR_SHIFT                    8
 124         /* Abilty to support automatic path migration */
 125 #define QED_RDMA_DEV_CAP_AUTO_PATH_MIG_MASK                     0x1
 126 #define QED_RDMA_DEV_CAP_AUTO_PATH_MIG_SHIFT                    9
 127         /* Abilty to support the base memory management extensions */
 128 #define QED_RDMA_DEV_CAP_BASE_MEMORY_EXT_MASK                   0x1
 129 #define QED_RDMA_DEV_CAP_BASE_MEMORY_EXT_SHIFT          10
 130 #define QED_RDMA_DEV_CAP_BASE_QUEUE_EXT_MASK                    0x1
 131 #define QED_RDMA_DEV_CAP_BASE_QUEUE_EXT_SHIFT                   11
 132         /* Abilty to support multipile page sizes per memory region */
 133 #define QED_RDMA_DEV_CAP_MULTI_PAGE_PER_MR_EXT_MASK             0x1
 134 #define QED_RDMA_DEV_CAP_MULTI_PAGE_PER_MR_EXT_SHIFT            12
 135         /* Abilty to support block list physical buffer list */
 136 #define QED_RDMA_DEV_CAP_BLOCK_MODE_MASK                        0x1
 137 #define QED_RDMA_DEV_CAP_BLOCK_MODE_SHIFT                       13
 138         /* Abilty to support zero based virtual addresses */
 139 #define QED_RDMA_DEV_CAP_ZBVA_MASK                              0x1
 140 #define QED_RDMA_DEV_CAP_ZBVA_SHIFT                             14
 141         /* Abilty to support local invalidate fencing */
 142 #define QED_RDMA_DEV_CAP_LOCAL_INV_FENCE_MASK                   0x1
 143 #define QED_RDMA_DEV_CAP_LOCAL_INV_FENCE_SHIFT          15
 144         /* Abilty to support Loopback on QP */
 145 #define QED_RDMA_DEV_CAP_LB_INDICATOR_MASK                      0x1
 146 #define QED_RDMA_DEV_CAP_LB_INDICATOR_SHIFT                     16
 147         u64 page_size_caps;
 148         u8 dev_ack_delay;
 149         u32 reserved_lkey;
 150         u32 bad_pkey_counter;
 151         struct qed_rdma_events events;
 152 };
 153
 154 enum qed_port_state {
 155         QED_RDMA_PORT_UP,
 156         QED_RDMA_PORT_DOWN,
 157 };
 158
 159 enum qed_roce_capability {
 160         QED_ROCE_V1 = 1 << 0,
 161         QED_ROCE_V2 = 1 << 1,
 162 };
 163
 164 struct qed_rdma_port {
 165         enum qed_port_state port_state;
 166         int link_speed;
 167         u64 max_msg_size;
 168         u8 source_gid_table_len;
 169         void *source_gid_table_ptr;
 170         u8 pkey_table_len;
 171         void *pkey_table_ptr;
 172         u32 pkey_bad_counter;
 173         enum qed_roce_capability capability;
 174 };
 175
 176 struct qed_rdma_cnq_params {
 177         u8 num_pbl_pages;
 178         u64 pbl_ptr;
 179 };
 180
 181 /* The CQ Mode affects the CQ doorbell transaction size.
 182  * 64/32 bit machines should configure to 32/16 bits respectively.
 183  */
 184 enum qed_rdma_cq_mode {
 185         QED_RDMA_CQ_MODE_16_BITS,
 186         QED_RDMA_CQ_MODE_32_BITS,
 187 };
 188
 189 struct qed_roce_dcqcn_params {
 190         u8 notification_point;
 191         u8 reaction_point;
 192
 193         /* fields for notification point */
 194         u32 cnp_send_timeout;
 195
 196         /* fields for reaction point */
 197         u32 rl_bc_rate;
 198         u16 rl_max_rate;
 199         u16 rl_r_ai;
 200         u16 rl_r_hai;
 201         u16 dcqcn_g;
 202         u32 dcqcn_k_us;
 203         u32 dcqcn_timeout_us;
 204 };
 205
 206 struct qed_rdma_start_in_params {
 207         struct qed_rdma_events *events;
 208         struct qed_rdma_cnq_params cnq_pbl_list[128];
 209         u8 desired_cnq;
 210         enum qed_rdma_cq_mode cq_mode;
 211         struct qed_roce_dcqcn_params dcqcn_params;
 212         u16 max_mtu;
 213         u8 mac_addr[ETH_ALEN];
 214         u8 iwarp_flags;
 215 };
 216
 217 struct qed_rdma_add_user_out_params {
 218         u16 dpi;
 219         u64 dpi_addr;
 220         u64 dpi_phys_addr;
 221         u32 dpi_size;
 222 };
 223
 224 enum roce_mode {
 225         ROCE_V1,
 226         ROCE_V2_IPV4,
 227         ROCE_V2_IPV6,
 228         MAX_ROCE_MODE
 229 };
 230
 231 union qed_gid {
 232         u8 bytes[16];
 233         u16 words[8];
 234         u32 dwords[4];
 235         u64 qwords[2];
 236         u32 ipv4_addr;
 237 };
 238
 239 struct qed_rdma_register_tid_in_params {
 240         u32 itid;
 241         enum qed_rdma_tid_type tid_type;
 242         u8 key;
 243         u16 pd;
 244         bool local_read;
 245         bool local_write;
 246         bool remote_read;
 247         bool remote_write;
 248         bool remote_atomic;
 249         bool mw_bind;
 250         u64 pbl_ptr;
 251         bool pbl_two_level;
 252         u8 pbl_page_size_log;
 253         u8 page_size_log;
 254         u32 fbo;
 255         u64 length;
 256         u64 vaddr;
 257         bool zbva;
 258         bool phy_mr;
 259         bool dma_mr;
 260
 261         bool dif_enabled;
 262         u64 dif_error_addr;
 263         u64 dif_runt_addr;
 264 };
 265
 266 struct qed_rdma_create_cq_in_params {
 267         u32 cq_handle_lo;
 268         u32 cq_handle_hi;
 269         u32 cq_size;
 270         u16 dpi;
 271         bool pbl_two_level;
 272         u64 pbl_ptr;
 273         u16 pbl_num_pages;
 274         u8 pbl_page_size_log;
 275         u8 cnq_id;
 276         u16 int_timeout;
 277 };
 278
 279 struct qed_rdma_create_srq_in_params {
 280         u64 pbl_base_addr;
 281         u64 prod_pair_addr;
 282         u16 num_pages;
 283         u16 pd_id;
 284         u16 page_size;
 285 };
 286
 287 struct qed_rdma_destroy_cq_in_params {
 288         u16 icid;
 289 };
 290
 291 struct qed_rdma_destroy_cq_out_params {
 292         u16 num_cq_notif;
 293 };
 294
 295 struct qed_rdma_create_srq_out_params {
 296         u16 srq_id;
 297 };
 298
 299 struct qed_rdma_destroy_srq_in_params {
 300         u16 srq_id;
 301 };
 302
 303 struct qed_rdma_modify_srq_in_params {
 304         u32 wqe_limit;
 305         u16 srq_id;
 306 };
 307
 308 struct qed_rdma_stats_out_params {
 309         u64 sent_bytes;
 310         u64 sent_pkts;
 311         u64 rcv_bytes;
 312         u64 rcv_pkts;
 313 };
 314
 315 struct qed_rdma_counters_out_params {
 316         u64 pd_count;
 317         u64 max_pd;
 318         u64 dpi_count;
 319         u64 max_dpi;
 320         u64 cq_count;
 321         u64 max_cq;
 322         u64 qp_count;
 323         u64 max_qp;
 324         u64 tid_count;
 325         u64 max_tid;
 326 };
 327
 328 #define QED_ROCE_TX_HEAD_FAILURE        (1)
 329 #define QED_ROCE_TX_FRAG_FAILURE        (2)
 330
 331 enum qed_rdma_type {
 332         QED_RDMA_TYPE_ROCE,
 333 };
 334
 335 struct qed_dev_rdma_info {
 336         struct qed_dev_info common;
 337         enum qed_rdma_type rdma_type;
 338 };
 339
 340 struct qed_rdma_ops {
 341         const struct qed_common_ops *common;
 342
 343         int (*fill_dev_info)(struct qed_dev *cdev,
 344                              struct qed_dev_rdma_info *info);
 345         void *(*rdma_get_rdma_ctx)(struct qed_dev *cdev);
 346
 347         int (*rdma_init)(struct qed_dev *dev,
 348                          struct qed_rdma_start_in_params *iparams);
 349
 350         int (*rdma_add_user)(void *rdma_cxt,
 351                              struct qed_rdma_add_user_out_params *oparams);
 352
 353         void (*rdma_remove_user)(void *rdma_cxt, u16 dpi);
 354         int (*rdma_stop)(void *rdma_cxt);
 355         struct qed_rdma_device* (*rdma_query_device)(void *rdma_cxt);
 356         struct qed_rdma_port* (*rdma_query_port)(void *rdma_cxt);
 357         int (*rdma_get_start_sb)(struct qed_dev *cdev);
 358         int (*rdma_get_min_cnq_msix)(struct qed_dev *cdev);
 359         void (*rdma_cnq_prod_update)(void *rdma_cxt, u8 cnq_index, u16 prod);
 360         int (*rdma_get_rdma_int)(struct qed_dev *cdev,
 361                                  struct qed_int_info *info);
 362         int (*rdma_set_rdma_int)(struct qed_dev *cdev, u16 cnt);
 363         int (*rdma_alloc_pd)(void *rdma_cxt, u16 *pd);
 364         void (*rdma_dealloc_pd)(void *rdma_cxt, u16 pd);
 365         int (*rdma_create_cq)(void *rdma_cxt,
 366                               struct qed_rdma_create_cq_in_params *params,
 367                               u16 *icid);
 368         int (*rdma_destroy_cq)(void *rdma_cxt,
 369                                struct qed_rdma_destroy_cq_in_params *iparams,
 370                                struct qed_rdma_destroy_cq_out_params *oparams);
 371 };
 372
 373 const struct qed_rdma_ops *qed_get_rdma_ops(void);
 374
 375 #endif