xfs: split metadata and log buffer completion to separate workqueues
[cascardo/linux.git] / fs / xfs / xfs_super.c
1 /*
2  * Copyright (c) 2000-2006 Silicon Graphics, Inc.
3  * All Rights Reserved.
4  *
5  * This program is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU General Public License as
7  * published by the Free Software Foundation.
8  *
9  * This program is distributed in the hope that it would be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write the Free Software Foundation,
16  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17  */
18
19 #include "xfs.h"
20 #include "xfs_shared.h"
21 #include "xfs_format.h"
22 #include "xfs_log_format.h"
23 #include "xfs_trans_resv.h"
24 #include "xfs_inum.h"
25 #include "xfs_sb.h"
26 #include "xfs_ag.h"
27 #include "xfs_mount.h"
28 #include "xfs_da_format.h"
29 #include "xfs_inode.h"
30 #include "xfs_btree.h"
31 #include "xfs_bmap.h"
32 #include "xfs_alloc.h"
33 #include "xfs_error.h"
34 #include "xfs_fsops.h"
35 #include "xfs_trans.h"
36 #include "xfs_buf_item.h"
37 #include "xfs_log.h"
38 #include "xfs_log_priv.h"
39 #include "xfs_da_btree.h"
40 #include "xfs_dir2.h"
41 #include "xfs_extfree_item.h"
42 #include "xfs_mru_cache.h"
43 #include "xfs_inode_item.h"
44 #include "xfs_icache.h"
45 #include "xfs_trace.h"
46 #include "xfs_icreate_item.h"
47 #include "xfs_dinode.h"
48 #include "xfs_filestream.h"
49 #include "xfs_quota.h"
50 #include "xfs_sysfs.h"
51
52 #include <linux/namei.h>
53 #include <linux/init.h>
54 #include <linux/slab.h>
55 #include <linux/mount.h>
56 #include <linux/mempool.h>
57 #include <linux/writeback.h>
58 #include <linux/kthread.h>
59 #include <linux/freezer.h>
60 #include <linux/parser.h>
61
62 static const struct super_operations xfs_super_operations;
63 static kmem_zone_t *xfs_ioend_zone;
64 mempool_t *xfs_ioend_pool;
65
66 static struct kset *xfs_kset;           /* top-level xfs sysfs dir */
67 #ifdef DEBUG
68 static struct xfs_kobj xfs_dbg_kobj;    /* global debug sysfs attrs */
69 #endif
70
71 #define MNTOPT_LOGBUFS  "logbufs"       /* number of XFS log buffers */
72 #define MNTOPT_LOGBSIZE "logbsize"      /* size of XFS log buffers */
73 #define MNTOPT_LOGDEV   "logdev"        /* log device */
74 #define MNTOPT_RTDEV    "rtdev"         /* realtime I/O device */
75 #define MNTOPT_BIOSIZE  "biosize"       /* log2 of preferred buffered io size */
76 #define MNTOPT_WSYNC    "wsync"         /* safe-mode nfs compatible mount */
77 #define MNTOPT_NOALIGN  "noalign"       /* turn off stripe alignment */
78 #define MNTOPT_SWALLOC  "swalloc"       /* turn on stripe width allocation */
79 #define MNTOPT_SUNIT    "sunit"         /* data volume stripe unit */
80 #define MNTOPT_SWIDTH   "swidth"        /* data volume stripe width */
81 #define MNTOPT_NOUUID   "nouuid"        /* ignore filesystem UUID */
82 #define MNTOPT_MTPT     "mtpt"          /* filesystem mount point */
83 #define MNTOPT_GRPID    "grpid"         /* group-ID from parent directory */
84 #define MNTOPT_NOGRPID  "nogrpid"       /* group-ID from current process */
85 #define MNTOPT_BSDGROUPS    "bsdgroups"    /* group-ID from parent directory */
86 #define MNTOPT_SYSVGROUPS   "sysvgroups"   /* group-ID from current process */
87 #define MNTOPT_ALLOCSIZE    "allocsize"    /* preferred allocation size */
88 #define MNTOPT_NORECOVERY   "norecovery"   /* don't run XFS recovery */
89 #define MNTOPT_BARRIER  "barrier"       /* use writer barriers for log write and
90                                          * unwritten extent conversion */
91 #define MNTOPT_NOBARRIER "nobarrier"    /* .. disable */
92 #define MNTOPT_64BITINODE   "inode64"   /* inodes can be allocated anywhere */
93 #define MNTOPT_32BITINODE   "inode32"   /* inode allocation limited to
94                                          * XFS_MAXINUMBER_32 */
95 #define MNTOPT_IKEEP    "ikeep"         /* do not free empty inode clusters */
96 #define MNTOPT_NOIKEEP  "noikeep"       /* free empty inode clusters */
97 #define MNTOPT_LARGEIO     "largeio"    /* report large I/O sizes in stat() */
98 #define MNTOPT_NOLARGEIO   "nolargeio"  /* do not report large I/O sizes
99                                          * in stat(). */
100 #define MNTOPT_ATTR2    "attr2"         /* do use attr2 attribute format */
101 #define MNTOPT_NOATTR2  "noattr2"       /* do not use attr2 attribute format */
102 #define MNTOPT_FILESTREAM  "filestreams" /* use filestreams allocator */
103 #define MNTOPT_QUOTA    "quota"         /* disk quotas (user) */
104 #define MNTOPT_NOQUOTA  "noquota"       /* no quotas */
105 #define MNTOPT_USRQUOTA "usrquota"      /* user quota enabled */
106 #define MNTOPT_GRPQUOTA "grpquota"      /* group quota enabled */
107 #define MNTOPT_PRJQUOTA "prjquota"      /* project quota enabled */
108 #define MNTOPT_UQUOTA   "uquota"        /* user quota (IRIX variant) */
109 #define MNTOPT_GQUOTA   "gquota"        /* group quota (IRIX variant) */
110 #define MNTOPT_PQUOTA   "pquota"        /* project quota (IRIX variant) */
111 #define MNTOPT_UQUOTANOENF "uqnoenforce"/* user quota limit enforcement */
112 #define MNTOPT_GQUOTANOENF "gqnoenforce"/* group quota limit enforcement */
113 #define MNTOPT_PQUOTANOENF "pqnoenforce"/* project quota limit enforcement */
114 #define MNTOPT_QUOTANOENF  "qnoenforce" /* same as uqnoenforce */
115 #define MNTOPT_DELAYLOG    "delaylog"   /* Delayed logging enabled */
116 #define MNTOPT_NODELAYLOG  "nodelaylog" /* Delayed logging disabled */
117 #define MNTOPT_DISCARD     "discard"    /* Discard unused blocks */
118 #define MNTOPT_NODISCARD   "nodiscard"  /* Do not discard unused blocks */
119
120 /*
121  * Table driven mount option parser.
122  *
123  * Currently only used for remount, but it will be used for mount
124  * in the future, too.
125  */
126 enum {
127         Opt_barrier,
128         Opt_nobarrier,
129         Opt_inode64,
130         Opt_inode32,
131         Opt_err
132 };
133
134 static const match_table_t tokens = {
135         {Opt_barrier, "barrier"},
136         {Opt_nobarrier, "nobarrier"},
137         {Opt_inode64, "inode64"},
138         {Opt_inode32, "inode32"},
139         {Opt_err, NULL}
140 };
141
142
143 STATIC unsigned long
144 suffix_kstrtoint(char *s, unsigned int base, int *res)
145 {
146         int     last, shift_left_factor = 0, _res;
147         char    *value = s;
148
149         last = strlen(value) - 1;
150         if (value[last] == 'K' || value[last] == 'k') {
151                 shift_left_factor = 10;
152                 value[last] = '\0';
153         }
154         if (value[last] == 'M' || value[last] == 'm') {
155                 shift_left_factor = 20;
156                 value[last] = '\0';
157         }
158         if (value[last] == 'G' || value[last] == 'g') {
159                 shift_left_factor = 30;
160                 value[last] = '\0';
161         }
162
163         if (kstrtoint(s, base, &_res))
164                 return -EINVAL;
165         *res = _res << shift_left_factor;
166         return 0;
167 }
168
169 /*
170  * This function fills in xfs_mount_t fields based on mount args.
171  * Note: the superblock has _not_ yet been read in.
172  *
173  * Note that this function leaks the various device name allocations on
174  * failure.  The caller takes care of them.
175  */
176 STATIC int
177 xfs_parseargs(
178         struct xfs_mount        *mp,
179         char                    *options)
180 {
181         struct super_block      *sb = mp->m_super;
182         char                    *this_char, *value;
183         int                     dsunit = 0;
184         int                     dswidth = 0;
185         int                     iosize = 0;
186         __uint8_t               iosizelog = 0;
187
188         /*
189          * set up the mount name first so all the errors will refer to the
190          * correct device.
191          */
192         mp->m_fsname = kstrndup(sb->s_id, MAXNAMELEN, GFP_KERNEL);
193         if (!mp->m_fsname)
194                 return -ENOMEM;
195         mp->m_fsname_len = strlen(mp->m_fsname) + 1;
196
197         /*
198          * Copy binary VFS mount flags we are interested in.
199          */
200         if (sb->s_flags & MS_RDONLY)
201                 mp->m_flags |= XFS_MOUNT_RDONLY;
202         if (sb->s_flags & MS_DIRSYNC)
203                 mp->m_flags |= XFS_MOUNT_DIRSYNC;
204         if (sb->s_flags & MS_SYNCHRONOUS)
205                 mp->m_flags |= XFS_MOUNT_WSYNC;
206
207         /*
208          * Set some default flags that could be cleared by the mount option
209          * parsing.
210          */
211         mp->m_flags |= XFS_MOUNT_BARRIER;
212         mp->m_flags |= XFS_MOUNT_COMPAT_IOSIZE;
213
214         /*
215          * These can be overridden by the mount option parsing.
216          */
217         mp->m_logbufs = -1;
218         mp->m_logbsize = -1;
219
220         if (!options)
221                 goto done;
222
223         while ((this_char = strsep(&options, ",")) != NULL) {
224                 if (!*this_char)
225                         continue;
226                 if ((value = strchr(this_char, '=')) != NULL)
227                         *value++ = 0;
228
229                 if (!strcmp(this_char, MNTOPT_LOGBUFS)) {
230                         if (!value || !*value) {
231                                 xfs_warn(mp, "%s option requires an argument",
232                                         this_char);
233                                 return -EINVAL;
234                         }
235                         if (kstrtoint(value, 10, &mp->m_logbufs))
236                                 return -EINVAL;
237                 } else if (!strcmp(this_char, MNTOPT_LOGBSIZE)) {
238                         if (!value || !*value) {
239                                 xfs_warn(mp, "%s option requires an argument",
240                                         this_char);
241                                 return -EINVAL;
242                         }
243                         if (suffix_kstrtoint(value, 10, &mp->m_logbsize))
244                                 return -EINVAL;
245                 } else if (!strcmp(this_char, MNTOPT_LOGDEV)) {
246                         if (!value || !*value) {
247                                 xfs_warn(mp, "%s option requires an argument",
248                                         this_char);
249                                 return -EINVAL;
250                         }
251                         mp->m_logname = kstrndup(value, MAXNAMELEN, GFP_KERNEL);
252                         if (!mp->m_logname)
253                                 return -ENOMEM;
254                 } else if (!strcmp(this_char, MNTOPT_MTPT)) {
255                         xfs_warn(mp, "%s option not allowed on this system",
256                                 this_char);
257                         return -EINVAL;
258                 } else if (!strcmp(this_char, MNTOPT_RTDEV)) {
259                         if (!value || !*value) {
260                                 xfs_warn(mp, "%s option requires an argument",
261                                         this_char);
262                                 return -EINVAL;
263                         }
264                         mp->m_rtname = kstrndup(value, MAXNAMELEN, GFP_KERNEL);
265                         if (!mp->m_rtname)
266                                 return -ENOMEM;
267                 } else if (!strcmp(this_char, MNTOPT_BIOSIZE)) {
268                         if (!value || !*value) {
269                                 xfs_warn(mp, "%s option requires an argument",
270                                         this_char);
271                                 return -EINVAL;
272                         }
273                         if (kstrtoint(value, 10, &iosize))
274                                 return -EINVAL;
275                         iosizelog = ffs(iosize) - 1;
276                 } else if (!strcmp(this_char, MNTOPT_ALLOCSIZE)) {
277                         if (!value || !*value) {
278                                 xfs_warn(mp, "%s option requires an argument",
279                                         this_char);
280                                 return -EINVAL;
281                         }
282                         if (suffix_kstrtoint(value, 10, &iosize))
283                                 return -EINVAL;
284                         iosizelog = ffs(iosize) - 1;
285                 } else if (!strcmp(this_char, MNTOPT_GRPID) ||
286                            !strcmp(this_char, MNTOPT_BSDGROUPS)) {
287                         mp->m_flags |= XFS_MOUNT_GRPID;
288                 } else if (!strcmp(this_char, MNTOPT_NOGRPID) ||
289                            !strcmp(this_char, MNTOPT_SYSVGROUPS)) {
290                         mp->m_flags &= ~XFS_MOUNT_GRPID;
291                 } else if (!strcmp(this_char, MNTOPT_WSYNC)) {
292                         mp->m_flags |= XFS_MOUNT_WSYNC;
293                 } else if (!strcmp(this_char, MNTOPT_NORECOVERY)) {
294                         mp->m_flags |= XFS_MOUNT_NORECOVERY;
295                 } else if (!strcmp(this_char, MNTOPT_NOALIGN)) {
296                         mp->m_flags |= XFS_MOUNT_NOALIGN;
297                 } else if (!strcmp(this_char, MNTOPT_SWALLOC)) {
298                         mp->m_flags |= XFS_MOUNT_SWALLOC;
299                 } else if (!strcmp(this_char, MNTOPT_SUNIT)) {
300                         if (!value || !*value) {
301                                 xfs_warn(mp, "%s option requires an argument",
302                                         this_char);
303                                 return -EINVAL;
304                         }
305                         if (kstrtoint(value, 10, &dsunit))
306                                 return -EINVAL;
307                 } else if (!strcmp(this_char, MNTOPT_SWIDTH)) {
308                         if (!value || !*value) {
309                                 xfs_warn(mp, "%s option requires an argument",
310                                         this_char);
311                                 return -EINVAL;
312                         }
313                         if (kstrtoint(value, 10, &dswidth))
314                                 return -EINVAL;
315                 } else if (!strcmp(this_char, MNTOPT_32BITINODE)) {
316                         mp->m_flags |= XFS_MOUNT_SMALL_INUMS;
317                 } else if (!strcmp(this_char, MNTOPT_64BITINODE)) {
318                         mp->m_flags &= ~XFS_MOUNT_SMALL_INUMS;
319                 } else if (!strcmp(this_char, MNTOPT_NOUUID)) {
320                         mp->m_flags |= XFS_MOUNT_NOUUID;
321                 } else if (!strcmp(this_char, MNTOPT_BARRIER)) {
322                         mp->m_flags |= XFS_MOUNT_BARRIER;
323                 } else if (!strcmp(this_char, MNTOPT_NOBARRIER)) {
324                         mp->m_flags &= ~XFS_MOUNT_BARRIER;
325                 } else if (!strcmp(this_char, MNTOPT_IKEEP)) {
326                         mp->m_flags |= XFS_MOUNT_IKEEP;
327                 } else if (!strcmp(this_char, MNTOPT_NOIKEEP)) {
328                         mp->m_flags &= ~XFS_MOUNT_IKEEP;
329                 } else if (!strcmp(this_char, MNTOPT_LARGEIO)) {
330                         mp->m_flags &= ~XFS_MOUNT_COMPAT_IOSIZE;
331                 } else if (!strcmp(this_char, MNTOPT_NOLARGEIO)) {
332                         mp->m_flags |= XFS_MOUNT_COMPAT_IOSIZE;
333                 } else if (!strcmp(this_char, MNTOPT_ATTR2)) {
334                         mp->m_flags |= XFS_MOUNT_ATTR2;
335                 } else if (!strcmp(this_char, MNTOPT_NOATTR2)) {
336                         mp->m_flags &= ~XFS_MOUNT_ATTR2;
337                         mp->m_flags |= XFS_MOUNT_NOATTR2;
338                 } else if (!strcmp(this_char, MNTOPT_FILESTREAM)) {
339                         mp->m_flags |= XFS_MOUNT_FILESTREAMS;
340                 } else if (!strcmp(this_char, MNTOPT_NOQUOTA)) {
341                         mp->m_qflags &= ~XFS_ALL_QUOTA_ACCT;
342                         mp->m_qflags &= ~XFS_ALL_QUOTA_ENFD;
343                         mp->m_qflags &= ~XFS_ALL_QUOTA_ACTIVE;
344                 } else if (!strcmp(this_char, MNTOPT_QUOTA) ||
345                            !strcmp(this_char, MNTOPT_UQUOTA) ||
346                            !strcmp(this_char, MNTOPT_USRQUOTA)) {
347                         mp->m_qflags |= (XFS_UQUOTA_ACCT | XFS_UQUOTA_ACTIVE |
348                                          XFS_UQUOTA_ENFD);
349                 } else if (!strcmp(this_char, MNTOPT_QUOTANOENF) ||
350                            !strcmp(this_char, MNTOPT_UQUOTANOENF)) {
351                         mp->m_qflags |= (XFS_UQUOTA_ACCT | XFS_UQUOTA_ACTIVE);
352                         mp->m_qflags &= ~XFS_UQUOTA_ENFD;
353                 } else if (!strcmp(this_char, MNTOPT_PQUOTA) ||
354                            !strcmp(this_char, MNTOPT_PRJQUOTA)) {
355                         mp->m_qflags |= (XFS_PQUOTA_ACCT | XFS_PQUOTA_ACTIVE |
356                                          XFS_PQUOTA_ENFD);
357                 } else if (!strcmp(this_char, MNTOPT_PQUOTANOENF)) {
358                         mp->m_qflags |= (XFS_PQUOTA_ACCT | XFS_PQUOTA_ACTIVE);
359                         mp->m_qflags &= ~XFS_PQUOTA_ENFD;
360                 } else if (!strcmp(this_char, MNTOPT_GQUOTA) ||
361                            !strcmp(this_char, MNTOPT_GRPQUOTA)) {
362                         mp->m_qflags |= (XFS_GQUOTA_ACCT | XFS_GQUOTA_ACTIVE |
363                                          XFS_GQUOTA_ENFD);
364                 } else if (!strcmp(this_char, MNTOPT_GQUOTANOENF)) {
365                         mp->m_qflags |= (XFS_GQUOTA_ACCT | XFS_GQUOTA_ACTIVE);
366                         mp->m_qflags &= ~XFS_GQUOTA_ENFD;
367                 } else if (!strcmp(this_char, MNTOPT_DELAYLOG)) {
368                         xfs_warn(mp,
369         "delaylog is the default now, option is deprecated.");
370                 } else if (!strcmp(this_char, MNTOPT_NODELAYLOG)) {
371                         xfs_warn(mp,
372         "nodelaylog support has been removed, option is deprecated.");
373                 } else if (!strcmp(this_char, MNTOPT_DISCARD)) {
374                         mp->m_flags |= XFS_MOUNT_DISCARD;
375                 } else if (!strcmp(this_char, MNTOPT_NODISCARD)) {
376                         mp->m_flags &= ~XFS_MOUNT_DISCARD;
377                 } else if (!strcmp(this_char, "ihashsize")) {
378                         xfs_warn(mp,
379         "ihashsize no longer used, option is deprecated.");
380                 } else if (!strcmp(this_char, "osyncisdsync")) {
381                         xfs_warn(mp,
382         "osyncisdsync has no effect, option is deprecated.");
383                 } else if (!strcmp(this_char, "osyncisosync")) {
384                         xfs_warn(mp,
385         "osyncisosync has no effect, option is deprecated.");
386                 } else if (!strcmp(this_char, "irixsgid")) {
387                         xfs_warn(mp,
388         "irixsgid is now a sysctl(2) variable, option is deprecated.");
389                 } else {
390                         xfs_warn(mp, "unknown mount option [%s].", this_char);
391                         return -EINVAL;
392                 }
393         }
394
395         /*
396          * no recovery flag requires a read-only mount
397          */
398         if ((mp->m_flags & XFS_MOUNT_NORECOVERY) &&
399             !(mp->m_flags & XFS_MOUNT_RDONLY)) {
400                 xfs_warn(mp, "no-recovery mounts must be read-only.");
401                 return -EINVAL;
402         }
403
404         if ((mp->m_flags & XFS_MOUNT_NOALIGN) && (dsunit || dswidth)) {
405                 xfs_warn(mp,
406         "sunit and swidth options incompatible with the noalign option");
407                 return -EINVAL;
408         }
409
410 #ifndef CONFIG_XFS_QUOTA
411         if (XFS_IS_QUOTA_RUNNING(mp)) {
412                 xfs_warn(mp, "quota support not available in this kernel.");
413                 return -EINVAL;
414         }
415 #endif
416
417         if ((dsunit && !dswidth) || (!dsunit && dswidth)) {
418                 xfs_warn(mp, "sunit and swidth must be specified together");
419                 return -EINVAL;
420         }
421
422         if (dsunit && (dswidth % dsunit != 0)) {
423                 xfs_warn(mp,
424         "stripe width (%d) must be a multiple of the stripe unit (%d)",
425                         dswidth, dsunit);
426                 return -EINVAL;
427         }
428
429 done:
430         if (dsunit && !(mp->m_flags & XFS_MOUNT_NOALIGN)) {
431                 /*
432                  * At this point the superblock has not been read
433                  * in, therefore we do not know the block size.
434                  * Before the mount call ends we will convert
435                  * these to FSBs.
436                  */
437                 mp->m_dalign = dsunit;
438                 mp->m_swidth = dswidth;
439         }
440
441         if (mp->m_logbufs != -1 &&
442             mp->m_logbufs != 0 &&
443             (mp->m_logbufs < XLOG_MIN_ICLOGS ||
444              mp->m_logbufs > XLOG_MAX_ICLOGS)) {
445                 xfs_warn(mp, "invalid logbufs value: %d [not %d-%d]",
446                         mp->m_logbufs, XLOG_MIN_ICLOGS, XLOG_MAX_ICLOGS);
447                 return -EINVAL;
448         }
449         if (mp->m_logbsize != -1 &&
450             mp->m_logbsize !=  0 &&
451             (mp->m_logbsize < XLOG_MIN_RECORD_BSIZE ||
452              mp->m_logbsize > XLOG_MAX_RECORD_BSIZE ||
453              !is_power_of_2(mp->m_logbsize))) {
454                 xfs_warn(mp,
455                         "invalid logbufsize: %d [not 16k,32k,64k,128k or 256k]",
456                         mp->m_logbsize);
457                 return -EINVAL;
458         }
459
460         if (iosizelog) {
461                 if (iosizelog > XFS_MAX_IO_LOG ||
462                     iosizelog < XFS_MIN_IO_LOG) {
463                         xfs_warn(mp, "invalid log iosize: %d [not %d-%d]",
464                                 iosizelog, XFS_MIN_IO_LOG,
465                                 XFS_MAX_IO_LOG);
466                         return -EINVAL;
467                 }
468
469                 mp->m_flags |= XFS_MOUNT_DFLT_IOSIZE;
470                 mp->m_readio_log = iosizelog;
471                 mp->m_writeio_log = iosizelog;
472         }
473
474         return 0;
475 }
476
477 struct proc_xfs_info {
478         int     flag;
479         char    *str;
480 };
481
482 STATIC int
483 xfs_showargs(
484         struct xfs_mount        *mp,
485         struct seq_file         *m)
486 {
487         static struct proc_xfs_info xfs_info_set[] = {
488                 /* the few simple ones we can get from the mount struct */
489                 { XFS_MOUNT_IKEEP,              "," MNTOPT_IKEEP },
490                 { XFS_MOUNT_WSYNC,              "," MNTOPT_WSYNC },
491                 { XFS_MOUNT_NOALIGN,            "," MNTOPT_NOALIGN },
492                 { XFS_MOUNT_SWALLOC,            "," MNTOPT_SWALLOC },
493                 { XFS_MOUNT_NOUUID,             "," MNTOPT_NOUUID },
494                 { XFS_MOUNT_NORECOVERY,         "," MNTOPT_NORECOVERY },
495                 { XFS_MOUNT_ATTR2,              "," MNTOPT_ATTR2 },
496                 { XFS_MOUNT_FILESTREAMS,        "," MNTOPT_FILESTREAM },
497                 { XFS_MOUNT_GRPID,              "," MNTOPT_GRPID },
498                 { XFS_MOUNT_DISCARD,            "," MNTOPT_DISCARD },
499                 { XFS_MOUNT_SMALL_INUMS,        "," MNTOPT_32BITINODE },
500                 { 0, NULL }
501         };
502         static struct proc_xfs_info xfs_info_unset[] = {
503                 /* the few simple ones we can get from the mount struct */
504                 { XFS_MOUNT_COMPAT_IOSIZE,      "," MNTOPT_LARGEIO },
505                 { XFS_MOUNT_BARRIER,            "," MNTOPT_NOBARRIER },
506                 { XFS_MOUNT_SMALL_INUMS,        "," MNTOPT_64BITINODE },
507                 { 0, NULL }
508         };
509         struct proc_xfs_info    *xfs_infop;
510
511         for (xfs_infop = xfs_info_set; xfs_infop->flag; xfs_infop++) {
512                 if (mp->m_flags & xfs_infop->flag)
513                         seq_puts(m, xfs_infop->str);
514         }
515         for (xfs_infop = xfs_info_unset; xfs_infop->flag; xfs_infop++) {
516                 if (!(mp->m_flags & xfs_infop->flag))
517                         seq_puts(m, xfs_infop->str);
518         }
519
520         if (mp->m_flags & XFS_MOUNT_DFLT_IOSIZE)
521                 seq_printf(m, "," MNTOPT_ALLOCSIZE "=%dk",
522                                 (int)(1 << mp->m_writeio_log) >> 10);
523
524         if (mp->m_logbufs > 0)
525                 seq_printf(m, "," MNTOPT_LOGBUFS "=%d", mp->m_logbufs);
526         if (mp->m_logbsize > 0)
527                 seq_printf(m, "," MNTOPT_LOGBSIZE "=%dk", mp->m_logbsize >> 10);
528
529         if (mp->m_logname)
530                 seq_printf(m, "," MNTOPT_LOGDEV "=%s", mp->m_logname);
531         if (mp->m_rtname)
532                 seq_printf(m, "," MNTOPT_RTDEV "=%s", mp->m_rtname);
533
534         if (mp->m_dalign > 0)
535                 seq_printf(m, "," MNTOPT_SUNIT "=%d",
536                                 (int)XFS_FSB_TO_BB(mp, mp->m_dalign));
537         if (mp->m_swidth > 0)
538                 seq_printf(m, "," MNTOPT_SWIDTH "=%d",
539                                 (int)XFS_FSB_TO_BB(mp, mp->m_swidth));
540
541         if (mp->m_qflags & (XFS_UQUOTA_ACCT|XFS_UQUOTA_ENFD))
542                 seq_puts(m, "," MNTOPT_USRQUOTA);
543         else if (mp->m_qflags & XFS_UQUOTA_ACCT)
544                 seq_puts(m, "," MNTOPT_UQUOTANOENF);
545
546         if (mp->m_qflags & XFS_PQUOTA_ACCT) {
547                 if (mp->m_qflags & XFS_PQUOTA_ENFD)
548                         seq_puts(m, "," MNTOPT_PRJQUOTA);
549                 else
550                         seq_puts(m, "," MNTOPT_PQUOTANOENF);
551         }
552         if (mp->m_qflags & XFS_GQUOTA_ACCT) {
553                 if (mp->m_qflags & XFS_GQUOTA_ENFD)
554                         seq_puts(m, "," MNTOPT_GRPQUOTA);
555                 else
556                         seq_puts(m, "," MNTOPT_GQUOTANOENF);
557         }
558
559         if (!(mp->m_qflags & XFS_ALL_QUOTA_ACCT))
560                 seq_puts(m, "," MNTOPT_NOQUOTA);
561
562         return 0;
563 }
564 __uint64_t
565 xfs_max_file_offset(
566         unsigned int            blockshift)
567 {
568         unsigned int            pagefactor = 1;
569         unsigned int            bitshift = BITS_PER_LONG - 1;
570
571         /* Figure out maximum filesize, on Linux this can depend on
572          * the filesystem blocksize (on 32 bit platforms).
573          * __block_write_begin does this in an [unsigned] long...
574          *      page->index << (PAGE_CACHE_SHIFT - bbits)
575          * So, for page sized blocks (4K on 32 bit platforms),
576          * this wraps at around 8Tb (hence MAX_LFS_FILESIZE which is
577          *      (((u64)PAGE_CACHE_SIZE << (BITS_PER_LONG-1))-1)
578          * but for smaller blocksizes it is less (bbits = log2 bsize).
579          * Note1: get_block_t takes a long (implicit cast from above)
580          * Note2: The Large Block Device (LBD and HAVE_SECTOR_T) patch
581          * can optionally convert the [unsigned] long from above into
582          * an [unsigned] long long.
583          */
584
585 #if BITS_PER_LONG == 32
586 # if defined(CONFIG_LBDAF)
587         ASSERT(sizeof(sector_t) == 8);
588         pagefactor = PAGE_CACHE_SIZE;
589         bitshift = BITS_PER_LONG;
590 # else
591         pagefactor = PAGE_CACHE_SIZE >> (PAGE_CACHE_SHIFT - blockshift);
592 # endif
593 #endif
594
595         return (((__uint64_t)pagefactor) << bitshift) - 1;
596 }
597
598 /*
599  * xfs_set_inode32() and xfs_set_inode64() are passed an agcount
600  * because in the growfs case, mp->m_sb.sb_agcount is not updated
601  * yet to the potentially higher ag count.
602  */
603 xfs_agnumber_t
604 xfs_set_inode32(struct xfs_mount *mp, xfs_agnumber_t agcount)
605 {
606         xfs_agnumber_t  index = 0;
607         xfs_agnumber_t  maxagi = 0;
608         xfs_sb_t        *sbp = &mp->m_sb;
609         xfs_agnumber_t  max_metadata;
610         xfs_agino_t     agino;
611         xfs_ino_t       ino;
612         xfs_perag_t     *pag;
613
614         /* Calculate how much should be reserved for inodes to meet
615          * the max inode percentage.
616          */
617         if (mp->m_maxicount) {
618                 __uint64_t      icount;
619
620                 icount = sbp->sb_dblocks * sbp->sb_imax_pct;
621                 do_div(icount, 100);
622                 icount += sbp->sb_agblocks - 1;
623                 do_div(icount, sbp->sb_agblocks);
624                 max_metadata = icount;
625         } else {
626                 max_metadata = agcount;
627         }
628
629         agino = XFS_OFFBNO_TO_AGINO(mp, sbp->sb_agblocks - 1, 0);
630
631         for (index = 0; index < agcount; index++) {
632                 ino = XFS_AGINO_TO_INO(mp, index, agino);
633
634                 if (ino > XFS_MAXINUMBER_32) {
635                         pag = xfs_perag_get(mp, index);
636                         pag->pagi_inodeok = 0;
637                         pag->pagf_metadata = 0;
638                         xfs_perag_put(pag);
639                         continue;
640                 }
641
642                 pag = xfs_perag_get(mp, index);
643                 pag->pagi_inodeok = 1;
644                 maxagi++;
645                 if (index < max_metadata)
646                         pag->pagf_metadata = 1;
647                 xfs_perag_put(pag);
648         }
649         mp->m_flags |= (XFS_MOUNT_32BITINODES |
650                         XFS_MOUNT_SMALL_INUMS);
651
652         return maxagi;
653 }
654
655 xfs_agnumber_t
656 xfs_set_inode64(struct xfs_mount *mp, xfs_agnumber_t agcount)
657 {
658         xfs_agnumber_t index = 0;
659
660         for (index = 0; index < agcount; index++) {
661                 struct xfs_perag        *pag;
662
663                 pag = xfs_perag_get(mp, index);
664                 pag->pagi_inodeok = 1;
665                 pag->pagf_metadata = 0;
666                 xfs_perag_put(pag);
667         }
668
669         /* There is no need for lock protection on m_flags,
670          * the rw_semaphore of the VFS superblock is locked
671          * during mount/umount/remount operations, so this is
672          * enough to avoid concurency on the m_flags field
673          */
674         mp->m_flags &= ~(XFS_MOUNT_32BITINODES |
675                          XFS_MOUNT_SMALL_INUMS);
676         return index;
677 }
678
679 STATIC int
680 xfs_blkdev_get(
681         xfs_mount_t             *mp,
682         const char              *name,
683         struct block_device     **bdevp)
684 {
685         int                     error = 0;
686
687         *bdevp = blkdev_get_by_path(name, FMODE_READ|FMODE_WRITE|FMODE_EXCL,
688                                     mp);
689         if (IS_ERR(*bdevp)) {
690                 error = PTR_ERR(*bdevp);
691                 xfs_warn(mp, "Invalid device [%s], error=%d\n", name, error);
692         }
693
694         return error;
695 }
696
697 STATIC void
698 xfs_blkdev_put(
699         struct block_device     *bdev)
700 {
701         if (bdev)
702                 blkdev_put(bdev, FMODE_READ|FMODE_WRITE|FMODE_EXCL);
703 }
704
705 void
706 xfs_blkdev_issue_flush(
707         xfs_buftarg_t           *buftarg)
708 {
709         blkdev_issue_flush(buftarg->bt_bdev, GFP_NOFS, NULL);
710 }
711
712 STATIC void
713 xfs_close_devices(
714         struct xfs_mount        *mp)
715 {
716         if (mp->m_logdev_targp && mp->m_logdev_targp != mp->m_ddev_targp) {
717                 struct block_device *logdev = mp->m_logdev_targp->bt_bdev;
718                 xfs_free_buftarg(mp, mp->m_logdev_targp);
719                 xfs_blkdev_put(logdev);
720         }
721         if (mp->m_rtdev_targp) {
722                 struct block_device *rtdev = mp->m_rtdev_targp->bt_bdev;
723                 xfs_free_buftarg(mp, mp->m_rtdev_targp);
724                 xfs_blkdev_put(rtdev);
725         }
726         xfs_free_buftarg(mp, mp->m_ddev_targp);
727 }
728
729 /*
730  * The file system configurations are:
731  *      (1) device (partition) with data and internal log
732  *      (2) logical volume with data and log subvolumes.
733  *      (3) logical volume with data, log, and realtime subvolumes.
734  *
735  * We only have to handle opening the log and realtime volumes here if
736  * they are present.  The data subvolume has already been opened by
737  * get_sb_bdev() and is stored in sb->s_bdev.
738  */
739 STATIC int
740 xfs_open_devices(
741         struct xfs_mount        *mp)
742 {
743         struct block_device     *ddev = mp->m_super->s_bdev;
744         struct block_device     *logdev = NULL, *rtdev = NULL;
745         int                     error;
746
747         /*
748          * Open real time and log devices - order is important.
749          */
750         if (mp->m_logname) {
751                 error = xfs_blkdev_get(mp, mp->m_logname, &logdev);
752                 if (error)
753                         goto out;
754         }
755
756         if (mp->m_rtname) {
757                 error = xfs_blkdev_get(mp, mp->m_rtname, &rtdev);
758                 if (error)
759                         goto out_close_logdev;
760
761                 if (rtdev == ddev || rtdev == logdev) {
762                         xfs_warn(mp,
763         "Cannot mount filesystem with identical rtdev and ddev/logdev.");
764                         error = -EINVAL;
765                         goto out_close_rtdev;
766                 }
767         }
768
769         /*
770          * Setup xfs_mount buffer target pointers
771          */
772         error = -ENOMEM;
773         mp->m_ddev_targp = xfs_alloc_buftarg(mp, ddev);
774         if (!mp->m_ddev_targp)
775                 goto out_close_rtdev;
776
777         if (rtdev) {
778                 mp->m_rtdev_targp = xfs_alloc_buftarg(mp, rtdev);
779                 if (!mp->m_rtdev_targp)
780                         goto out_free_ddev_targ;
781         }
782
783         if (logdev && logdev != ddev) {
784                 mp->m_logdev_targp = xfs_alloc_buftarg(mp, logdev);
785                 if (!mp->m_logdev_targp)
786                         goto out_free_rtdev_targ;
787         } else {
788                 mp->m_logdev_targp = mp->m_ddev_targp;
789         }
790
791         return 0;
792
793  out_free_rtdev_targ:
794         if (mp->m_rtdev_targp)
795                 xfs_free_buftarg(mp, mp->m_rtdev_targp);
796  out_free_ddev_targ:
797         xfs_free_buftarg(mp, mp->m_ddev_targp);
798  out_close_rtdev:
799         xfs_blkdev_put(rtdev);
800  out_close_logdev:
801         if (logdev && logdev != ddev)
802                 xfs_blkdev_put(logdev);
803  out:
804         return error;
805 }
806
807 /*
808  * Setup xfs_mount buffer target pointers based on superblock
809  */
810 STATIC int
811 xfs_setup_devices(
812         struct xfs_mount        *mp)
813 {
814         int                     error;
815
816         error = xfs_setsize_buftarg(mp->m_ddev_targp, mp->m_sb.sb_sectsize);
817         if (error)
818                 return error;
819
820         if (mp->m_logdev_targp && mp->m_logdev_targp != mp->m_ddev_targp) {
821                 unsigned int    log_sector_size = BBSIZE;
822
823                 if (xfs_sb_version_hassector(&mp->m_sb))
824                         log_sector_size = mp->m_sb.sb_logsectsize;
825                 error = xfs_setsize_buftarg(mp->m_logdev_targp,
826                                             log_sector_size);
827                 if (error)
828                         return error;
829         }
830         if (mp->m_rtdev_targp) {
831                 error = xfs_setsize_buftarg(mp->m_rtdev_targp,
832                                             mp->m_sb.sb_sectsize);
833                 if (error)
834                         return error;
835         }
836
837         return 0;
838 }
839
840 STATIC int
841 xfs_init_mount_workqueues(
842         struct xfs_mount        *mp)
843 {
844         mp->m_buf_workqueue = alloc_workqueue("xfs-buf/%s",
845                         WQ_MEM_RECLAIM|WQ_FREEZABLE, 1, mp->m_fsname);
846         if (!mp->m_buf_workqueue)
847                 goto out;
848
849         mp->m_data_workqueue = alloc_workqueue("xfs-data/%s",
850                         WQ_MEM_RECLAIM|WQ_FREEZABLE, 0, mp->m_fsname);
851         if (!mp->m_data_workqueue)
852                 goto out_destroy_buf;
853
854         mp->m_unwritten_workqueue = alloc_workqueue("xfs-conv/%s",
855                         WQ_MEM_RECLAIM|WQ_FREEZABLE, 0, mp->m_fsname);
856         if (!mp->m_unwritten_workqueue)
857                 goto out_destroy_data_iodone_queue;
858
859         mp->m_cil_workqueue = alloc_workqueue("xfs-cil/%s",
860                         WQ_MEM_RECLAIM|WQ_FREEZABLE, 0, mp->m_fsname);
861         if (!mp->m_cil_workqueue)
862                 goto out_destroy_unwritten;
863
864         mp->m_reclaim_workqueue = alloc_workqueue("xfs-reclaim/%s",
865                         WQ_FREEZABLE, 0, mp->m_fsname);
866         if (!mp->m_reclaim_workqueue)
867                 goto out_destroy_cil;
868
869         mp->m_log_workqueue = alloc_workqueue("xfs-log/%s",
870                         WQ_FREEZABLE|WQ_HIGHPRI, 0, mp->m_fsname);
871         if (!mp->m_log_workqueue)
872                 goto out_destroy_reclaim;
873
874         mp->m_eofblocks_workqueue = alloc_workqueue("xfs-eofblocks/%s",
875                         WQ_FREEZABLE, 0, mp->m_fsname);
876         if (!mp->m_eofblocks_workqueue)
877                 goto out_destroy_log;
878
879         return 0;
880
881 out_destroy_log:
882         destroy_workqueue(mp->m_log_workqueue);
883 out_destroy_reclaim:
884         destroy_workqueue(mp->m_reclaim_workqueue);
885 out_destroy_cil:
886         destroy_workqueue(mp->m_cil_workqueue);
887 out_destroy_unwritten:
888         destroy_workqueue(mp->m_unwritten_workqueue);
889 out_destroy_data_iodone_queue:
890         destroy_workqueue(mp->m_data_workqueue);
891 out_destroy_buf:
892         destroy_workqueue(mp->m_buf_workqueue);
893 out:
894         return -ENOMEM;
895 }
896
897 STATIC void
898 xfs_destroy_mount_workqueues(
899         struct xfs_mount        *mp)
900 {
901         destroy_workqueue(mp->m_eofblocks_workqueue);
902         destroy_workqueue(mp->m_log_workqueue);
903         destroy_workqueue(mp->m_reclaim_workqueue);
904         destroy_workqueue(mp->m_cil_workqueue);
905         destroy_workqueue(mp->m_data_workqueue);
906         destroy_workqueue(mp->m_unwritten_workqueue);
907         destroy_workqueue(mp->m_buf_workqueue);
908 }
909
910 /*
911  * Flush all dirty data to disk. Must not be called while holding an XFS_ILOCK
912  * or a page lock. We use sync_inodes_sb() here to ensure we block while waiting
913  * for IO to complete so that we effectively throttle multiple callers to the
914  * rate at which IO is completing.
915  */
916 void
917 xfs_flush_inodes(
918         struct xfs_mount        *mp)
919 {
920         struct super_block      *sb = mp->m_super;
921
922         if (down_read_trylock(&sb->s_umount)) {
923                 sync_inodes_sb(sb);
924                 up_read(&sb->s_umount);
925         }
926 }
927
928 /* Catch misguided souls that try to use this interface on XFS */
929 STATIC struct inode *
930 xfs_fs_alloc_inode(
931         struct super_block      *sb)
932 {
933         BUG();
934         return NULL;
935 }
936
937 /*
938  * Now that the generic code is guaranteed not to be accessing
939  * the linux inode, we can reclaim the inode.
940  */
941 STATIC void
942 xfs_fs_destroy_inode(
943         struct inode            *inode)
944 {
945         struct xfs_inode        *ip = XFS_I(inode);
946
947         trace_xfs_destroy_inode(ip);
948
949         XFS_STATS_INC(vn_reclaim);
950
951         ASSERT(XFS_FORCED_SHUTDOWN(ip->i_mount) || ip->i_delayed_blks == 0);
952
953         /*
954          * We should never get here with one of the reclaim flags already set.
955          */
956         ASSERT_ALWAYS(!xfs_iflags_test(ip, XFS_IRECLAIMABLE));
957         ASSERT_ALWAYS(!xfs_iflags_test(ip, XFS_IRECLAIM));
958
959         /*
960          * We always use background reclaim here because even if the
961          * inode is clean, it still may be under IO and hence we have
962          * to take the flush lock. The background reclaim path handles
963          * this more efficiently than we can here, so simply let background
964          * reclaim tear down all inodes.
965          */
966         xfs_inode_set_reclaim_tag(ip);
967 }
968
969 /*
970  * Slab object creation initialisation for the XFS inode.
971  * This covers only the idempotent fields in the XFS inode;
972  * all other fields need to be initialised on allocation
973  * from the slab. This avoids the need to repeatedly initialise
974  * fields in the xfs inode that left in the initialise state
975  * when freeing the inode.
976  */
977 STATIC void
978 xfs_fs_inode_init_once(
979         void                    *inode)
980 {
981         struct xfs_inode        *ip = inode;
982
983         memset(ip, 0, sizeof(struct xfs_inode));
984
985         /* vfs inode */
986         inode_init_once(VFS_I(ip));
987
988         /* xfs inode */
989         atomic_set(&ip->i_pincount, 0);
990         spin_lock_init(&ip->i_flags_lock);
991
992         mrlock_init(&ip->i_lock, MRLOCK_ALLOW_EQUAL_PRI|MRLOCK_BARRIER,
993                      "xfsino", ip->i_ino);
994 }
995
996 STATIC void
997 xfs_fs_evict_inode(
998         struct inode            *inode)
999 {
1000         xfs_inode_t             *ip = XFS_I(inode);
1001
1002         ASSERT(!rwsem_is_locked(&ip->i_iolock.mr_lock));
1003
1004         trace_xfs_evict_inode(ip);
1005
1006         truncate_inode_pages_final(&inode->i_data);
1007         clear_inode(inode);
1008         XFS_STATS_INC(vn_rele);
1009         XFS_STATS_INC(vn_remove);
1010
1011         xfs_inactive(ip);
1012 }
1013
1014 /*
1015  * We do an unlocked check for XFS_IDONTCACHE here because we are already
1016  * serialised against cache hits here via the inode->i_lock and igrab() in
1017  * xfs_iget_cache_hit(). Hence a lookup that might clear this flag will not be
1018  * racing with us, and it avoids needing to grab a spinlock here for every inode
1019  * we drop the final reference on.
1020  */
1021 STATIC int
1022 xfs_fs_drop_inode(
1023         struct inode            *inode)
1024 {
1025         struct xfs_inode        *ip = XFS_I(inode);
1026
1027         return generic_drop_inode(inode) || (ip->i_flags & XFS_IDONTCACHE);
1028 }
1029
1030 STATIC void
1031 xfs_free_fsname(
1032         struct xfs_mount        *mp)
1033 {
1034         kfree(mp->m_fsname);
1035         kfree(mp->m_rtname);
1036         kfree(mp->m_logname);
1037 }
1038
1039 STATIC void
1040 xfs_fs_put_super(
1041         struct super_block      *sb)
1042 {
1043         struct xfs_mount        *mp = XFS_M(sb);
1044
1045         xfs_filestream_unmount(mp);
1046         xfs_unmountfs(mp);
1047
1048         xfs_freesb(mp);
1049         xfs_icsb_destroy_counters(mp);
1050         xfs_destroy_mount_workqueues(mp);
1051         xfs_close_devices(mp);
1052         xfs_free_fsname(mp);
1053         kfree(mp);
1054 }
1055
1056 STATIC int
1057 xfs_fs_sync_fs(
1058         struct super_block      *sb,
1059         int                     wait)
1060 {
1061         struct xfs_mount        *mp = XFS_M(sb);
1062
1063         /*
1064          * Doing anything during the async pass would be counterproductive.
1065          */
1066         if (!wait)
1067                 return 0;
1068
1069         xfs_log_force(mp, XFS_LOG_SYNC);
1070         if (laptop_mode) {
1071                 /*
1072                  * The disk must be active because we're syncing.
1073                  * We schedule log work now (now that the disk is
1074                  * active) instead of later (when it might not be).
1075                  */
1076                 flush_delayed_work(&mp->m_log->l_work);
1077         }
1078
1079         return 0;
1080 }
1081
1082 STATIC int
1083 xfs_fs_statfs(
1084         struct dentry           *dentry,
1085         struct kstatfs          *statp)
1086 {
1087         struct xfs_mount        *mp = XFS_M(dentry->d_sb);
1088         xfs_sb_t                *sbp = &mp->m_sb;
1089         struct xfs_inode        *ip = XFS_I(dentry->d_inode);
1090         __uint64_t              fakeinos, id;
1091         xfs_extlen_t            lsize;
1092         __int64_t               ffree;
1093
1094         statp->f_type = XFS_SB_MAGIC;
1095         statp->f_namelen = MAXNAMELEN - 1;
1096
1097         id = huge_encode_dev(mp->m_ddev_targp->bt_dev);
1098         statp->f_fsid.val[0] = (u32)id;
1099         statp->f_fsid.val[1] = (u32)(id >> 32);
1100
1101         xfs_icsb_sync_counters(mp, XFS_ICSB_LAZY_COUNT);
1102
1103         spin_lock(&mp->m_sb_lock);
1104         statp->f_bsize = sbp->sb_blocksize;
1105         lsize = sbp->sb_logstart ? sbp->sb_logblocks : 0;
1106         statp->f_blocks = sbp->sb_dblocks - lsize;
1107         statp->f_bfree = statp->f_bavail =
1108                                 sbp->sb_fdblocks - XFS_ALLOC_SET_ASIDE(mp);
1109         fakeinos = statp->f_bfree << sbp->sb_inopblog;
1110         statp->f_files =
1111             MIN(sbp->sb_icount + fakeinos, (__uint64_t)XFS_MAXINUMBER);
1112         if (mp->m_maxicount)
1113                 statp->f_files = min_t(typeof(statp->f_files),
1114                                         statp->f_files,
1115                                         mp->m_maxicount);
1116
1117         /* make sure statp->f_ffree does not underflow */
1118         ffree = statp->f_files - (sbp->sb_icount - sbp->sb_ifree);
1119         statp->f_ffree = max_t(__int64_t, ffree, 0);
1120
1121         spin_unlock(&mp->m_sb_lock);
1122
1123         if ((ip->i_d.di_flags & XFS_DIFLAG_PROJINHERIT) &&
1124             ((mp->m_qflags & (XFS_PQUOTA_ACCT|XFS_PQUOTA_ENFD))) ==
1125                               (XFS_PQUOTA_ACCT|XFS_PQUOTA_ENFD))
1126                 xfs_qm_statvfs(ip, statp);
1127         return 0;
1128 }
1129
1130 STATIC void
1131 xfs_save_resvblks(struct xfs_mount *mp)
1132 {
1133         __uint64_t resblks = 0;
1134
1135         mp->m_resblks_save = mp->m_resblks;
1136         xfs_reserve_blocks(mp, &resblks, NULL);
1137 }
1138
1139 STATIC void
1140 xfs_restore_resvblks(struct xfs_mount *mp)
1141 {
1142         __uint64_t resblks;
1143
1144         if (mp->m_resblks_save) {
1145                 resblks = mp->m_resblks_save;
1146                 mp->m_resblks_save = 0;
1147         } else
1148                 resblks = xfs_default_resblks(mp);
1149
1150         xfs_reserve_blocks(mp, &resblks, NULL);
1151 }
1152
1153 /*
1154  * Trigger writeback of all the dirty metadata in the file system.
1155  *
1156  * This ensures that the metadata is written to their location on disk rather
1157  * than just existing in transactions in the log. This means after a quiesce
1158  * there is no log replay required to write the inodes to disk - this is the
1159  * primary difference between a sync and a quiesce.
1160  *
1161  * Note: xfs_log_quiesce() stops background log work - the callers must ensure
1162  * it is started again when appropriate.
1163  */
1164 static void
1165 xfs_quiesce_attr(
1166         struct xfs_mount        *mp)
1167 {
1168         int     error = 0;
1169
1170         /* wait for all modifications to complete */
1171         while (atomic_read(&mp->m_active_trans) > 0)
1172                 delay(100);
1173
1174         /* force the log to unpin objects from the now complete transactions */
1175         xfs_log_force(mp, XFS_LOG_SYNC);
1176
1177         /* reclaim inodes to do any IO before the freeze completes */
1178         xfs_reclaim_inodes(mp, 0);
1179         xfs_reclaim_inodes(mp, SYNC_WAIT);
1180
1181         /* Push the superblock and write an unmount record */
1182         error = xfs_log_sbcount(mp);
1183         if (error)
1184                 xfs_warn(mp, "xfs_attr_quiesce: failed to log sb changes. "
1185                                 "Frozen image may not be consistent.");
1186         /*
1187          * Just warn here till VFS can correctly support
1188          * read-only remount without racing.
1189          */
1190         WARN_ON(atomic_read(&mp->m_active_trans) != 0);
1191
1192         xfs_log_quiesce(mp);
1193 }
1194
1195 STATIC int
1196 xfs_fs_remount(
1197         struct super_block      *sb,
1198         int                     *flags,
1199         char                    *options)
1200 {
1201         struct xfs_mount        *mp = XFS_M(sb);
1202         xfs_sb_t                *sbp = &mp->m_sb;
1203         substring_t             args[MAX_OPT_ARGS];
1204         char                    *p;
1205         int                     error;
1206
1207         sync_filesystem(sb);
1208         while ((p = strsep(&options, ",")) != NULL) {
1209                 int token;
1210
1211                 if (!*p)
1212                         continue;
1213
1214                 token = match_token(p, tokens, args);
1215                 switch (token) {
1216                 case Opt_barrier:
1217                         mp->m_flags |= XFS_MOUNT_BARRIER;
1218                         break;
1219                 case Opt_nobarrier:
1220                         mp->m_flags &= ~XFS_MOUNT_BARRIER;
1221                         break;
1222                 case Opt_inode64:
1223                         mp->m_maxagi = xfs_set_inode64(mp, sbp->sb_agcount);
1224                         break;
1225                 case Opt_inode32:
1226                         mp->m_maxagi = xfs_set_inode32(mp, sbp->sb_agcount);
1227                         break;
1228                 default:
1229                         /*
1230                          * Logically we would return an error here to prevent
1231                          * users from believing they might have changed
1232                          * mount options using remount which can't be changed.
1233                          *
1234                          * But unfortunately mount(8) adds all options from
1235                          * mtab and fstab to the mount arguments in some cases
1236                          * so we can't blindly reject options, but have to
1237                          * check for each specified option if it actually
1238                          * differs from the currently set option and only
1239                          * reject it if that's the case.
1240                          *
1241                          * Until that is implemented we return success for
1242                          * every remount request, and silently ignore all
1243                          * options that we can't actually change.
1244                          */
1245 #if 0
1246                         xfs_info(mp,
1247                 "mount option \"%s\" not supported for remount", p);
1248                         return -EINVAL;
1249 #else
1250                         break;
1251 #endif
1252                 }
1253         }
1254
1255         /* ro -> rw */
1256         if ((mp->m_flags & XFS_MOUNT_RDONLY) && !(*flags & MS_RDONLY)) {
1257                 mp->m_flags &= ~XFS_MOUNT_RDONLY;
1258
1259                 /*
1260                  * If this is the first remount to writeable state we
1261                  * might have some superblock changes to update.
1262                  */
1263                 if (mp->m_update_flags) {
1264                         error = xfs_mount_log_sb(mp, mp->m_update_flags);
1265                         if (error) {
1266                                 xfs_warn(mp, "failed to write sb changes");
1267                                 return error;
1268                         }
1269                         mp->m_update_flags = 0;
1270                 }
1271
1272                 /*
1273                  * Fill out the reserve pool if it is empty. Use the stashed
1274                  * value if it is non-zero, otherwise go with the default.
1275                  */
1276                 xfs_restore_resvblks(mp);
1277                 xfs_log_work_queue(mp);
1278         }
1279
1280         /* rw -> ro */
1281         if (!(mp->m_flags & XFS_MOUNT_RDONLY) && (*flags & MS_RDONLY)) {
1282                 /*
1283                  * Before we sync the metadata, we need to free up the reserve
1284                  * block pool so that the used block count in the superblock on
1285                  * disk is correct at the end of the remount. Stash the current
1286                  * reserve pool size so that if we get remounted rw, we can
1287                  * return it to the same size.
1288                  */
1289                 xfs_save_resvblks(mp);
1290                 xfs_quiesce_attr(mp);
1291                 mp->m_flags |= XFS_MOUNT_RDONLY;
1292         }
1293
1294         return 0;
1295 }
1296
1297 /*
1298  * Second stage of a freeze. The data is already frozen so we only
1299  * need to take care of the metadata. Once that's done write a dummy
1300  * record to dirty the log in case of a crash while frozen.
1301  */
1302 STATIC int
1303 xfs_fs_freeze(
1304         struct super_block      *sb)
1305 {
1306         struct xfs_mount        *mp = XFS_M(sb);
1307
1308         xfs_save_resvblks(mp);
1309         xfs_quiesce_attr(mp);
1310         return xfs_fs_log_dummy(mp);
1311 }
1312
1313 STATIC int
1314 xfs_fs_unfreeze(
1315         struct super_block      *sb)
1316 {
1317         struct xfs_mount        *mp = XFS_M(sb);
1318
1319         xfs_restore_resvblks(mp);
1320         xfs_log_work_queue(mp);
1321         return 0;
1322 }
1323
1324 STATIC int
1325 xfs_fs_show_options(
1326         struct seq_file         *m,
1327         struct dentry           *root)
1328 {
1329         return xfs_showargs(XFS_M(root->d_sb), m);
1330 }
1331
1332 /*
1333  * This function fills in xfs_mount_t fields based on mount args.
1334  * Note: the superblock _has_ now been read in.
1335  */
1336 STATIC int
1337 xfs_finish_flags(
1338         struct xfs_mount        *mp)
1339 {
1340         int                     ronly = (mp->m_flags & XFS_MOUNT_RDONLY);
1341
1342         /* Fail a mount where the logbuf is smaller than the log stripe */
1343         if (xfs_sb_version_haslogv2(&mp->m_sb)) {
1344                 if (mp->m_logbsize <= 0 &&
1345                     mp->m_sb.sb_logsunit > XLOG_BIG_RECORD_BSIZE) {
1346                         mp->m_logbsize = mp->m_sb.sb_logsunit;
1347                 } else if (mp->m_logbsize > 0 &&
1348                            mp->m_logbsize < mp->m_sb.sb_logsunit) {
1349                         xfs_warn(mp,
1350                 "logbuf size must be greater than or equal to log stripe size");
1351                         return -EINVAL;
1352                 }
1353         } else {
1354                 /* Fail a mount if the logbuf is larger than 32K */
1355                 if (mp->m_logbsize > XLOG_BIG_RECORD_BSIZE) {
1356                         xfs_warn(mp,
1357                 "logbuf size for version 1 logs must be 16K or 32K");
1358                         return -EINVAL;
1359                 }
1360         }
1361
1362         /*
1363          * V5 filesystems always use attr2 format for attributes.
1364          */
1365         if (xfs_sb_version_hascrc(&mp->m_sb) &&
1366             (mp->m_flags & XFS_MOUNT_NOATTR2)) {
1367                 xfs_warn(mp,
1368 "Cannot mount a V5 filesystem as %s. %s is always enabled for V5 filesystems.",
1369                         MNTOPT_NOATTR2, MNTOPT_ATTR2);
1370                 return -EINVAL;
1371         }
1372
1373         /*
1374          * mkfs'ed attr2 will turn on attr2 mount unless explicitly
1375          * told by noattr2 to turn it off
1376          */
1377         if (xfs_sb_version_hasattr2(&mp->m_sb) &&
1378             !(mp->m_flags & XFS_MOUNT_NOATTR2))
1379                 mp->m_flags |= XFS_MOUNT_ATTR2;
1380
1381         /*
1382          * prohibit r/w mounts of read-only filesystems
1383          */
1384         if ((mp->m_sb.sb_flags & XFS_SBF_READONLY) && !ronly) {
1385                 xfs_warn(mp,
1386                         "cannot mount a read-only filesystem as read-write");
1387                 return -EROFS;
1388         }
1389
1390         if ((mp->m_qflags & (XFS_GQUOTA_ACCT | XFS_GQUOTA_ACTIVE)) &&
1391             (mp->m_qflags & (XFS_PQUOTA_ACCT | XFS_PQUOTA_ACTIVE)) &&
1392             !xfs_sb_version_has_pquotino(&mp->m_sb)) {
1393                 xfs_warn(mp,
1394                   "Super block does not support project and group quota together");
1395                 return -EINVAL;
1396         }
1397
1398         return 0;
1399 }
1400
1401 STATIC int
1402 xfs_fs_fill_super(
1403         struct super_block      *sb,
1404         void                    *data,
1405         int                     silent)
1406 {
1407         struct inode            *root;
1408         struct xfs_mount        *mp = NULL;
1409         int                     flags = 0, error = -ENOMEM;
1410
1411         mp = kzalloc(sizeof(struct xfs_mount), GFP_KERNEL);
1412         if (!mp)
1413                 goto out;
1414
1415         spin_lock_init(&mp->m_sb_lock);
1416         mutex_init(&mp->m_growlock);
1417         atomic_set(&mp->m_active_trans, 0);
1418         INIT_DELAYED_WORK(&mp->m_reclaim_work, xfs_reclaim_worker);
1419         INIT_DELAYED_WORK(&mp->m_eofblocks_work, xfs_eofblocks_worker);
1420         mp->m_kobj.kobject.kset = xfs_kset;
1421
1422         mp->m_super = sb;
1423         sb->s_fs_info = mp;
1424
1425         error = xfs_parseargs(mp, (char *)data);
1426         if (error)
1427                 goto out_free_fsname;
1428
1429         sb_min_blocksize(sb, BBSIZE);
1430         sb->s_xattr = xfs_xattr_handlers;
1431         sb->s_export_op = &xfs_export_operations;
1432 #ifdef CONFIG_XFS_QUOTA
1433         sb->s_qcop = &xfs_quotactl_operations;
1434 #endif
1435         sb->s_op = &xfs_super_operations;
1436
1437         if (silent)
1438                 flags |= XFS_MFSI_QUIET;
1439
1440         error = xfs_open_devices(mp);
1441         if (error)
1442                 goto out_free_fsname;
1443
1444         error = xfs_init_mount_workqueues(mp);
1445         if (error)
1446                 goto out_close_devices;
1447
1448         error = xfs_icsb_init_counters(mp);
1449         if (error)
1450                 goto out_destroy_workqueues;
1451
1452         error = xfs_readsb(mp, flags);
1453         if (error)
1454                 goto out_destroy_counters;
1455
1456         error = xfs_finish_flags(mp);
1457         if (error)
1458                 goto out_free_sb;
1459
1460         error = xfs_setup_devices(mp);
1461         if (error)
1462                 goto out_free_sb;
1463
1464         error = xfs_filestream_mount(mp);
1465         if (error)
1466                 goto out_free_sb;
1467
1468         /*
1469          * we must configure the block size in the superblock before we run the
1470          * full mount process as the mount process can lookup and cache inodes.
1471          */
1472         sb->s_magic = XFS_SB_MAGIC;
1473         sb->s_blocksize = mp->m_sb.sb_blocksize;
1474         sb->s_blocksize_bits = ffs(sb->s_blocksize) - 1;
1475         sb->s_maxbytes = xfs_max_file_offset(sb->s_blocksize_bits);
1476         sb->s_max_links = XFS_MAXLINK;
1477         sb->s_time_gran = 1;
1478         set_posix_acl_flag(sb);
1479
1480         /* version 5 superblocks support inode version counters. */
1481         if (XFS_SB_VERSION_NUM(&mp->m_sb) == XFS_SB_VERSION_5)
1482                 sb->s_flags |= MS_I_VERSION;
1483
1484         error = xfs_mountfs(mp);
1485         if (error)
1486                 goto out_filestream_unmount;
1487
1488         root = igrab(VFS_I(mp->m_rootip));
1489         if (!root) {
1490                 error = -ENOENT;
1491                 goto out_unmount;
1492         }
1493         sb->s_root = d_make_root(root);
1494         if (!sb->s_root) {
1495                 error = -ENOMEM;
1496                 goto out_unmount;
1497         }
1498
1499         return 0;
1500
1501  out_filestream_unmount:
1502         xfs_filestream_unmount(mp);
1503  out_free_sb:
1504         xfs_freesb(mp);
1505  out_destroy_counters:
1506         xfs_icsb_destroy_counters(mp);
1507 out_destroy_workqueues:
1508         xfs_destroy_mount_workqueues(mp);
1509  out_close_devices:
1510         xfs_close_devices(mp);
1511  out_free_fsname:
1512         xfs_free_fsname(mp);
1513         kfree(mp);
1514  out:
1515         return error;
1516
1517  out_unmount:
1518         xfs_filestream_unmount(mp);
1519         xfs_unmountfs(mp);
1520         goto out_free_sb;
1521 }
1522
1523 STATIC struct dentry *
1524 xfs_fs_mount(
1525         struct file_system_type *fs_type,
1526         int                     flags,
1527         const char              *dev_name,
1528         void                    *data)
1529 {
1530         return mount_bdev(fs_type, flags, dev_name, data, xfs_fs_fill_super);
1531 }
1532
1533 static long
1534 xfs_fs_nr_cached_objects(
1535         struct super_block      *sb,
1536         int                     nid)
1537 {
1538         return xfs_reclaim_inodes_count(XFS_M(sb));
1539 }
1540
1541 static long
1542 xfs_fs_free_cached_objects(
1543         struct super_block      *sb,
1544         long                    nr_to_scan,
1545         int                     nid)
1546 {
1547         return xfs_reclaim_inodes_nr(XFS_M(sb), nr_to_scan);
1548 }
1549
1550 static const struct super_operations xfs_super_operations = {
1551         .alloc_inode            = xfs_fs_alloc_inode,
1552         .destroy_inode          = xfs_fs_destroy_inode,
1553         .evict_inode            = xfs_fs_evict_inode,
1554         .drop_inode             = xfs_fs_drop_inode,
1555         .put_super              = xfs_fs_put_super,
1556         .sync_fs                = xfs_fs_sync_fs,
1557         .freeze_fs              = xfs_fs_freeze,
1558         .unfreeze_fs            = xfs_fs_unfreeze,
1559         .statfs                 = xfs_fs_statfs,
1560         .remount_fs             = xfs_fs_remount,
1561         .show_options           = xfs_fs_show_options,
1562         .nr_cached_objects      = xfs_fs_nr_cached_objects,
1563         .free_cached_objects    = xfs_fs_free_cached_objects,
1564 };
1565
1566 static struct file_system_type xfs_fs_type = {
1567         .owner                  = THIS_MODULE,
1568         .name                   = "xfs",
1569         .mount                  = xfs_fs_mount,
1570         .kill_sb                = kill_block_super,
1571         .fs_flags               = FS_REQUIRES_DEV,
1572 };
1573 MODULE_ALIAS_FS("xfs");
1574
1575 STATIC int __init
1576 xfs_init_zones(void)
1577 {
1578
1579         xfs_ioend_zone = kmem_zone_init(sizeof(xfs_ioend_t), "xfs_ioend");
1580         if (!xfs_ioend_zone)
1581                 goto out;
1582
1583         xfs_ioend_pool = mempool_create_slab_pool(4 * MAX_BUF_PER_PAGE,
1584                                                   xfs_ioend_zone);
1585         if (!xfs_ioend_pool)
1586                 goto out_destroy_ioend_zone;
1587
1588         xfs_log_ticket_zone = kmem_zone_init(sizeof(xlog_ticket_t),
1589                                                 "xfs_log_ticket");
1590         if (!xfs_log_ticket_zone)
1591                 goto out_destroy_ioend_pool;
1592
1593         xfs_bmap_free_item_zone = kmem_zone_init(sizeof(xfs_bmap_free_item_t),
1594                                                 "xfs_bmap_free_item");
1595         if (!xfs_bmap_free_item_zone)
1596                 goto out_destroy_log_ticket_zone;
1597
1598         xfs_btree_cur_zone = kmem_zone_init(sizeof(xfs_btree_cur_t),
1599                                                 "xfs_btree_cur");
1600         if (!xfs_btree_cur_zone)
1601                 goto out_destroy_bmap_free_item_zone;
1602
1603         xfs_da_state_zone = kmem_zone_init(sizeof(xfs_da_state_t),
1604                                                 "xfs_da_state");
1605         if (!xfs_da_state_zone)
1606                 goto out_destroy_btree_cur_zone;
1607
1608         xfs_ifork_zone = kmem_zone_init(sizeof(xfs_ifork_t), "xfs_ifork");
1609         if (!xfs_ifork_zone)
1610                 goto out_destroy_da_state_zone;
1611
1612         xfs_trans_zone = kmem_zone_init(sizeof(xfs_trans_t), "xfs_trans");
1613         if (!xfs_trans_zone)
1614                 goto out_destroy_ifork_zone;
1615
1616         xfs_log_item_desc_zone =
1617                 kmem_zone_init(sizeof(struct xfs_log_item_desc),
1618                                "xfs_log_item_desc");
1619         if (!xfs_log_item_desc_zone)
1620                 goto out_destroy_trans_zone;
1621
1622         /*
1623          * The size of the zone allocated buf log item is the maximum
1624          * size possible under XFS.  This wastes a little bit of memory,
1625          * but it is much faster.
1626          */
1627         xfs_buf_item_zone = kmem_zone_init(sizeof(struct xfs_buf_log_item),
1628                                            "xfs_buf_item");
1629         if (!xfs_buf_item_zone)
1630                 goto out_destroy_log_item_desc_zone;
1631
1632         xfs_efd_zone = kmem_zone_init((sizeof(xfs_efd_log_item_t) +
1633                         ((XFS_EFD_MAX_FAST_EXTENTS - 1) *
1634                                  sizeof(xfs_extent_t))), "xfs_efd_item");
1635         if (!xfs_efd_zone)
1636                 goto out_destroy_buf_item_zone;
1637
1638         xfs_efi_zone = kmem_zone_init((sizeof(xfs_efi_log_item_t) +
1639                         ((XFS_EFI_MAX_FAST_EXTENTS - 1) *
1640                                 sizeof(xfs_extent_t))), "xfs_efi_item");
1641         if (!xfs_efi_zone)
1642                 goto out_destroy_efd_zone;
1643
1644         xfs_inode_zone =
1645                 kmem_zone_init_flags(sizeof(xfs_inode_t), "xfs_inode",
1646                         KM_ZONE_HWALIGN | KM_ZONE_RECLAIM | KM_ZONE_SPREAD,
1647                         xfs_fs_inode_init_once);
1648         if (!xfs_inode_zone)
1649                 goto out_destroy_efi_zone;
1650
1651         xfs_ili_zone =
1652                 kmem_zone_init_flags(sizeof(xfs_inode_log_item_t), "xfs_ili",
1653                                         KM_ZONE_SPREAD, NULL);
1654         if (!xfs_ili_zone)
1655                 goto out_destroy_inode_zone;
1656         xfs_icreate_zone = kmem_zone_init(sizeof(struct xfs_icreate_item),
1657                                         "xfs_icr");
1658         if (!xfs_icreate_zone)
1659                 goto out_destroy_ili_zone;
1660
1661         return 0;
1662
1663  out_destroy_ili_zone:
1664         kmem_zone_destroy(xfs_ili_zone);
1665  out_destroy_inode_zone:
1666         kmem_zone_destroy(xfs_inode_zone);
1667  out_destroy_efi_zone:
1668         kmem_zone_destroy(xfs_efi_zone);
1669  out_destroy_efd_zone:
1670         kmem_zone_destroy(xfs_efd_zone);
1671  out_destroy_buf_item_zone:
1672         kmem_zone_destroy(xfs_buf_item_zone);
1673  out_destroy_log_item_desc_zone:
1674         kmem_zone_destroy(xfs_log_item_desc_zone);
1675  out_destroy_trans_zone:
1676         kmem_zone_destroy(xfs_trans_zone);
1677  out_destroy_ifork_zone:
1678         kmem_zone_destroy(xfs_ifork_zone);
1679  out_destroy_da_state_zone:
1680         kmem_zone_destroy(xfs_da_state_zone);
1681  out_destroy_btree_cur_zone:
1682         kmem_zone_destroy(xfs_btree_cur_zone);
1683  out_destroy_bmap_free_item_zone:
1684         kmem_zone_destroy(xfs_bmap_free_item_zone);
1685  out_destroy_log_ticket_zone:
1686         kmem_zone_destroy(xfs_log_ticket_zone);
1687  out_destroy_ioend_pool:
1688         mempool_destroy(xfs_ioend_pool);
1689  out_destroy_ioend_zone:
1690         kmem_zone_destroy(xfs_ioend_zone);
1691  out:
1692         return -ENOMEM;
1693 }
1694
1695 STATIC void
1696 xfs_destroy_zones(void)
1697 {
1698         /*
1699          * Make sure all delayed rcu free are flushed before we
1700          * destroy caches.
1701          */
1702         rcu_barrier();
1703         kmem_zone_destroy(xfs_icreate_zone);
1704         kmem_zone_destroy(xfs_ili_zone);
1705         kmem_zone_destroy(xfs_inode_zone);
1706         kmem_zone_destroy(xfs_efi_zone);
1707         kmem_zone_destroy(xfs_efd_zone);
1708         kmem_zone_destroy(xfs_buf_item_zone);
1709         kmem_zone_destroy(xfs_log_item_desc_zone);
1710         kmem_zone_destroy(xfs_trans_zone);
1711         kmem_zone_destroy(xfs_ifork_zone);
1712         kmem_zone_destroy(xfs_da_state_zone);
1713         kmem_zone_destroy(xfs_btree_cur_zone);
1714         kmem_zone_destroy(xfs_bmap_free_item_zone);
1715         kmem_zone_destroy(xfs_log_ticket_zone);
1716         mempool_destroy(xfs_ioend_pool);
1717         kmem_zone_destroy(xfs_ioend_zone);
1718
1719 }
1720
1721 STATIC int __init
1722 xfs_init_workqueues(void)
1723 {
1724         /*
1725          * The allocation workqueue can be used in memory reclaim situations
1726          * (writepage path), and parallelism is only limited by the number of
1727          * AGs in all the filesystems mounted. Hence use the default large
1728          * max_active value for this workqueue.
1729          */
1730         xfs_alloc_wq = alloc_workqueue("xfsalloc",
1731                         WQ_MEM_RECLAIM|WQ_FREEZABLE, 0);
1732         if (!xfs_alloc_wq)
1733                 return -ENOMEM;
1734
1735         return 0;
1736 }
1737
1738 STATIC void
1739 xfs_destroy_workqueues(void)
1740 {
1741         destroy_workqueue(xfs_alloc_wq);
1742 }
1743
1744 STATIC int __init
1745 init_xfs_fs(void)
1746 {
1747         int                     error;
1748
1749         printk(KERN_INFO XFS_VERSION_STRING " with "
1750                          XFS_BUILD_OPTIONS " enabled\n");
1751
1752         xfs_dir_startup();
1753
1754         error = xfs_init_zones();
1755         if (error)
1756                 goto out;
1757
1758         error = xfs_init_workqueues();
1759         if (error)
1760                 goto out_destroy_zones;
1761
1762         error = xfs_mru_cache_init();
1763         if (error)
1764                 goto out_destroy_wq;
1765
1766         error = xfs_buf_init();
1767         if (error)
1768                 goto out_mru_cache_uninit;
1769
1770         error = xfs_init_procfs();
1771         if (error)
1772                 goto out_buf_terminate;
1773
1774         error = xfs_sysctl_register();
1775         if (error)
1776                 goto out_cleanup_procfs;
1777
1778         xfs_kset = kset_create_and_add("xfs", NULL, fs_kobj);
1779         if (!xfs_kset) {
1780                 error = -ENOMEM;
1781                 goto out_sysctl_unregister;;
1782         }
1783
1784 #ifdef DEBUG
1785         xfs_dbg_kobj.kobject.kset = xfs_kset;
1786         error = xfs_sysfs_init(&xfs_dbg_kobj, &xfs_dbg_ktype, NULL, "debug");
1787         if (error)
1788                 goto out_kset_unregister;
1789 #endif
1790
1791         error = xfs_qm_init();
1792         if (error)
1793                 goto out_remove_kobj;
1794
1795         error = register_filesystem(&xfs_fs_type);
1796         if (error)
1797                 goto out_qm_exit;
1798         return 0;
1799
1800  out_qm_exit:
1801         xfs_qm_exit();
1802  out_remove_kobj:
1803 #ifdef DEBUG
1804         xfs_sysfs_del(&xfs_dbg_kobj);
1805  out_kset_unregister:
1806 #endif
1807         kset_unregister(xfs_kset);
1808  out_sysctl_unregister:
1809         xfs_sysctl_unregister();
1810  out_cleanup_procfs:
1811         xfs_cleanup_procfs();
1812  out_buf_terminate:
1813         xfs_buf_terminate();
1814  out_mru_cache_uninit:
1815         xfs_mru_cache_uninit();
1816  out_destroy_wq:
1817         xfs_destroy_workqueues();
1818  out_destroy_zones:
1819         xfs_destroy_zones();
1820  out:
1821         return error;
1822 }
1823
1824 STATIC void __exit
1825 exit_xfs_fs(void)
1826 {
1827         xfs_qm_exit();
1828         unregister_filesystem(&xfs_fs_type);
1829 #ifdef DEBUG
1830         xfs_sysfs_del(&xfs_dbg_kobj);
1831 #endif
1832         kset_unregister(xfs_kset);
1833         xfs_sysctl_unregister();
1834         xfs_cleanup_procfs();
1835         xfs_buf_terminate();
1836         xfs_mru_cache_uninit();
1837         xfs_destroy_workqueues();
1838         xfs_destroy_zones();
1839 }
1840
1841 module_init(init_xfs_fs);
1842 module_exit(exit_xfs_fs);
1843
1844 MODULE_AUTHOR("Silicon Graphics, Inc.");
1845 MODULE_DESCRIPTION(XFS_VERSION_STRING " with " XFS_BUILD_OPTIONS " enabled");
1846 MODULE_LICENSE("GPL");