[Date Prev][Date Next]   [Thread Prev][Thread Next]   [Thread Index] [Date Index] [Author Index]

[Linux-cluster] generic error on gfs status



I am running a four node GFS cluster with about 20 services per node.  All four nodes belong to the same failover domain, and they each have a priority of 1.  My shared storage is an iSCSI SAN (on a dedicated switch).
 
Over the last 24 hours, /gfsdata has logged 90 "notices" in the daemon log stating that the gfs "status" check returned a generic error:
clurgmgrd[6074]: <notice> status on clusterfs "/gfsdata" returned 1 (generic error)
clurgmgrd[6074]: <notice> Stopping service service1_03
clurgmgrd[6074]: <notice> Service service1_03 is recovering
clurgmgrd[6074]: <notice> Recovering failed service service1_03
clurgmgrd[6074]: <notice> Service service1_03 started
 
So, everytime /gfsdata returns a generic error, the rgmanager restarts a service.
 
Can anyone shed any light on why I might be losing my mount point or why gfs is returning a 1?
 
Thank you for your help.

cat /proc/mounts

/dev/vg0/gfslv /gfsdata gfs rw,noatime,nodiratime 0 0

cman_tool services:

NODE01:
Service          Name                              GID LID State     Code
Fence Domain:    "default"                           4   2 run       -
[1 3 2 4]

DLM Lock Space:  "clvmd"                             1   3 run       -
[1 3 2 4]

DLM Lock Space:  "Magma"                             3   5 run       -
[1 3 2 4]

DLM Lock Space:  "gfslv"                             5   6 run       -
[2 1 3 4]

GFS Mount Group: "gfslv"                             6   7 run       -
[2 1 3 4]

User:            "usrm::manager"                     2   4 run       -
[1 3 2 4]


Node02:
Service          Name                              GID LID State     Code
Fence Domain:    "default"                           4   5 run       -
[1 3 2 4]

DLM Lock Space:  "clvmd"                             1   1 run       -
[1 3 2 4]

DLM Lock Space:  "Magma"                             3   3 run       -
[1 3 2 4]

DLM Lock Space:  "gfslv"                             5   6 run       -
[1 4 2 3]

GFS Mount Group: "gfslv"                             6   7 run       -
[1 4 2 3]

User:            "usrm::manager"                     2   2 run       -
[1 3 2 4]


NODE03:
Service          Name                              GID LID State     Code
Fence Domain:    "default"                           4   2 run       -
[1 2 3 4]

DLM Lock Space:  "clvmd"                             1   3 run       -
[1 2 3 4]

DLM Lock Space:  "Magma"                             3   5 run       -
[1 2 3 4]

DLM Lock Space:  "gfslv"                             5   6 run       -
[1 2 4 3]

GFS Mount Group: "gfslv"                             6   7 run       -
[1 2 4 3]

User:            "usrm::manager"                     2   4 run       -
[1 2 3 4]


NODE04:
Service          Name                              GID LID State     Code
Fence Domain:    "default"                           4   2 run       -
[1 2 3 4]

DLM Lock Space:  "clvmd"                             1   3 run       -
[1 2 3 4]

DLM Lock Space:  "Magma"                             3   5 run       -
[1 2 3 4]

DLM Lock Space:  "gfslv"                             5   6 run       -
[1 4 2 3]

GFS Mount Group: "gfslv"                             6   7 run       -
[1 4 2 3]

User:            "usrm::manager"                     2   4 run       -
[1 2 3 4]


cat /proc/slabinfo
slabinfo - version: 2.0
# name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
gfs_meta_header_cache    127    147     80   49    1 : tunables  120   60    8 : slabdata      3      3      0
gfs_bufdata           16     50    160   25    1 : tunables  120   60    8 : slabdata      2      2      0
gfs_inode            284    287    536    7    1 : tunables   54   27    8 : slabdata     41     41      0
gfs_glock           2156   2196    312   12    1 : tunables   54   27    8 : slabdata    183    183      0
gfs_bio_wrapper      520    675     16  225    1 : tunables  120   60    8 : slabdata      3      3      0
dlm_conn               6     20    192   20    1 : tunables  120   60    8 : slabdata      1      1      0
dlm_lvb/range       6446   6545     32  119    1 : tunables  120   60    8 : slabdata     55     55      0
dlm_resdir(s)        553   1932     56   69    1 : tunables  120   60    8 : slabdata     28     28      0
dlm_resdir(l)          0      0     88   45    1 : tunables  120   60    8 : slabdata      0      0      0
dlm_lkb           3318298 3318298    232   17    1 : tunables  120   60    8 : slabdata 195194 195194      0
dlm_rsb(large)         1     13    304   13    1 : tunables   54   27    8 : slabdata      1      1      0
dlm_rsb(small)      1994   2254    272   14    1 : tunables   54   27    8 : slabdata    161    161      0
cluster_sock           6     22    704   11    2 : tunables   54   27    8 : slabdata      2      2      0
rpc_buffers            8      8   2048    2    1 : tunables   24   12    8 : slabdata      4      4      0
rpc_tasks              8     12    320   12    1 : tunables   54   27    8 : slabdata      1      1      0
rpc_inode_cache        6      8    832    4    1 : tunables   54   27    8 : slabdata      2      2      0
iscsi_task_cache     287    287     96   41    1 : tunables  120   60    8 : slabdata      7      7     60
msi_cache              2      2   5760    1    2 : tunables    8    4    0 : slabdata      2      2      0
fib6_nodes             9     61     64   61    1 : tunables  120   60    8 : slabdata      1      1      0
ip6_dst_cache          8     24    320   12    1 : tunables   54   27    8 : slabdata      2      2      0
ndisc_cache            2     15    256   15    1 : tunables  120   60    8 : slabdata      1      1      0
rawv6_sock             6      8   1024    4    1 : tunables   54   27    8 : slabdata      2      2      0
udpv6_sock             2      4   1024    4    1 : tunables   54   27    8 : slabdata      1      1      0
tcpv6_sock             7      8   1728    4    2 : tunables   24   12    8 : slabdata      2      2      0
ip_fib_alias          38    119     32  119    1 : tunables  120   60    8 : slabdata      1      1      0
ip_fib_hash           38     61     64   61    1 : tunables  120   60    8 : slabdata      1      1      0
uhci_urb_priv          0      0     88   45    1 : tunables  120   60    8 : slabdata      0      0      0
dm-snapshot-in       128    140    112   35    1 : tunables  120   60    8 : slabdata      4      4      0
dm-snapshot-ex         0      0     32  119    1 : tunables  120   60    8 : slabdata      0      0      0
ext3_inode_cache   34129  34144    840    4    1 : tunables   54   27    8 : slabdata   8536   8536      0
ext3_xattr             0      0     88   45    1 : tunables  120   60    8 : slabdata      0      0      0
journal_handle        24    162     48   81    1 : tunables  120   60    8 : slabdata      2      2      0
journal_head         125    270     88   45    1 : tunables  120   60    8 : slabdata      6      6      0
revoke_table           4    225     16  225    1 : tunables  120   60    8 : slabdata      1      1      0
revoke_record          0      0     32  119    1 : tunables  120   60    8 : slabdata      0      0      0
dm_tio              1345   1560     24  156    1 : tunables  120   60    8 : slabdata     10     10      0
dm_io               1345   1536     40   96    1 : tunables  120   60    8 : slabdata     16     16      0
scsi_cmd_cache        22     35    512    7    1 : tunables   54   27    8 : slabdata      4      5      0
sgpool-128            32     32   4096    1    1 : tunables   24   12    8 : slabdata     32     32      0
sgpool-64             32     32   2048    2    1 : tunables   24   12    8 : slabdata     16     16      0
sgpool-32             32     36   1024    4    1 : tunables   54   27    8 : slabdata      8      9      0
sgpool-16             32     32    512    8    1 : tunables   54   27    8 : slabdata      4      4      0
sgpool-8              60     75    256   15    1 : tunables  120   60    8 : slabdata      5      5      0
unix_sock            104    125    768    5    1 : tunables   54   27    8 : slabdata     25     25      0
ip_mrt_cache           0      0    128   31    1 : tunables  120   60    8 : slabdata      0      0      0
tcp_tw_bucket        106    180    192   20    1 : tunables  120   60    8 : slabdata      9      9      0
tcp_bind_bucket      155    357     32  119    1 : tunables  120   60    8 : slabdata      3      3      0
tcp_open_request      18     31    128   31    1 : tunables  120   60    8 : slabdata      1      1      0
inet_peer_cache       25     62    128   31    1 : tunables  120   60    8 : slabdata      2      2      0
secpath_cache          0      0    192   20    1 : tunables  120   60    8 : slabdata      0      0      0
xfrm_dst_cache         0      0    384   10    1 : tunables   54   27    8 : slabdata      0      0      0
ip_dst_cache         148    170    384   10    1 : tunables   54   27    8 : slabdata     17     17      0
arp_cache             10     15    256   15    1 : tunables  120   60    8 : slabdata      1      1      0
raw_sock               8      9    832    9    2 : tunables   54   27    8 : slabdata      1      1      0
udp_sock              29     36    832    9    2 : tunables   54   27    8 : slabdata      4      4      0
tcp_sock              75     75   1536    5    2 : tunables   24   12    8 : slabdata     15     15      0
flow_cache             0      0    128   31    1 : tunables  120   60    8 : slabdata      0      0      0
mqueue_inode_cache      1      4    896    4    1 : tunables   54   27    8 : slabdata      1      1      0
relayfs_inode_cache      0      0    576    7    1 : tunables   54   27    8 : slabdata      0      0      0
isofs_inode_cache      0      0    616    6    1 : tunables   54   27    8 : slabdata      0      0      0
hugetlbfs_inode_cache      1      6    608    6    1 : tunables   54   27    8 : slabdata      1      1      0
ext2_inode_cache       0      0    736    5    1 : tunables   54   27    8 : slabdata      0      0      0
ext2_xattr             0      0     88   45    1 : tunables  120   60    8 : slabdata      0      0      0
dquot                  0      0    224   17    1 : tunables  120   60    8 : slabdata      0      0      0
eventpoll_pwq          1     54     72   54    1 : tunables  120   60    8 : slabdata      1      1      0
eventpoll_epi          1     20    192   20    1 : tunables  120   60    8 : slabdata      1      1      0
kioctx                 0      0    384   10    1 : tunables   54   27    8 : slabdata      0      0      0
kiocb                  0      0    256   15    1 : tunables  120   60    8 : slabdata      0      0      0
dnotify_cache          2     96     40   96    1 : tunables  120   60    8 : slabdata      1      1      0
fasync_cache           1    156     24  156    1 : tunables  120   60    8 : slabdata      1      1      0
shmem_inode_cache    281    290    800    5    1 : tunables   54   27    8 : slabdata     58     58      0
posix_timers_cache      0      0    184   21    1 : tunables  120   60    8 : slabdata      0      0      0
uid_cache              4     31    128   31    1 : tunables  120   60    8 : slabdata      1      1      0
cfq_pool              86    138     56   69    1 : tunables  120   60    8 : slabdata      2      2      0
crq_pool              34    216     72   54    1 : tunables  120   60    8 : slabdata      4      4      0
deadline_drq           0      0     96   41    1 : tunables  120   60    8 : slabdata      0      0      0
as_arq                 0      0    112   35    1 : tunables  120   60    8 : slabdata      0      0      0
blkdev_ioc            31    119     32  119    1 : tunables  120   60    8 : slabdata      1      1      0
blkdev_queue          27     54    848    9    2 : tunables   54   27    8 : slabdata      6      6      0
blkdev_requests       21    105    264   15    1 : tunables   54   27    8 : slabdata      7      7      0
biovec-(256)         256    256   4096    1    1 : tunables   24   12    8 : slabdata    256    256      0
biovec-128           256    256   2048    2    1 : tunables   24   12    8 : slabdata    128    128      0
biovec-64            256    256   1024    4    1 : tunables   54   27    8 : slabdata     64     64      0
biovec-16            256    270    256   15    1 : tunables  120   60    8 : slabdata     18     18      0
biovec-4             256    305     64   61    1 : tunables  120   60    8 : slabdata      5      5      0
biovec-1             388    675     16  225    1 : tunables  120   60    8 : slabdata      3      3     60
bio                  408    465    128   31    1 : tunables  120   60    8 : slabdata     15     15     60
file_lock_cache      151    175    160   25    1 : tunables  120   60    8 : slabdata      7      7      0
sock_inode_cache     224    235    704    5    1 : tunables   54   27    8 : slabdata     47     47      0
skbuff_head_cache    681    852    320   12    1 : tunables   54   27    8 : slabdata     71     71     54
sock                  24     24    640    6    1 : tunables   54   27    8 : slabdata      4      4      0
proc_inode_cache     812    816    600    6    1 : tunables   54   27    8 : slabdata    136    136      0
sigqueue             188    253    168   23    1 : tunables  120   60    8 : slabdata     11     11      0
radix_tree_node    20031  20069    536    7    1 : tunables   54   27    8 : slabdata   2867   2867      0
bdev_cache            46     50    768    5    1 : tunables   54   27    8 : slabdata     10     10      0
mnt_cache             28     60    192   20    1 : tunables  120   60    8 : slabdata      3      3      0
audit_watch_cache      0      0     88   45    1 : tunables  120   60    8 : slabdata      0      0      0
inode_cache         3969   3969    568    7    1 : tunables   54   27    8 : slabdata    567    567     27
dentry_cache      1617792 1617792    240   16    1 : tunables  120   60    8 : slabdata 101112 101112      0
filp                1747   1815    256   15    1 : tunables  120   60    8 : slabdata    121    121     60
names_cache           51     51   4096    1    1 : tunables   24   12    8 : slabdata     51     51     12
avc_node              13    378     72   54    1 : tunables  120   60    8 : slabdata      7      7      0
key_jar                8     20    192   20    1 : tunables  120   60    8 : slabdata      1      1      0
idr_layer_cache      101    105    528    7    1 : tunables   54   27    8 : slabdata     15     15      0
buffer_head        53280  53415     88   45    1 : tunables  120   60    8 : slabdata   1187   1187      0
mm_struct            140    147   1152    7    2 : tunables   24   12    8 : slabdata     21     21     36
vm_area_struct      5098   5478    176   22    1 : tunables  120   60    8 : slabdata    249    249    240
fs_cache             316    427     64   61    1 : tunables  120   60    8 : slabdata      7      7     60
files_cache          194    216    832    9    2 : tunables   54   27    8 : slabdata     24     24     27
signal_cache         297    360    256   15    1 : tunables  120   60    8 : slabdata     24     24      0
sighand_cache        178    183   2112    3    2 : tunables   24   12    8 : slabdata     61     61      0
task_struct          213    218   1984    2    1 : tunables   24   12    8 : slabdata    109    109     12
anon_vma            1960   2184     24  156    1 : tunables  120   60    8 : slabdata     14     14     60
shared_policy_node      0      0     56   69    1 : tunables  120   60    8 : slabdata      0      0      0
numa_policy           44    450     16  225    1 : tunables  120   60    8 : slabdata      2      2      0
size-131072(DMA)       0      0 131072    1   32 : tunables    8    4    0 : slabdata      0      0      0
size-131072            1      1 131072    1   32 : tunables    8    4    0 : slabdata      1      1      0
size-65536(DMA)        0      0  65536    1   16 : tunables    8    4    0 : slabdata      0      0      0
size-65536             1      1  65536    1   16 : tunables    8    4    0 : slabdata      1      1      0
size-32768(DMA)        0      0  32768    1    8 : tunables    8    4    0 : slabdata      0      0      0
size-32768             4      4  32768    1    8 : tunables    8    4    0 : slabdata      4      4      0
size-16384(DMA)        0      0  16384    1    4 : tunables    8    4    0 : slabdata      0      0      0
size-16384             3      3  16384    1    4 : tunables    8    4    0 : slabdata      3      3      0
size-8192(DMA)         0      0   8192    1    2 : tunables    8    4    0 : slabdata      0      0      0
size-8192             56     56   8192    1    2 : tunables    8    4    0 : slabdata     56     56      0
size-4096(DMA)         0      0   4096    1    1 : tunables   24   12    8 : slabdata      0      0      0
size-4096            172    172   4096    1    1 : tunables   24   12    8 : slabdata    172    172      0
size-2048(DMA)         0      0   2048    2    1 : tunables   24   12    8 : slabdata      0      0      0
size-2048            113    114   2048    2    1 : tunables   24   12    8 : slabdata     57     57      0
size-1620(DMA)         0      0   1664    4    2 : tunables   24   12    8 : slabdata      0      0      0
size-1620             53     60   1664    4    2 : tunables   24   12    8 : slabdata     15     15      0
size-1024(DMA)         0      0   1024    4    1 : tunables   54   27    8 : slabdata      0      0      0
size-1024           1126   1240   1024    4    1 : tunables   54   27    8 : slabdata    310    310     81
size-512(DMA)          0      0    512    8    1 : tunables   54   27    8 : slabdata      0      0      0
size-512            2060   2064    512    8    1 : tunables   54   27    8 : slabdata    258    258     65
size-256(DMA)          0      0    256   15    1 : tunables  120   60    8 : slabdata      0      0      0
size-256          1137540 1137540    256   15    1 : tunables  120   60    8 : slabdata  75836  75836      0
size-128(DMA)          0      0    128   31    1 : tunables  120   60    8 : slabdata      0      0      0
size-128            2335   2790    128   31    1 : tunables  120   60    8 : slabdata     90     90     30
size-64(DMA)           0      0     64   61    1 : tunables  120   60    8 : slabdata      0      0      0
size-64             8619  11163     64   61    1 : tunables  120   60    8 : slabdata    183    183     90
size-32(DMA)           0      0     32  119    1 : tunables  120   60    8 : slabdata      0      0      0
size-32             2697   3570     32  119    1 : tunables  120   60    8 : slabdata     30     30     60
kmem_cache           180    180    256   15    1 : tunables  120   60    8 : slabdata     12     12      0


[Date Prev][Date Next]   [Thread Prev][Thread Next]   [Thread Index] [Date Index] [Author Index]