'스토리지'에 해당되는 글 2건
- 2008.07.10 :: 10TB 스토리지.. 2
- 2007.03.10 :: 스토리지... 8
리눅스
2008. 7. 10. 11:47
작년초 구입했던 6TB DAS 용량이 거의 풀인 관계로...
이번엔 10TB DAS를 구입했다.
헤더는 147GB SAS 2.5' 10k * 4EA로 구성되어 있고, RAID-10으로 묶어둔 상태이다.
바디는 뭐 말할것두 없이 RAID-5이고...
OS는 CentOS 5.2 x86_64 버전을 설치 했다.
헤더에 OS 설치하고, 바디 파티션 세팅하기에 앞서 이거저거 생각하다보니.. 음...-_-
ext3는 8TB 밖에 지원이 안되네.. 흠흠..
그래서 xfs를 사용하기로 결정했다. (ext4가 어여 stable이 되었으면 좋겠건만...)
[root@str3 ~]# fdisk -l
Disk /dev/sda: 292.3 GB, 292326211584 bytes
255 heads, 63 sectors/track, 35539 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 33 265041 83 Linux
/dev/sda2 34 425 3148740 83 Linux
/dev/sda3 426 686 2096482+ 83 Linux
/dev/sda4 687 35539 279956722+ 5 Extended
/dev/sda5 687 1991 10482381 83 Linux
/dev/sda6 1992 2252 2096451 82 Linux swap / Solaris
/dev/sda7 2253 2513 2096451 82 Linux swap / Solaris
/dev/sda8 2514 2774 2096451 83 Linux
/dev/sda9 2775 2839 522081 83 Linux
/dev/sda10 2840 35539 262662718+ 83 Linux
WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted.
Disk /dev/sdb: 10494.4 GB, 10494484152320 bytes
255 heads, 63 sectors/track, 1275881 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
Disk /dev/sda: 292.3 GB, 292326211584 bytes
255 heads, 63 sectors/track, 35539 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 33 265041 83 Linux
/dev/sda2 34 425 3148740 83 Linux
/dev/sda3 426 686 2096482+ 83 Linux
/dev/sda4 687 35539 279956722+ 5 Extended
/dev/sda5 687 1991 10482381 83 Linux
/dev/sda6 1992 2252 2096451 82 Linux swap / Solaris
/dev/sda7 2253 2513 2096451 82 Linux swap / Solaris
/dev/sda8 2514 2774 2096451 83 Linux
/dev/sda9 2775 2839 522081 83 Linux
/dev/sda10 2840 35539 262662718+ 83 Linux
WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted.
Disk /dev/sdb: 10494.4 GB, 10494484152320 bytes
255 heads, 63 sectors/track, 1275881 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
흠흠... fdisk에서 졸라 큰 파티션(10494.4GB/10TB)을 발견했다고 경고를 한다.
걍 쌩까자-_-);; 쟤는 맨날 저런다-_-;;
지난번 6TB DAS 세팅할때도 말했지만.. fdisk에선 2TB 이상 지원 못한다.
그러니 parted 유틸리티를 이용하자.
[root@str3 ~]# parted /dev/sdb
GNU Parted 1.8.1
Using /dev/sdb
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) p
Model: DELL PERC 6/E Adapter (scsi)
Disk /dev/sdb: 10.5TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Number Start End Size File system Name Flags
GNU Parted 1.8.1
Using /dev/sdb
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) p
Model: DELL PERC 6/E Adapter (scsi)
Disk /dev/sdb: 10.5TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Number Start End Size File system Name Flags
(parted) mkpart
Partition name? []?
File system type? [ext2]? xfs
Start? 0
End? 10.5TB
(parted) p
Partition name? []?
File system type? [ext2]? xfs
Start? 0
End? 10.5TB
(parted) p
Model: DELL PERC 6/E Adapter (scsi)
Disk /dev/sdb: 10.5TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk /dev/sdb: 10.5TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Number Start End Size File system Name Flags
1 17.4kB 10.5TB 10.5TB
1 17.4kB 10.5TB 10.5TB
(parted) quit
Information: Don't forget to update /etc/fstab, if necessary.
Information: Don't forget to update /etc/fstab, if necessary.
자.. 이제 파티션을 생성했으니.. 파일시스템을 생성해서 사용하기만 하면 된다.
그러나 여기서 잠깐!
이 상태에서는 xfs 파일시스템을 생성할 수가 없다.
왜냐하면, redhat 에서는 기본적으로 xfs를 서포트하고 있지 않기 때문이다.
따라서 몇가지 xfs 관련 패키지를 설치해주어야 된다.
[root@str3 ~]# yum -y install xfsprogs xfsdump kmod-xfs
Setting up Install Process
...
...
Complete!
Setting up Install Process
...
...
Complete!
패키지를 모두 설치했으면, 이제 파일시스템을 생성해보자.
[root@str3 ~]# mkfs -t xfs /dev/sdb1
meta-data=/dev/sdb1 isize=256 agcount=32, agsize=80066559 blks
= sectsz=512 attr=0
data = bsize=4096 blocks=2562129888, imaxpct=25
= sunit=0 swidth=0 blks, unwritten=1
naming =version 2 bsize=4096
log =internal log bsize=4096 blocks=32768, version=1
= sectsz=512 sunit=0 blks, lazy-count=0
realtime =none extsz=4096 blocks=0, rtextents=0
meta-data=/dev/sdb1 isize=256 agcount=32, agsize=80066559 blks
= sectsz=512 attr=0
data = bsize=4096 blocks=2562129888, imaxpct=25
= sunit=0 swidth=0 blks, unwritten=1
naming =version 2 bsize=4096
log =internal log bsize=4096 blocks=32768, version=1
= sectsz=512 sunit=0 blks, lazy-count=0
realtime =none extsz=4096 blocks=0, rtextents=0
정상적으로 파일시스템이 생성되었다.
이제 마운트하고 잘 쓰자 -_-);;
리눅스
2007. 3. 10. 21:00
이번에 회사에서 6TB DAS 스토리지 2대를 구입했다. (모델명: Dell社의 MD1000)
원래 3월 6일에 입고 예정이었던 스토리지가 3월 7일과 3월 8일에 양일에 걸쳐 도착했다.
그리고 델 엔지니어가 3월 9일에 도착해서 스토리지를 뜯었다.
(도착하는것부터가 아주 짜증나게 만드는 델-_-..)
다 뜯어놓고 하는말이 지들이 해줄 수 있는건 '뜯어주는것과 RAID 세팅까지만' 이란다-_-;;
(어짜피 첨부터 바라지도 않았으니 별로 신경 안쓴다)
그래서 걍 레이드나 잡으라고 하고 커피나 한잔 홀짝홀짝..
헤더에 있는 300G HDD 2개는 RAID-1로 구성해서 미러링을 하도록 하고..
스토리지의 500G HDD 15개는 RAID-5로 구성해서 14개는 돌리고 1개는 Hot Spare로..
RAID 세팅도 끝났으니 이제 OS 인스톨링...
두둥..
헤더가 /dev/sda로 잡혀야 되는데 /dev/sdb로 잡힌다..
기존 스토리지와 반대로 잡혀 있어서 추후 헷갈릴까봐 이래저래 삽질했었으나..
별 소득 없이 그냥 쓰기로 결정..
첫번째 테클은 이렇게 넘어갔다.
꽤나 크리티컬한 테클은 바로 여기서부터...
리눅스 부팅하고 root로 들어가서 fdisk -l 했더니 아래와 같이 잘 잡혀있는것을 확인..
fdisk에선 2TB 이상의 파티션을 지원못하니까.. parted를 이용해서 생성해야 된다.
자 여기까지.. 파티션을 만들어 주는 과정에는 전~~~혀 아~~무 문제 없이 잘!! 됐다.
그러나 나의 스트레스 신경을 Power on 해주신 멋진 분!!
아니 왜! 기존에 쓰던 장비도 아닌데 I/O 에러가 뜨냔 말이다 -_-;;
그것두 두대 스토리지 동일하게... -_-;
여하튼 내 경험상 저건 파일시스템이 깨졌을때 나오는 메시지니까..
다시한번 파티션 날리고 동일하게 재생성...
얼레? 이번엔 또 문제 없이 잘 생성이 되네 그려?-_-;;
(이넘이 대체 나한테 무슨 원한이 있길래 ㅡ.ㅡ;;;)
아무 문제 없이 잘 진행되었지만 찝찝한 기분을 떨쳐버릴 수가 없는 관계로..
디스크에 read/write 테스트를 통해서 괜찮은지 확인하려고 badblocks를 이용..
헉쓰-_-;;;;;
파티션이 너무 크신감 -_-a..
어쩔 수 없이 e2fsck의 -c 옵션을 이용.. non-destructive read-write 테스트로 시도..
뭐.. 테스트상으로는 대략 아무 문제가 없으니 일요일부터 데이터 이전작업을 할 계획..
그러나 여전히 찜찜한 기분은 떨쳐 버릴수가 없단 말이지... 쩝..
원래 3월 6일에 입고 예정이었던 스토리지가 3월 7일과 3월 8일에 양일에 걸쳐 도착했다.
그리고 델 엔지니어가 3월 9일에 도착해서 스토리지를 뜯었다.
(도착하는것부터가 아주 짜증나게 만드는 델-_-..)
다 뜯어놓고 하는말이 지들이 해줄 수 있는건 '뜯어주는것과 RAID 세팅까지만' 이란다-_-;;
(어짜피 첨부터 바라지도 않았으니 별로 신경 안쓴다)
그래서 걍 레이드나 잡으라고 하고 커피나 한잔 홀짝홀짝..
헤더에 있는 300G HDD 2개는 RAID-1로 구성해서 미러링을 하도록 하고..
스토리지의 500G HDD 15개는 RAID-5로 구성해서 14개는 돌리고 1개는 Hot Spare로..
RAID 세팅도 끝났으니 이제 OS 인스톨링...
두둥..
헤더가 /dev/sda로 잡혀야 되는데 /dev/sdb로 잡힌다..
기존 스토리지와 반대로 잡혀 있어서 추후 헷갈릴까봐 이래저래 삽질했었으나..
별 소득 없이 그냥 쓰기로 결정..
첫번째 테클은 이렇게 넘어갔다.
꽤나 크리티컬한 테클은 바로 여기서부터...
리눅스 부팅하고 root로 들어가서 fdisk -l 했더니 아래와 같이 잘 잡혀있는것을 확인..
[root@str1 ~]# fdisk -l
Disk /dev/sda: 6494.2 GB, 6494258987008 bytes
255 heads, 63 sectors/track, 789548 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk /dev/sda: 6494.2 GB, 6494258987008 bytes
255 heads, 63 sectors/track, 789548 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
fdisk에선 2TB 이상의 파티션을 지원못하니까.. parted를 이용해서 생성해야 된다.
[root@str1 ~]# parted /dev/sda
GNU Parted 1.6.19
Copyright (C) 1998 - 2004 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.
This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.
Using /dev/sda
(parted) mklabel gpt
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
(parted) mkpart
Partition type? [primary]?
File system type? [ext2]?
Start? 0
End? 6193408
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
1 0.017 6193407.983 ext2
(parted) quit
Information: Don't forget to update /etc/fstab, if necessary.
GNU Parted 1.6.19
Copyright (C) 1998 - 2004 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.
This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.
Using /dev/sda
(parted) mklabel gpt
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
(parted) mkpart
Partition type? [primary]?
File system type? [ext2]?
Start? 0
End? 6193408
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
1 0.017 6193407.983 ext2
(parted) quit
Information: Don't forget to update /etc/fstab, if necessary.
자 여기까지.. 파티션을 만들어 주는 과정에는 전~~~혀 아~~무 문제 없이 잘!! 됐다.
그러나 나의 스트레스 신경을 Power on 해주신 멋진 분!!
[root@str1 ~]# mkfs -t ext3 /dev/sda1
mke2fs 1.35 (28-Feb-2004)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
792756224 inodes, 1585512439 blocks
36325948 blocks (2.29%) reserved for the super user
First data block=0
Maximum filesystem blocks=1589641216
48386 block groups
32768 blocks per group, 32768 fragments per group
16384 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000, 550731776, 644972544
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information:
SCSI error : <0 2 0 0> return code = 0x6000000
end_request: I/O error, dev sda, sector 12643992930
SCSI error : <0 2 0 0> return code = 0x6000000
end_request: I/O error, dev sda, sector 12661234252
...
...
done
This filesystem will be automatically checked every 26 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
mke2fs 1.35 (28-Feb-2004)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
792756224 inodes, 1585512439 blocks
36325948 blocks (2.29%) reserved for the super user
First data block=0
Maximum filesystem blocks=1589641216
48386 block groups
32768 blocks per group, 32768 fragments per group
16384 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000, 550731776, 644972544
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information:
SCSI error : <0 2 0 0> return code = 0x6000000
end_request: I/O error, dev sda, sector 12643992930
SCSI error : <0 2 0 0> return code = 0x6000000
end_request: I/O error, dev sda, sector 12661234252
...
...
done
This filesystem will be automatically checked every 26 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
아니 왜! 기존에 쓰던 장비도 아닌데 I/O 에러가 뜨냔 말이다 -_-;;
그것두 두대 스토리지 동일하게... -_-;
여하튼 내 경험상 저건 파일시스템이 깨졌을때 나오는 메시지니까..
다시한번 파티션 날리고 동일하게 재생성...
[root@str1 ~]# parted /dev/sda
GNU Parted 1.6.19
Copyright (C) 1998 - 2004 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.
This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.
Using /dev/sda
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
1 0.017 6193407.983 ext3
(parted) rm 1
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
(parted) mkpart
Partition type? [primary]?
File system type? [ext2]?
Start? 0
End? 6193408
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
1 0.017 6193407.983 ext3
(parted) quit
Information: Don't forget to update /etc/fstab, if necessary.
[root@str1 ~]# mkfs -t ext3 /dev/sda1
mke2fs 1.35 (28-Feb-2004)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
792756224 inodes, 1585512439 blocks
36325948 blocks (2.29%) reserved for the super user
First data block=0
Maximum filesystem blocks=1589641216
48386 block groups
32768 blocks per group, 32768 fragments per group
16384 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000, 550731776, 644972544
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 26 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
GNU Parted 1.6.19
Copyright (C) 1998 - 2004 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.
This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.
Using /dev/sda
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
1 0.017 6193407.983 ext3
(parted) rm 1
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
(parted) mkpart
Partition type? [primary]?
File system type? [ext2]?
Start? 0
End? 6193408
(parted) p
Disk geometry for /dev/sda: 0.000-6193408.000 megabytes
Disk label type: gpt
Minor Start End Filesystem Name Flags
1 0.017 6193407.983 ext3
(parted) quit
Information: Don't forget to update /etc/fstab, if necessary.
[root@str1 ~]# mkfs -t ext3 /dev/sda1
mke2fs 1.35 (28-Feb-2004)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
792756224 inodes, 1585512439 blocks
36325948 blocks (2.29%) reserved for the super user
First data block=0
Maximum filesystem blocks=1589641216
48386 block groups
32768 blocks per group, 32768 fragments per group
16384 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000, 550731776, 644972544
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 26 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
얼레? 이번엔 또 문제 없이 잘 생성이 되네 그려?-_-;;
(이넘이 대체 나한테 무슨 원한이 있길래 ㅡ.ㅡ;;;)
아무 문제 없이 잘 진행되었지만 찝찝한 기분을 떨쳐버릴 수가 없는 관계로..
디스크에 read/write 테스트를 통해서 괜찮은지 확인하려고 badblocks를 이용..
[root@str1 ~]# badblocks -svw /dev/sda1
badblocks: 파일이 너무 큽니다 while trying to determine device size
badblocks: 파일이 너무 큽니다 while trying to determine device size
헉쓰-_-;;;;;
파티션이 너무 크신감 -_-a..
어쩔 수 없이 e2fsck의 -c 옵션을 이용.. non-destructive read-write 테스트로 시도..
[root@str1 ~]# e2fsck -cvk /dev/sda1
e2fsck 1.35 (28-Feb-2004)
Checking for bad blocks (read-only test):
... [1번부터 15번까지 열심히 진행-.-]
...
...
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/sda1: ***** FILE SYSTEM WAS MODIFIED *****
11 inodes used (0%)
1 non-contiguous inode (9.1%)
# of inodes with ind/dind/tind blocks: 0/0/0
24909500 blocks used (1%)
0 bad blocks
1 large file
0 regular files
2 directories
0 character device files
0 block device files
0 fifos
0 links
0 symbolic links (0 fast symbolic links)
0 sockets
--------
2 files
e2fsck 1.35 (28-Feb-2004)
Checking for bad blocks (read-only test):
... [1번부터 15번까지 열심히 진행-.-]
...
...
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/sda1: ***** FILE SYSTEM WAS MODIFIED *****
11 inodes used (0%)
1 non-contiguous inode (9.1%)
# of inodes with ind/dind/tind blocks: 0/0/0
24909500 blocks used (1%)
0 bad blocks
1 large file
0 regular files
2 directories
0 character device files
0 block device files
0 fifos
0 links
0 symbolic links (0 fast symbolic links)
0 sockets
--------
2 files
뭐.. 테스트상으로는 대략 아무 문제가 없으니 일요일부터 데이터 이전작업을 할 계획..
그러나 여전히 찜찜한 기분은 떨쳐 버릴수가 없단 말이지... 쩝..