Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
#1 2011-11-04 22:25:39
badgerman - 
Użytkownik
RAID 5 - ponowny problem
Witam - mam znowu problem z RAID5. Dziś rano włączyłem serwer i moim oczom ukazało się ni z tego ni z owego [_U_]
no więc sugerując się pewnym tutorialem zrobiłem
i moim oczom po kilkugodzinnej resynchronizacji ukazał się taki tekst:
Kod:
B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active (auto-read-only) raid5 sdd1[3](S) sdc1[1] sdb1[0]
1953517568 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]Moje pytanie jest teraz takie - czy da się jeszcze jakoś poskładać tę macierz do kupy tak aby nie poleciały z niej dane ?
Proszę o pomoc.
Offline
#2 2011-11-05 08:02:38
andreq - Członek DUG
- andreq
- Członek DUG
- Skąd: Nisko
- Zarejestrowany: 2005-01-11
Re: RAID 5 - ponowny problem
A co zrobiłeś sugerując się pewnym tutorialem, bo nie wkleiłeś?
Daj wynik
Kod:
mdadm --detail /dev/md0
oraz
Kod:
fdisk -l
Offline
#3 2011-11-05 11:22:16
badgerman - Użytkownik
Re: RAID 5 - ponowny problem
uj - nie wiem czemu nie dopisało: wyzerowałem superbloki dysków
mdadm --zero-superblock /dev/sd[bcd]1
wynik mdadm --detail /dev/md0
Kod:
B-Serwer:/etc/mdadm# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Sat Nov 5 11:49:36 2011
Raid Level : raid5
Array Size : 1953517568 (1863.02 GiB 2000.40 GB)
Used Dev Size : 976758784 (931.51 GiB 1000.20 GB)
Raid Devices : 3
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Sat Nov 5 11:49:36 2011
State : clean, degraded
Active Devices : 2
Working Devices : 3
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 64K
Name : B-Serwer:0 (local to host B-Serwer)
UUID : cf17823a:7496052d:2212a684:45bdccab
Events : 0
Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 0 0 2 removed
3 8 49 - spare /dev/sdd1fdisk -l
Kod:
B-Serwer:/etc/mdadm# fdisk -l Dysk /dev/sda: 30.2 GB, bajtów: 30206873600 głowic: 255, sektorów/ścieżkę: 63, cylindrów: 3672 Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512 Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512 Identyfikator dysku: 0x000d5940 Urządzenie Rozruch Początek Koniec Bloków ID System /dev/sda1 1 3672 29495308+ 83 Linux Dysk /dev/sdb: 1000.2 GB, bajtów: 1000204886016 głowic: 255, sektorów/ścieżkę: 63, cylindrów: 121601 Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512 Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512 Identyfikator dysku: 0x000d5940 Urządzenie Rozruch Początek Koniec Bloków ID System /dev/sdb1 1 121601 976760001 fd Linux RAID autodetect Dysk /dev/sdc: 1000.2 GB, bajtów: 1000204886016 głowic: 255, sektorów/ścieżkę: 63, cylindrów: 121601 Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512 Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512 Identyfikator dysku: 0x000c6a8b Urządzenie Rozruch Początek Koniec Bloków ID System /dev/sdc1 1 121601 976760001 fd Linux RAID autodetect Dysk /dev/sdd: 1000.2 GB, bajtów: 1000204886016 głowic: 255, sektorów/ścieżkę: 63, cylindrów: 121601 Jednostka = cylindrów, czyli 16065 * 512 = 8225280 bajtów Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512 Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512 Identyfikator dysku: 0x000e3c01 Urządzenie Rozruch Początek Koniec Bloków ID System /dev/sdd1 1 121601 976760001 fd Linux RAID autodetect Dysk /dev/md0: 2000.4 GB, bajtów: 2000401989632 głowic: 2, sektorów/ścieżkę: 4, cylindrów: 488379392 Jednostka = cylindrów, czyli 8 * 512 = 4096 bajtów Rozmiar sektora (logiczny/fizyczny) w bajtach: 512 / 512 Rozmiar we/wy (minimalny/optymalny) w bajtach: 512 / 512 Identyfikator dysku: 0x00000000 Dysk /dev/md0 nie zawiera poprawnej tablicy partycji
a także to
Kod:
B-Serwer:/etc/mdadm# mdadm -E /dev/md0
mdadm: No md superblock detected on /dev/md0.
B-Serwer:/etc/mdadm# mdadm -E /dev/sdb1
/dev/sdb1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : cf17823a:7496052d:2212a684:45bdccab
Name : B-Serwer:0 (local to host B-Serwer)
Creation Time : Sat Nov 5 11:49:36 2011
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1953517954 (931.51 GiB 1000.20 GB)
Array Size : 3907035136 (1863.02 GiB 2000.40 GB)
Used Dev Size : 1953517568 (931.51 GiB 1000.20 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 9689ddeb:d57bf15d:4d15bf60:520fd976
Update Time : Sat Nov 5 11:49:36 2011
Checksum : c091a0b9 - correct
Events : 0
Layout : left-symmetric
Chunk Size : 64K
Device Role : Active device 0
Array State : AA. ('A' == active, '.' == missing)
B-Serwer:/etc/mdadm# mdadm -E /dev/sdc1
/dev/sdc1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : cf17823a:7496052d:2212a684:45bdccab
Name : B-Serwer:0 (local to host B-Serwer)
Creation Time : Sat Nov 5 11:49:36 2011
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1953517954 (931.51 GiB 1000.20 GB)
Array Size : 3907035136 (1863.02 GiB 2000.40 GB)
Used Dev Size : 1953517568 (931.51 GiB 1000.20 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 31925cce:6a38811a:44e0c3f2:5bd81579
Update Time : Sat Nov 5 11:49:36 2011
Checksum : f3e1f9ea - correct
Events : 0
Layout : left-symmetric
Chunk Size : 64K
Device Role : Active device 1
Array State : AA. ('A' == active, '.' == missing)
B-Serwer:/etc/mdadm# mdadm -E /dev/sdd1
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : cf17823a:7496052d:2212a684:45bdccab
Name : B-Serwer:0 (local to host B-Serwer)
Creation Time : Sat Nov 5 11:49:36 2011
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1953517954 (931.51 GiB 1000.20 GB)
Array Size : 3907035136 (1863.02 GiB 2000.40 GB)
Used Dev Size : 1953517568 (931.51 GiB 1000.20 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 196cea95:f339fc2c:b741acbf:6a13d1f6
Update Time : Sat Nov 5 11:49:36 2011
Checksum : 188e71e0 - correct
Events : 0
Layout : left-symmetric
Chunk Size : 64K
Device Role : spare
Array State : AA. ('A' == active, '.' == missing)Sądzę że jeśli by wymusić na SDD1 aby zaczął pamiętać że jest disk memberem 2 to by to ruszyło. tylko jak to zrobić?
Ostatnio edytowany przez badgerman (2011-11-05 11:54:45)
Offline
#4 2011-11-05 13:02:09
andreq - Członek DUG
- andreq
- Członek DUG
- Skąd: Nisko
- Zarejestrowany: 2005-01-11
Re: RAID 5 - ponowny problem
Wykonaj:
Kod:
madam --remove /dev/md0 /dev/sdd1 mdadm --add /dev/md0 /dev/sdd1
Nie masz czasem wpisu sda1 w pliku mdadm.conf w sekcji DEVICE, dla pewności wklej jego zawartość.
Offline
#5 2011-11-05 16:12:49
badgerman - Użytkownik
Re: RAID 5 - ponowny problem
polecenie powyższe nie daje rezultatu - macierz wraca do stanu pierwotnego czyli 2 dyski i jeden spare
konfig mdadm
Kod:
# mdadm.conf # # Please refer to mdadm.conf(5) for information about this file. # # by default, scan all partitions (/proc/partitions) for MD superblocks. # alternatively, specify devices to scan, using wildcards if desired. DEVICE partitions # auto-create devices with Debian standard permissions CREATE owner=root group=disk mode=0660 auto=yes # automatically tag new arrays as belonging to the local system HOMEHOST <system> # instruct the monitoring daemon where to send mail alerts MAILADDR root # definitions of existing MD arrays # This file was auto-generated on Wed, 29 Dec 2010 21:20:58 +0100 # by mkconf $Id$ DEVICE /dev/sd[bcd]1 ARRAY /dev/md0 devices=/dev/sdb1,/dev/sdc1,/dev/sdd1 ARRAY /dev/md/0 metadata=1.2 UUID=bb13051e:986c3129:bd73a29c:81405a36 name=B-Serwer:0 spares=2
Offline
#6 2011-11-05 17:14:20
andreq - Członek DUG
- andreq
- Członek DUG
- Skąd: Nisko
- Zarejestrowany: 2005-01-11
Re: RAID 5 - ponowny problem
Moim zdaniem mdadm.conf powinien wyglądać tak
Kod:
DEVICE /dev/sd[bcd]1 ARRAY /dev/md0 metadata=1.2 UUID=cf17823a:7496052d:2212a684:45bdccab
Masz zły UUID macierzy, zresztą i macierz masz nieprawidłową, bo /dev/md/0
A weź jeszcze wklej wynik:
Kod:
mdadm --detail --scan
z dyskiem sdd1 i bez niego (opcja --remove)
Offline
#7 2011-11-05 21:12:27
badgerman - Użytkownik
Re: RAID 5 - ponowny problem
wyniki komendy:
Kod:
B-Serwer:/# mdadm --detail --scan ARRAY /dev/md0 metadata=1.2 spares=1 name=B-Serwer:0 UUID=cf17823a:7496052d:2212a684:45bdccab B-Serwer:/# mdadm --rem /dev/md0 /dev/sdd1 mdadm: hot removed /dev/sdd1 from /dev/md0 B-Serwer:/# mdadm --detail --scan ARRAY /dev/md0 metadata=1.2 name=B-Serwer:0 UUID=cf17823a:7496052d:2212a684:45bdccab
zmieniłem konfig macierzy na podany - zobaczymy co będzie
edit:
zmieniłem config według zaleceń (po wywaleniu SDD1 z MD0)
wcześniej też było MD0
po reboocie i dodaniu SDD1 wygląda to tak:
Kod:
B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdb1[0] sdc1[1]
1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/2] [UU_]
[>....................] recovery = 0.2% (2252836/976758784) finish=1210.1min speed=13418K/secMartwi mnie deko ten dysk sdd1 jako [3] => nie powinien być jako [2] ?
edit:
no i tak jak sięobawiałem - poreperował rzekomo i wyniki są takie:
Kod:
B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3](S) sdb1[0](F) sdc1[1]
1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/1] [_U_]Cała konfiguracja która działała jest tu http://forum.dug.net.pl/viewtopic.php?pid=175232 . Moim zdaniem coś się z UUID namieszało - da się UUID zmienić ?
edit
rozwaliłem raida i złożyłem na nowo: znowu jest:
Kod:
cat /proc/mdstat Sun Nov 6 11:52:56 2011
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/2] [UU_]
[>....................] recovery = 0.5% (5803528/976758784) finish=940.8min speed=17197K/secBoję się jednak że wróci do stanu jak było.
Zastanawia mnie tylko jendo: jeśli mam sytuacje UU_, to tak jakby była RAID5 zdegradowana. Czyli skorzystano z odporności na uszkodzenie jednego dysku - ciekawe czy jakbym włożył pustą terówkę to czu zrebilduje RAIDa ? Może po prostu sformatować tego /dev/sdd1 ?
Ostatnio edytowany przez badgerman (2011-11-06 11:51:39)
Offline
#8 2011-11-06 17:26:02
andreq - Członek DUG
- andreq
- Członek DUG
- Skąd: Nisko
- Zarejestrowany: 2005-01-11
Re: RAID 5 - ponowny problem
Dziwi mnie, że nie odbudowuje macierzy, tylko zostawia w stanie uszkodzonym.
Ten ostatni wpis jest OK, znaczy odbudowuje się macierz.
badgerman napisał(-a):
Zastanawia mnie tylko jendo: jeśli mam sytuacje UU_, to tak jakby była RAID5 zdegradowana. Czyli skorzystano z odporności na uszkodzenie jednego dysku - ciekawe czy jakbym włożył pustą terówkę to czu zrebilduje RAIDa ? Może po prostu sformatować tego /dev/sdd1 ?
Podstawą odbudowy jest założenie na dysku partycji typu fd, i dodanie go do macierzy przy pomocy mdadm, potem musisz dodać wpis o tym dysku do mdadm.conf - sekcja DEVICE.
Na sdd1 puść raczej badblocks, pamiętaj o wcześniejszym ustawieniu dysku jako fail a następnie usunięciu go z macierzy.
Może problemem u Ciebie jest błędny config mdadm.conf, ja robię go w taki sposób, że sekcję DEVICE dostosowuję do swoich dysków
Z tego co zobaczyłem teraz ;-) masz dwa wpisy DEVICE jeden "DEVICE partitions" drugi "DEVICE /dev/sd[bcd]1" - zostaw tylko ten drugi
Sekcję ARRAY mam identyczną z tym co wypisuje
Kod:
mdadm --detail --scan
Offline
#9 2011-11-09 10:49:40
badgerman - Użytkownik
Re: RAID 5 - ponowny problem
no więc tak:
SDA - bad blocki - poważne.
Wymieniłem na inny dysk 1 TB, zrobiłem partycję type FD
mdadm --stop /dev/md1
mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=3 missing /dev/sdc1 /dev/sdd1
mdadm --add /dev/md0 /dev/sdb1
po 20 godzinach niby
Kod:
B-Serwer:/# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
1953517568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]
unused devices: <none>jednakże próba
mount /dev/md0
zakończyła się niepowodzeniem
próbowałem
Kod:
B-Serwer:/# e2fsck /dev/md0
e2fsck 1.41.12 (17-May-2010)
e2fsck: Superblok błędny, próba użycia zapasowych bloków...
e2fsck: Bad magic number in super-block podczas próby otworzenia /dev/md0
superblok nie mógł być odczytany lub nie opisuje prawidłowego systemu
plików ext2. Jeżeli urządzenie jest prawidłowe i naprawdę zawiera
system plików ext2 (nie jest swapem, ufs-em ani niczym innym),
to superblok jest uszkodzony - można próbować uruchomić e2fsck z innym
superblokiem:
e2fsck -b 8193 <urządzenie>Szczegóły tego co teraz jest
Kod:
B-Serwer:/# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Tue Nov 8 14:25:11 2011
Raid Level : raid5
Array Size : 1953517568 (1863.02 GiB 2000.40 GB)
Used Dev Size : 976758784 (931.51 GiB 1000.20 GB)
Raid Devices : 3
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Wed Nov 9 10:41:54 2011
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 64K
Name : B-Serwer:0 (local to host B-Serwer)
UUID : 6ee08568:75097221:0b9ad673:d10140fe
Events : 8
Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
3 8 49 2 active sync /dev/sdd1jeszcze jedna rzecz:
Kod:
B-Serwer:/# mdadm --rem /dev/md0 /dev/sdd1 mdadm: hot remove failed for /dev/sdd1: Device or resource busy
Ostatnio edytowany przez badgerman (2011-11-13 21:42:17)
Offline
#10 2011-11-09 11:12:33
pasqdnik - Pijak ;-P
- pasqdnik
- Pijak ;-P
- Skąd: Wrocław
- Zarejestrowany: 2006-03-06
Re: RAID 5 - ponowny problem
AFAIR w RAID5 z 3 dysków może paść tylko jeden z nich aby macierz odbudować bez problemu. Z tego co widzę u kolegi padły w sumie 2 dyski.(Czy się mylę ??) IMO pozostają tylko zabawy z DMDE.
http://www.youtube.com/watch?v=3C4WvsHuLQU&feature=player_embedded
Dum spiro - spero ...
pozdrawiam, pasqdnik
Offline