Forum Debian Users Gang

Wiesz co? napisz co chcesz osiągnąć (tak nawiasem: raid 1 nie zapewnia ochrony danych tylko zabezpiecza przed awaria pojedynczego dysku/partycji) bo na razie masz totalną rozpierduchę.

Ostatnio edytowany przez andreq (2011-05-13 18:08:12)

To może zacznę od tego co chcę osiągnąć :/ jak wspomniał andreq. Jestem początkującym użytkownikiem debiana więc wybaczcie ...

Muszę stworzyć serwer do kopii danych użytkowników ok. 25 hostów środowiska niezarządzalnego - brak DC, stacje win xp pro i home, win 7 pro. Mam do tego celu sprzęt z procem Celeron 2,0 GHz 256 MB Ram. Ponadto mam do dyspozycji kontroler raid sata (faik-raid). Zakupiłem 2 dyski 1TB, ale oprócz tego dysponuję kilkoma dyskami  40 i 80 GB.

Aktualnie mam zainstalowane system Debian 6.0 stable na pojedynczym dysku 1TB z wydzielonymi partycjami na /, swap i /home. Postawiłem na tym sambe, proftpd (narazie robię za jego pomocą kopie baz z niededykowanych serwerów microsoft sql server - hosty użytkowników). Ze względu na słabe rozeznanie w temacie wpadłem na taki o to pomysł.

Na stacjach klienckich podczas bootowania windowsa odpalać się będzie *.bat mapujący zasób serwera użytkownika samby, jego katalog /home (login i hasło inne niż w systemie windows). W pliku *.bat niestety będzie jawnie zdefiniowana nazwa usera oraz hasło z samby :/ (lub można też wymusić na użytkowniku ich wpisanie), a to dlatego żeby w oparciu o lokalna bazę SAM hosta użytkownik mógł i był zobowiązany do zmiany hasła w oparciu  lokalne polityki co 30 dni i nie był uzależniony do bazy samby.

Teraz zastanawiam się czy ... obecnie planowane rozwiązanie wdrożyć zabezpieczając się tylko poprzez dołożenie drugiego dysku 1TB sata i replikacje tabeli partycji dysku /dev/sdb oraz zastosowanie mdadm - raid 1. Czy może lepiej ... stworzyć raid 1 dla dysków /dev/sda i /dev/sdb dla samego /home i przenieść root katalog / na osobny dysk 40 GB i robić codziennie jego kopię na drugi taki dysk na wypadek uszkodzenia dysku lub systemu (tutaj bez raid jakaś synchronizacja rsync), na wypadek moich błędów administracyjnych.

W ten sposób będę mógł przywrócić stan systemu z dnia poprzedniego. Kopię danych hostów jakie chcę archiwizować to dokumenty służbowe, oraz pliki lokalnych klientów e-mail użytkowników. Chciałem do tego celu zastosować aplikacje Cobian Backup 10 z powiadamianiem e-mail o błędach w wykonywaniu zleconych zadań oraz możliwością zdalnej konfiguracji, ale ostatnio czytałem o rozwiązaniach Amanda i Bacula.

Co poradzicie początkującemu w związku z zaistniałym problemem, jakie rozwiązanie zastosować jak to ugryźć? Wiem zastosowanie chociażby samby jako DC  rozwiązało by problem uwierzytelniania, zarządzania userami lecz narazie chcę to zostawić na później.

Zaznaczę, że kopie mają się wykonywać tylko z sieci lokalnej, brak użytkowników mobilnych.

// Dziel wypowiedzi na jakieś akapity, bo przy takich strumieniach świadomości przeciętnemu człowiekowi wyłącza się czytanie.  Tym razem sam to zrobiłem (choć nie wiem czy dobrze, wymienione zjawisko i u mnie wystąpiło) — azhag

Ostatnio edytowany przez azhag (2011-05-14 21:13:05)

rychu napisał(-a):

to, czy zrobisz softowy raid na partycjach czy na całych dyskach nie ma wpływu na wydajność pracy dysków, wyłącznie kwestia organizacji. rób jak chcesz.

andreq napisał(-a):

Ja dopiszę jeszcze, że z powodu wolniejszego zapisu, nie ma sensu robić swapa na macierzy raid1, lepiej swap zostawić na oddzielnych dyskach, a w /etc/fstab w opcjach ustawić:
/dev/sda5 swap swap pri=1 0 0
/dev/sdb5 swap swap pri=1 0 0

Z powyższego wnioskuję, że lepiej jest zastosować raid1 dla partycji, z pominięciem partycji swap?

andreq napisał(-a):

Montowanie udziałów za pomocą skryptów bat/cmd nie jest konieczne, wystarczy w eksploratorze windows wybrać opcje mapuj dysk sieciowy. Niestety, wg Twoich założeń, zmiana hasła windows nie spowoduje zmiany hasła danego usera w Sambie.

Wykorzystanie do tego celu exploratora windows nie spełni planowanego zadania, ponieważ po ponownym uruchomieniu komputera nie pojawi się okienko do wpisania danych użytkownika samby, z którego uprawnieniami chcemy uzyskać dostęp do zasobu sieciowego. Jego podmontowanie nastąpi dopiero gdy użytkownik spróbuje wejść do niego klikając dwukrotnie na odpowiadającą temu literę dysku, wtedy pojawi się owy ekran do uwierzytelnienia.

Plik bat wyświetli w wierszu cmd za każdym razem po ponownym uruchomieniu komputera prośbę o login i hasło, a w przypadku zdefiniowania ich jawnie w tym pliku bat podmontuje zasób automatycznie. Zasób ma być podmontowany na początku pracy użytkownika by aplikacja zgodnie z ustalonym harmonogramem mogła robić kopie do tej lokalizacji.

Ponadto zmiana hasła windows ma następować co 30 dni, natomiast do zasobu sieciowego nie ... bo nie da się tego dokonać bez dc, którego nie planuję narazie lub mojej ingerencji w bazę tdbsam.

Jak zatem mogę usunąć obecnie utworzone md..., następnie chciałbym przy waszej pomocy poprawnie utworzyć macierze raid1 dla partycji. Chciałbym jeszcze zaznaczyć, że zastosowanie macierzy raid1 tylko na potrzeby /home (dyski 1TB) i przechowywanie systemu na oddzielnym dysku było by korzystne w przypadku zmiany komputera, przepięcie dysków do nowego sprzętu i podmonotowanie macierzy, tak mi się wydaje. Dobra przyjmijmy scenariusz taki, że chcę stworzyć 2 osobne macierze raid1 dla partycji sdb1, sdb6 swap stworzyć na obu dyskach zgodnie z zaleceniem. Jak zacząć?

sfdisk: BŁĄD: sektor 0 nie zawiera sygnatury MSDOS
/dev/sda: nierozpoznany typ tablicy partycji
Stara sytuacja:
Nie znaleziono żadnej partycji

To nie powinno dziwić, bo zamazałeś MBR zerami...

dd if=/dev/zero of=/dev/hda bs=512 count=1

sfdisk: Nie podobają mi się te partycje - nie zmieniono
(jeśli na pewno tak mają wyglądać - proszę użyć opcji --force).

Tu po prostu sfdisk twierdzi, że masz dziwny układ partycji, i trochę ma rację...dziwi mnie pierwsza partycja, która nie zaczyna się od zera. Zawsze możesz utworzyć partycje przy pomocy innego programu np. cfdisk

Macierze działają, wg mnie brakuje Ci w /etc/mdadm/mdadm.conf wpisu

DEVICE /dev/sd[ab][16]

Wpis ma być na początku mdadm.conf, poczytaj pomoc man

mdadm.conf

Co do opisu, z grubsza wg niego, tylko dostosuj wpisy w fstab do Twoich realiów.  Konfigurację, gruba sobie daruj, pewnie masz grub2, pierwszy raz system wystartuj z macierzy poprzez "ręczne" podanie kernelowi parametru root=/dev/md0 (naciśnij e przy ekranie gruba), potem update-grub powinno załatwić sprawę.

Nie zapomnij skopiować danych na macierz, przed restartem...

Wcześniej pobierz sobie, jak nie masz, jakieś livecd na. ewentualne problemy ze startem systemu, polecam http://grml.org/download/

Dobrze zaczynasz...

Montujesz macierze np. /dev/md0 do /mnt/md0, /dev/md1 do /mnt/md1.

Potem zgodnie z instrukcją kopiujesz dane, np:

cp -dpRx /* /mnt/md0
cp -dpRx /home/* /mnt/md1

Obecnie nie zrobi Ci synchronizacji z /dev/sdb, bo zrobiłeś zdegradowaną (uszkodzoną) macierz z samych sda. Dopiero gdy po przekopiowaniu danych uruchomisz system z macierzy (bez danych raczej nie wstanie), dodajesz dyski sdb do odpowiednich macierzy i wtedy rozpocznie się synchronizacja.

bonus napisał(-a):

Podczas

Kod:

cp -dpRx /* /mnt/md0

Zapełnił mi się dysk ... nic dziwnego bo jeszcze home się kopiuje czy można zrobić jakieś wyłączenie z tego polecenia tego folderu?

Właśnie dziwne, zdawało mi się, że masz /home na innej partycji, więc opcja x powinna pominąć kopiowanie. Spróbuj jeszcze raz, wcześniej odmontowując /home.

bonus napisał(-a):

teraz wykonuje się

Kod:

cp -dpRx /home/* /mnt/md1

i trwa ... (jakieś 200GB) jak to jest skoro nie ma póki co macierzy. Czemu tak długo trwa kopiowanie danych do /mnt/md... ? Czy dane są kopiowane w tej chwili na oba dyski /dev/sdb i /dev/sda.

Nie nie są kopiowane jednocześnie na oba dyski - masz zdegradowana macierz z samego dysku sda.
Czemu długo? Policz ile sekund będzie trwało przekopiowanie 200 GB danych, przyjmując, że transfer wynosi 100 MB/s (to jest bardzo dobry transfer w przypadku dysku mechanicznego)

bonus napisał(-a):

Wykonanie

Kod:

cp -dpRx /home/* /mnt/md1

trwało jakieś 20-30 minut co jest bardzo dziwne. Dyski sata są podłączone do kontrolera fake-raid na pci :/.

Dziwne?!

Przyjmijmy, że:
200 GB => 200 000 000 000 B
transfer wynosi 100 MB/s => 100 000 000 B/s
czyli przekopiowanie potrwa:
200 000 000 000 / 100 000 000 = 2000 s
co daje: 33 minuty 20 s

rychu napisał(-a):

może pomyliłeś raid0 z raid1 ;)

tak jasne ...
zrobiłem

umount /dev/sd6

i ponownie

cp -dpRx /* /mnt/md0

Tak jak przed odmontowaniem wywaliło

cp: czytanie `/proc/sysrq-trigger': Błąd wejścia/wyjścia

i "wisi" w procesach też widnieje to polecenie i rezerwuje pamięć jednak nic się nie zmienia, znaczy brak aktywności procesu ...
zakończyłem proces ctrl+c bo co mam zrobić? Wszystko się nie skopiowało co można wywnioskować chociażby z zajętości dysku na /dev/sdb1 /mnt/md0. Zainstalowałem rsync jakie polecenie rozwiąże problem skopiowania i wyłączenie /proc/*.

Ostatnio edytowany przez bonus (2011-05-20 08:50:38)

Dobra skopiowane ... Na początek dalszych rozważań zaznaczę, że Grub wersja 1.98.
Wyedytowałem plik /etc/fstab

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0
# / was on /dev/md0 during installation
/dev/md0        /               ext3    errors=remount-ro 0       1
# /home was on /dev/md1 during installation
/dev/md1        /home           ext3    defaults        0       2
# swap was on /dev/sda5 during installation
UUID=8db19870-9a42-4a9f-8ff0-6655ebd8457b none            swap    sw              0       0
/dev/scd0       /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/fd0        /media/floppy0  auto    rw,user,noauto  0       0

także uuid'y zmienione na /dev/mdx jak wyżej
Potem robię reboot i edytuję wpis gruba na root=/dev/md0. Czy nie muszę zmienić jeszcze set root='(hd0,msdos1)'? Chociaż hd0 wskazuje na sda, sam nie wiem ... W każdym razie przy takiej konfiguracji w grub'ie

insmod part_msdos
insmod ext2
set root='(hd0,msdos1)'
search --no-floppy --fs-uuid --set c39401f2-a51d-4aed-bc93-dc75e2fa1037
echo 'Loading Linux 2.6.32-5-686 ...'
linux /boot/vmlinuz-2.6.32-5-686 root=/dev/md0 ro quiet
echo 'Loading initial ramdisk ...'
initrd /boot/initrd.img-2.6.32-5-686

Ctrl+x odpala się normalnie pierwsze są monity o braku jednego dysku w raid'zie potem normalnie. Nie wiem z jakiego dysku ładuje się teraz system, ale żadnej synchronizacji tu nie widzę. Co dalej mam z tym robić?
Poszedłem dalej :)
Dokonałem zmiany typu partycji dysku /dev/sdb na fd (Linux RAID autodetect). Przy próbie zapisu

Tablica partycji została zmodyfikowana!

Wywoływanie ioctl() w celu ponownego odczytu tablicy partycji.

UWAGA: ponowny odczyt tablicy partycji zakończył się błędem 16: Urządzenie lub zasoby zajęte.
Jądro nadal używa starej tablicy. Nowa tablica będzie używana po
następnym restarcie systemu albo po uruchomieniu partprobe(8) lub kpartx(8)
Synchronizacja dysków.

Zrobiłem restart.
Teraz dodałem partycje /dev/sdb do odpowiednich macierzy

mdadm --add /dev/md0 /dev/sdb1
mdadm: added /dev/sdb1

mdadm --add /dev/md1 /dev/sdb6
mdadm: added /dev/sdb6

chyba leci :)

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdb1[2] sda1[1]
      9763768 blocks super 1.2 [2/1] [_U]
      [===>.................]  recovery = 19.3% (1887552/9763768) finish=7.0min speed=18710K/sec

md1 : active raid1 sdb6[2] sda6[1]
      966560632 blocks super 1.2 [2/1] [_U]
        resync=DELAYED

Teraz jak uporządkować sprawę partycji swap i gruba?. Chyba wszystko dobrze zrobiłem. Byłem ciekaw czy raid 1 może działać bez 1 dysku twardego z tego wynika, że może :) tylko zapewne podczas synchronizacji nie można wykonywać żadnych zmian w systemie bo potem mogą wystąpić niespójności? Wytłumaczcie proszę ? Mam w pracy serwer z raid 1 na mdadm i ciekaw jestem czy wstanie, gdyby jeden dysk padł.

Hmm podczas synchronizacji nie pracuję w trybie single user i wykonała mi się na ftp kopia bazy sql mam nadzieje, że nic się przez to nie sknoci? Dane skopiowały się na /dev/md1 podczas dodawania /dev/sda6.

Wybacz andreq ale nie wiem jak zabrać się za konfigurację grub'a po wykonaniu wskazanych czynności bez modyfikacji gruba zrobiłem restart. System oczywiście nie wstał, monity:
najpierw

... fd0 read error

następnie

Loading Linux 2.6.32-5-686
error: file not found
Loading iniial ramdisk ...
error: you need to load the krenel first

Failed to boot both default and fallback entries

Press any key to continue ...