Forum Debian Users Gang

whale napisał(-a):

Witam,
fajny system plikow nie za szybki ale stabilny glowny problem master server jest single point of failure (przechowuje on wszystkie metadata o plikach). z tego wzgledy zmigrowalem shared storage do glusterfs.
pozdr

GlusterFS jest zbudowany z samych Single Point of Failure co można przeczytać na ich stronie: http://www.gluster.org/community/documentation/inde … erFS_Concepts

to o GlustreFS: If you lose a single server, you lose access to all the files that are hosted on that server. This is why distribute is typically graphed to the replicate translator.

w MooseFS NIE MA Single Point of Failure - po prostu trzeba samemu sobie napisać srkypt do automatycznego recovery w przypadku awarii servera Master.
Jednakże sam MooseFS ma pełen mechanizm Prawdziwej replikacji Metadanych do servera typu MetaLogger, których można mieć w sytemie ile się chce.
Jedyne co trzeba zrobić przy awarii Mastera to uczynić Jeden z MetaLoggerów nowym Masterem i wszystkie dane są dostępne.

Po prostu nie jest to automatyczne - co wg mnie jest lepsze bo lubię mieć kontrolę nad nietypową sytuacją.

Używam MooseFS na 4 wielkiech instalacjach - każda z nich ma ponad 400TB rozmiaru - łącznie 2 PetaBajty na 400 serverach (1500 dysków)
Używam go od 5 lat i NIGDY nie straciłem, żadnego pliku.

Co do prędkości to jest rewelacyjnie - max z sieci 1Gbit (akurat takiej używamy) 100MB/s przy ustawionych Jumbo Frames (MTU 9000)
czas naprawy przy awari pojedynczego dysku 1TB - sekundy - automatyczny i bezstresowy.
czas naprawy całego serwera - około minuty - tak samo automatyczna
tylko tyle zajmuje pełna odbudowa systemu i w tym czasie wszystko działa.

Dodatkowo polecam wypróbować funkcje snapszotów na plikach - rewelacja.

I coś co naprawdę uwielbiam w MooseFS jako administrator nękany przez user'ów - przezroczysty kosz - po prostu ustawiłem w systemie, że wszystkie pliki po skasowaniu mają być dostępne w koszu przez okres 24h i jak jakiś user coś sobie skasuje to zawsze mam jego/jej dane pod ręką - PRO.


Wiele ludzi nie docenia MooseFS ale można też troszkę pogoolać i i znaleźć tych co stosują MooseFS od lat proszę:
here you can find the test with 96 DELL machines: http://www.tinkergeek.com/?p=150 and
here another opinion from OpenNebula http://blog.opennebula.org/?p=1512 )

Polecam zdecydowanie MooseFS :)

Ostatnio edytowany przez aNeutrino (2012-02-08 00:15:03)

co np. przy serwerze pocztowym, czy www daje pliowca > 100GB!! Zatem zmiana nawet 1 BAJTA w takim plikowcu to zmiana całego PLIKU! W związku z tym, chciałbym wiedzieć, czy replikacja kopiuje wciąż > 100GB??

Ja tam jestem lama, ale jak zrobić na serwerze www czy pocztowym plik >100GB i co do niego wsadzić?
Do logów jest logrotate, do maili jest skrzynka maildir, a serwer www nie ma jak i komu zaserwować pliku 100GB, bo na świecie nie ma zbyt wielu pacjentów, którzy takie pliki mogą ściągnąć swoimi rurkami internetowymi w sensownym czasie.
Czasem tak rosną bazy danych, ale wszystkie serwery bazodanowe mają własne mechanizmy replikacji, typu  master-slave albo multi-master.

W każdym razie nie zauważyłem na razie neozdrady 10Gbit, a ni nic podobnego.

Jeśli natomiast jakiś Administrator pozwala tworzyć programom takie pliki bez wyraźnej konieczności,
to taki Admin nadaje się na konserwy dla psów i kotów, a nie do serwerów. :DDD

Gdyby chodziło o obraz virtualki, to chyba byłby obraz wirtualki, a nie plikowiec.

Poza tym raz juz widziałem serwer www, gdzie acces.log miał ponad 50GB, messages znacznie  lepiej, inne logi podobnie, bo jakiś mądrala ileś latek wczesniej nie zanistalował logrotate, aż na Raid 10 z dyziami 1000GB miejsca zabrakło. :D

W dodatku tworzenie 100GB obrazu wirtualki, to też poroniony pomysł, nie wiem, jak VmWare,
ale zarówno Xena jak i KVM podniesiesz z partycji na dysku.
Na obrazie wirtualki masz podwojenie ryzyka awarii, jeden system plików na drugim, i solidny narzut na dysk,  kiedy masz na dysku obraz, a na tym obrazie partycje wirtualki.

Samo pojęcie 100GB i nie może się zmienić jeden bajt - oznacza, że jeden bad-sektor wywali ci cały plik?
Czy widzial ktoś dyski, które sa całkowicie odporne na błędy mechaniczne, elektryczne, i nigdy nie będą miały żadnego bad-sektora?
Bo ja nigdy nie slyszalem o podobnych cudach nawet w kosciele na bożym ciele, nie wspominając o realnym świecie. :D

Chyba, że ktoś na serwery ładuje Virtualboxa..... ;)

Ostatnio edytowany przez Jacekalex (2013-06-03 13:20:39)

W drugim przypadku plik jest duży po serwer pocztowy IMAP ma wiele kont i wiele danych, co daje pliki wielkości > 100GB.

Szaleństwo ;)

Jak ja bym to zrobił?
Serwer SMTP doręcza poczte poprzez dovecot-lda lub dovecot-lmtp,  a tam:

dsync over TCP connections (v2.2+)

http://wiki2.dovecot.org/Replication

Do tego replikacja bazy danych z użytkownikami, oraz bazy z ustawieniami spamassasina, filtrami bayesa itp.

W ten sposób, jak jeden serwer diabli wezmą, nie traci się ani jednego maila, a użytkownicy mają cały czas dostęp do poczty, wystarczy zatrudnić np ucarpa, albo ustawić kilka serwerów pocztowych  w dns.


WWW? całe strony składają się praktycznie z plików graficznych, multimedialnych, i bazy danych, do tego drobiazgi, czyli  php, css, js, txt czy cgi.
Tu też lepiej nie tworzyć takich obrazów do kopiowania w calości, tylko np DRBD, czy wysmażyć coś korzystając z mechanizmu inotify czy dnotify (lub podobnego) do synchronizacji online.

Bo kopiowanie przez sieć 100GB w jednym pliku, żeby się ani jeden bajt nie zmienił, to jest pole minowe, nawet w najzwyklejszej sieci lan nie warto ryzykować.
Jak się kopiuje np film mający kilka GB, to błąd  obejmujący np 2kB danych - to jedna zgubiona klatka, można wytrzymać, jak to wygląda w przypadku maszyny wirtualnej, szkoda komentować.

Pomijając milczeniem kwestie dostępności maszyny wirtualnej w czasie kopiowania jej obrazu, i potem sprawdzania sum kontrolnych pliku, który ma 100GB.
Nawet przy łączu 10Gbit kopiowanie takiego diabelstwa, to jest kawał czasu, a po obu stronach odczyt i zapis to jest kosmiczna robota.
Czy może cały VM do backupu trzeba wyłączyć, skopiować, porównać sumy kontrolne, i dopiero  włączyć?
I to się ma nazywać wysoka dostępność - cecha podstawowa każdego serwera WWW, poczty, jabbera, voipa, czy innej usługi sieciowej?

Jeżeli jakaś usługa musi spełniać zasady bezpieczeństwa i dostępności, to przełączenie miedzy maszyną podstawową i zapasową musi trwać najwyżej minutę, a nie 2 godziny. :D

Pozdrawiam
;-)
Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2013-06-03 16:15:42)