Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2017-02-16 08:38:05

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Backup email ponad 1T danych

Witam,

Od momentu podjęcia decyzji o zwiększeniu skrzynek użytkowników do 10GB, a dyrektorom do 20GB, żaden backup mi się nie wyrabia podczas nocy.
Do tej pory robiłem to tar-em i było gites, teraz mam już na wszystkich skrzynkach ponad 1T danych i zajmuje to mu ok 1,5dnia. Najcześciej ludzie zaczynają pracować i tar się wywala.
Rsync robi pełną kopię w 3 dni, przynajmniej się nie wysypuje.

Jak można poradzić sobie z taką ilością danych w jedną noc? Możecie pomóc podać jakiś przykład link. Macierz która udostępnia te zasoby jest stara i można tylko po NFS, ma możliwość iSCSI, ale producent od 2016 roku zaniechał wsparcia iSCSI , a w tym roku ma go wyłączyć. Więc jesteśmy w czarnej du..... Macierz wydawała się rozwojowa i fajna, ale z upływem czasu chyba nie.

Może ktoś mi pomóc. Backup robiłem codziennie przyrostowy, a w piątki od 23:30 pełny, ale wszystko przestało działać po zwiększeniu rozmiaru skrzynek.
Myślałem o duplicity, ale robił dobę i nie zrobił więc odpada, nie zostawiłem go na dłużej więc nie wiem czy się wywali podczas korzystania z poczty czy zablokuje ludzikom pliki.

Dzięki za pomoc i wskazówki.

Piotrek

Ostatnio edytowany przez redelek (2017-02-16 08:39:34)


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#2  2017-02-16 09:29:39

  milyges - inż.

milyges
inż.
Skąd: Gorlice/Kraków
Zarejestrowany: 2006-04-09
Serwis

Re: Backup email ponad 1T danych

Hej,

Jesteś w stanie pokazać jakieś benchmarki zapisu/odczytu z tej macierzy?

Mam u jednego klienta obecnie 1.2TB poczty na serwerze zimbra i backupuje to (jak i inne serwery) BURPem: http://burp.grke.org/
Backup robi się tylko zmienionych danych i co jakiś czas na serwerze jest scalany z pełnym (aby nie robić co jakiś czas pełnych z serwera).
Czas wykonania kopii:

log burp napisał(-a):

Start time: 2017-02-16 00:22:53
  End time: 2017-02-16 01:56:25
Time taken: 01:33:32
                         New   Changed Duplicate   Deleted     Total |  Scanned
                   ------------------------------------------------------------
             Files:     6155       418   1345572      1237   1352145 |  1352145
       Directories:      224         0      6109        12      6333 |     6333
        Hard links:     2066         0    415084        87    417150 |   417150
        Soft links:        0         0      2037         0      2037 |     2037
     Special files:        0         0        36         0        36 |       36
       Grand total:     8445       418   1768838      1336   1777701 |  1777701
                   ------------------------------------------------------------

             Messages:             0
             Warnings:             0

      Bytes estimated:   1341063522524 (1.22 TB)
      Bytes in backup:   1341065419453 (1.22 TB)
       Bytes received:    3476262072 (3.24 GB)
           Bytes sent:      25934109 (24.73 MB)

Sam długo szukałem narzędzia do backupu takich ilości danych z automatycznym rotowaniem kopii i łatwością odzyskiwania i skończyło się właśnie na burp. Używam od około roku, kilka razy odzyskiwałem dane z kopii i nie było z tym problemów.

Pozdrawiam.
milyges

Offline

 

#3  2017-02-16 11:05:48

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Re: Backup email ponad 1T danych

sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
1024+0 przeczytanych recordów
1024+0 zapisanych recordów
skopiowane 1073741824 bajty (1,1 GB), 9,66423 s, 111 MB/s

# dd if=tempfile of=/dev/null bs=1M count=1024
1024+0 przeczytanych recordów
1024+0 zapisanych recordów
skopiowane 1073741824 bajty (1,1 GB), 7,72162 s, 139 MB/s

Tego narzędzia nie znam zaraz poczytam, dzięki

Ostatnio edytowany przez redelek (2017-02-16 11:06:32)


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#4  2017-02-17 08:52:17

  bobycob - Członek z Ramienia

bobycob
Członek z Ramienia
Skąd: Wrocław
Zarejestrowany: 2007-08-15

Re: Backup email ponad 1T danych

Jesteś w stanie określić co jest wąskim gardłem?
Wydaje mi się poza magicznym 1TB ilość plików też jest spora.
Pytanie czy uruchomienie dwóch i więcej backapów równolegle rozwiąże problem.

Offline

 

#5  2017-02-18 00:59:54

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup email ponad 1T danych

@redelek

Zamiast skryptologii tarem i innymi zabawkami zatrudnij Dovecota, ma wbudowany mechanizm replikacji na drugi serwer.

RTFM:
http://wiki.dovecot.org/Replication

PS.
Do ręcznej czy skryptologicznej  synchronizacji skrzynek nieźle się sprawdza imapsync...

Ostatnio edytowany przez Jacekalex (2017-02-18 01:34:12)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#6  2017-02-20 08:24:35

  bobycob - Członek z Ramienia

bobycob
Członek z Ramienia
Skąd: Wrocław
Zarejestrowany: 2007-08-15

Re: Backup email ponad 1T danych

tyko replikacja != backup

Offline

 

#7  2017-02-20 22:23:14

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup email ponad 1T danych

bobycob napisał(-a):

tyko replikacja != backup

Zgadza się, na problemy sprzętowe (padające dyski) idealna, na pacjenta, który kasuje ważne maile z głupoty (i to podwójnie, z odebranych i z kosza) już niekonieczne.

W sytuacji nr 2 Postix oferuje funkcje sender_bcc i recipient_bcc (które można wykorzystać do backupu), a Qmail ma do tego łapkę TAP.


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#8  2017-02-24 08:47:03

  urbinek - Dzban Naczelny

urbinek
Dzban Naczelny
Skąd: Sosnowiec
Zarejestrowany: 2009-10-01
Serwis

Re: Backup email ponad 1T danych

W jaki sposób robisz przyrostówki?, może inne podejście będzie wydajniejsze

rsync - http://www.admin-magazine.com/Articles/Using-rsync-for-Backups
incremental tar - https://www.gnu.org/software/tar/manual/html_node/I … al-Dumps.html
albo jakiś soft w stylu bacula, zbakup itp


A w wolnym czasie, robię noże :)
http://nginx.urbinek.eu/_photos/signature.png

Offline

 

#9  2017-03-13 15:57:20

  bobycob - Członek z Ramienia

bobycob
Członek z Ramienia
Skąd: Wrocław
Zarejestrowany: 2007-08-15

Re: Backup email ponad 1T danych

backuppc :)

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Nas ludzie lubią po prostu, a nie klikając w przyciski ;-)