Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2017-02-22 19:54:05

  sqrtek - Użytkownik

sqrtek
Użytkownik
Skąd: /bin/true
Zarejestrowany: 2012-06-14

Backup baz mysql

Hej,

Zastanawiałem się jak rozwiązać kwestię backupu baz danych mysql. Sytuacja jest taka że w tej chwili mam 2 serwery, jeden ma mysql mastera, drugi slave'a. Myślałem żeby dorobić 3 serwer, oraz aby master wysyłał dane do dwóch slave'ów, jeden z nich by w nocy się zatrzymywał i wykonywał backup logiczny lub binarny na Baculę. Baza waży ok 130GB. Co o tym sądzicie ? macie jeszcze jakieś inne pomysły ?

Ostatnio edytowany przez sqrtek (2017-02-22 19:55:03)


"Nie pozwól by zgiełk opinii innych ludzi, zagłuszył Twój wewnętrzny głos" ~ Steve Jobs

Offline

 

#2  2017-02-22 21:04:00

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

Jedna baza na 130GB, czy serwer trzyma bazy o łącznej pojemności 130GB?

Czy może chodziło o megabajty? ;)

Na wypadek awarii sprzętu niezła jest replikacja (awarii sprzętu zreplikować serwer nie może :D), natomiast do szybkiego backupu mysql-hotcopy.

Mysqldump też jest bardzo dobrym narzędziem, ale bazę 130GB będzie obrabiał chyba trochę za długo, co wydatnie zwiększa ryzyko błędu.
Jeżeli to kilka baz, to bym celował w bardziej rozbudowany skrypt robiący mniej więcej coś takiego:

Kod:

mysql -u root -phasełko -e "show databases" |sort | uniq | while read baza; do mysqldump {opcje} ${baza} >/gdzie/ma/być/${baza}.sql; done;

Pozdro


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#3  2017-02-23 00:48:20

  sqrtek - Użytkownik

sqrtek
Użytkownik
Skąd: /bin/true
Zarejestrowany: 2012-06-14

Re: Backup baz mysql

raczej łączna ilość baz na serwerze zajmuje 130GB :) .

a co powiecie o rozwiązaniach w stylu Galera / MySQL / Percona Cluster ? bo w sumie zastanawiam się jakby to działało na produkcji.

Gdyby nie to że jest tam również wykorzystywany silnik myisam, to pewnie wykorzystałbym coś w tym stylu : https://www.percona.com/doc/percona-xtrabackup/2.1/ … kup_ibk.html, bez wyłączania baz mastera, idealne rozwiązanie się wydaje.


"Nie pozwól by zgiełk opinii innych ludzi, zagłuszył Twój wewnętrzny głos" ~ Steve Jobs

Offline

 

#4  2017-02-23 22:49:41

  drag_op - Użytkownik

drag_op
Użytkownik
Zarejestrowany: 2015-11-09

Re: Backup baz mysql

Możę mysql fabric Cię zainteresuje?
Fakt, w ostatniej wersji przenieśli do MysqlEnterprise i stał się częścią płatnych dodatków.
Ale m.in. pozwala ładnie slave na master przełączać automagicznie bez żadnej straty dla klienta.

Offline

 

#5  2017-02-27 04:38:16

  sqrtek - Użytkownik

sqrtek
Użytkownik
Skąd: /bin/true
Zarejestrowany: 2012-06-14

Re: Backup baz mysql

Hmm czy te rozwiązanie Mysql fabric nadaje się do produkcyjnego środowiska ?  chyba będę musiał zrobić testy tego ale wydaje się podobnym rozwiązanie jak np. Galera Cluster itd.


"Nie pozwól by zgiełk opinii innych ludzi, zagłuszył Twój wewnętrzny głos" ~ Steve Jobs

Offline

 

#6  2017-02-27 08:40:05

  mfm - Użytkownik

mfm
Użytkownik
Zarejestrowany: 2017-01-13

Re: Backup baz mysql

W takich przypadkach FreeBSD z ZFS pokazuje swoją wyższość nad innymi rozwiązaniami :)

https://dev.mysql.com/doc/refman/5.7/en/ha-zfs-replication.html

Offline

 

#7  2017-02-27 17:48:07

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

mfm napisał(-a):

W takich przypadkach FreeBSD z ZFS pokazuje swoją wyższość nad innymi rozwiązaniami :)

https://dev.mysql.com/doc/refman/5.7/en/ha-zfs-replication.html

Innymi powiadasz?

Ja bym wolał OpenBSD z ZFS, inne, ale moim zdaniem lepsze od FreeBSD rozwiązanie.

Mysql z resztą na każdym systemie będzie chodził szybciej na partycji ZFS,
bo do pracy w Solarisie został stworzony.

Swoja drogą ciekawe, o ile lepiej się sprawdzi Twój FreeBSD na ZFS  od Openindiany. xD


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#8  2017-02-27 19:26:01

  mfm - Użytkownik

mfm
Użytkownik
Zarejestrowany: 2017-01-13

Re: Backup baz mysql

Jacekalex napisał(-a):

Ja bym wolał OpenBSD z ZFS, inne, ale moim zdaniem lepsze od FreeBSD rozwiązanie.

Od paru dni mam na laptopie zainstalowanego OpenBSD-current i jestem pod ponownym dużym wrażeniem względem tego systemu.

Mam nawet w planach dłuższą przesiadkę.

Jacekalex napisał(-a):

Mysql z resztą na każdym systemie będzie chodził szybciej na partycji ZFS,
bo do pracy w Solarisie został stworzony.

Swoja drogą ciekawe, o ile lepiej się sprawdzi Twój FreeBSD na ZFS  od Openindiany. xD

Tego nie wiem, bo nie robiłem testów?

Instalowanie Openindiany w produkcji, gdzie środowisko devów jest na tyle skurczone, iż nie realizują stabilnych wersji systemu - a ich model dystrybucji jak w Archu to rolling-release, określony przez nich mianem... HIPSTER [wtf?]...  no nie wiem czy to dobra odskocznia od grubasa o nazwie FreeBSD, który choć ma swoje wady raczej jest przewidywalny... wręcz do bólu, toczy się wolno ;)

Na koniec masz spore prawdopodobieństwo, że za 5 lat - podobnie jak CentOS - FreeBSD będzie dalej istniał... gwarancji na Openindiana raczej nikt Tobie nie da.

Offline

 

#9  2017-02-28 03:55:25

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

Na koniec masz spore prawdopodobieństwo, że za 5 lat - podobnie jak CentOS - FreeBSD będzie dalej istniał... gwarancji na Openindiana raczej nikt Tobie nie da.

Środowisko OpenSolarisa raczej będzie istniało jeszcze przez wiele lat.

Nazwa OpenIndiana to jest spadek po prawnikach Oracle, którzy się przyczepili do nazwy OpenSolaris, bo tak się kiedyś ten system nazywał.

Z resztą definicja produkcji jest bardzo umowna, w Polsce często nie ma produkcji bez faktury na system, co zawęża horyzont do Windowsa, RH i SLES.

Ja osobiście bym się nie obawiał, tylko postawił obok siebie OpenIndianę i OpenBSD,
i ustawił replikację baz między nimi.
W ten sposób miałbym pewność, że jak jeden serwer lub system zdechnie,
to zawsze baza chodzi na drugim.

Poza tym serwera SQL nie wystawia  się do netu bez powodu, także nie ma problemu, jak się czasem jakaś aktualizacja spóźni.

Obecnie środowisko devów OpenIndiany i innych klonów Open Solarisa jest trochę większe, niż środowisko devów OpenBSD, a mnie i tak bardziej interesuje jakość supportu a nie ilość deweloperów, którzy zajmują się portowaniem sterowników z Linuxa.

Co się tyczy naszych ukochanych polskich klientów, to chyba tylko Home siedzi na FreeBSD, reszta najczęściej na Linuxie.
w mniejszych firmach 10% kierowników wie o istnieniu Ubuntu, 3% o istnieniu Debiana, reszta pyta, która wersja Windowsa będzie najlepsza.... xD

Ostatnio edytowany przez Jacekalex (2017-02-28 20:47:31)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#10  2017-02-28 09:11:41

  mfm - Użytkownik

mfm
Użytkownik
Zarejestrowany: 2017-01-13

Re: Backup baz mysql

Jacekalex napisał(-a):

Na koniec masz spore prawdopodobieństwo, że za 5 lat - podobnie jak CentOS - FreeBSD będzie dalej istniał... gwarancji na Openindiana raczej nikt Tobie nie da.

Środowisko OpenSolarisa raczej będzie istniało jeszcze przez wiele lat.

Nazwa OpenIndiana to jest spadek po prawnikach Oracle, którzy się przyczepili do nazwy Open Solaris, bo tak się kiedyś ten system nazywał.

Z resztą definicja produkcji jest bardzo umowna, w Polsce często nie ma produkcji bez faktury na system, co zawęża horyzont do Windowsa, RH i SLES.

Ja osobiście bym się nie obawiał, tylko postawił obok siebie Open Indianę i OpenBSD, i ustawił replikację baz między nimi.

W ten sposób miałbym pewność, że jak jeden serwer lub system zdechnie,
to zawsze baza chodzi na drugim.

Poza tym serwera SQL nie wystawia  się do netu bez powodu, także nie ma problemu, jak się czasem jakaś aktualizacja spóźni.

Obecnie środowisko devów OpenIndiany i innych klonów Open Solarisa jest trochę większe, niż środowisko devów OpenBSD, a mnie i tak bardziej interesuje jakość supportu a nie ilość deweloperów, którzy zajmują się portowaniem sterowników z Linuxa.

Z mądrymi spostrzeżeniami trudno się nie zgodzić  :-)

Znam nawet dobrze Solarisa, tzn. 11-stkę, bo z nią miałem do czynienia. Ś.p. Sun Microsystems miał rewelacyjnych inżynierów, spadek po Billu Joyu długoletnim  szefie i twórcy potęgi Suna oraz systemów BSD w latach 80. [SunOS został sformowany w oparciu o BSD].

Trzeba by znaleźć jakiegoś wolnego boksa do testów Openindiany,

Może przełknę tego Hipstra... co im na dekiel padło, żeby tak nazwać wersję CURRENT? Fallout prawnych roszczeń chyba nie obejmował takich technicznych szczegółów,,

Jacekalex napisał(-a):

Co się tyczy naszych ukochanych polskich klientów, to chyba tylko Home siedzi na FreeBSD, reszta najczęściej na Linuxie.
w mniejszych firmach 10% kierowników wie o istnieniu Ubuntu, 3% o istnieniu Debiana, reszta pyta, która wersja Windowsa będzie najlepsza.... xD

W Polsce spotkałem się ze stwierdzeniami, że Free/OpenBSD to Linux tylko inaczej nazwany, a mówili to admini...

Konkluzja do dyskusji:

Jeżeli myślicie poważnie o SQL, inwestujcie w systemy z ZFS. Zaoszczędzicie sobie sporo czasu, nerwów i problemów związanych z kopiami zapasowymi ogromnych baz danych, ustawiacie mirrory, które w trybie czasu rzeczywistego kopiują całość, z kompresją/bez kompresji, a każdy skopiowany bit w ZFS ma nadany CKSUM, który jest porównywany z oryginałem. Jeżeli gdzieś pojawia się rozbieżność ZFS zatrzymuje się w tym miejscu i z automatu naprawia różnice z oryginałem.. 

Polecam zapoznać się każdemu, kto ma do czynienia z kopiami dużej ilości danych..  [w:] https://www.usenix.org/legacy/events/fast08/tech/fu … ml/index.html

Ostatnio edytowany przez mfm (2017-02-28 09:14:18)

Offline

 

#11  2017-02-28 18:15:42

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

Może przełknę tego Hipstra... co im na dekiel padło, żeby tak nazwać wersję CURRENT? Fallout prawnych roszczeń chyba nie obejmował takich technicznych szczegółów,,

To im na dekiel padło xD

Co do OpenIndiany, to radzę zacząć tutaj:
https://www.openindiana.org/documentation/faq/

....nie obejmował takich technicznych szczegółów

Względy patentowe:

OpenIndiana FAQ napisał(-a):

Oracle’s Sun Studio has been replaced with the open source GNU GCC compiler.
...
XVM (XEN) has been replaced with the illumos-kvm port.

To już takie "malutkie" i "nieistotne" zmiany. :P

Tu masz bugzillę:
https://www.illumos.org/projects/openindiana/issues

Ostatnio edytowany przez Jacekalex (2017-02-28 18:58:54)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#12  2017-02-28 20:36:09

  sqrtek - Użytkownik

sqrtek
Użytkownik
Skąd: /bin/true
Zarejestrowany: 2012-06-14

Re: Backup baz mysql

Hmm opcja z ZFS'em zainteresowała mnie, lecz pewnie wymagałaby gruntownych zmian. Zastanawia mnie jakby ten ZFS działał w środowisku zwirtualizowanym, bo akurat te bazy mam dostępne na wirtualkach w środowisku OpenStacka, ale to już pewnie będę musiał zapytać osób utrzymujących całe środowisko w pracy.


"Nie pozwól by zgiełk opinii innych ludzi, zagłuszył Twój wewnętrzny głos" ~ Steve Jobs

Offline

 

#13  2017-02-28 20:55:15

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

OpenStack nie jest systemem operacyjnym, na jakich systemach masz teraz te bazy?

OpenBSD pewnie w chmurze pójdzie, OpenIndiana też, ale to już trzeba najlepiej popytać na listach mailingowych obu projektów.
Generalnie OpenBSD jest bardziej przewidywalny, Indiana po migracji na GCC jest troszkę poobijana we wszystkim, co zawiera kod C++, dodatkowo liderem projektu Indiana był śp Ian Murdock.
Także troszkę wody w Wiśle upłynie, zanim projekt się ponownie ustabilizuje.

FreeBSD jest przez fanboyów zachwalany do wszystkiego, ale moim zdaniem
Debian go zjada na śniadanie w kwestii uniwersalnego systemu,
a system uniwersalny z natury rzeczy w żadnym obszarze nie może być wybitny,
bo przestaje być tym samym uniwersalny.

Jest też projekt ZFS on Linux, ale jego bez starannych testów nie brałbym na produkcję.
Pomijam, ze np w moim  Gentusiu do zainstalowania sys-fs/zfs-kmod musiałbym wyłączyć spory kawał Grseca.

Pozdro

Ostatnio edytowany przez Jacekalex (2017-02-28 20:59:04)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#14  2017-03-01 07:14:13

  mfm - Użytkownik

mfm
Użytkownik
Zarejestrowany: 2017-01-13

Re: Backup baz mysql

xBSD ogólnie słabo wypada na tle koncepcji uniwersalności Linuxa - wspomniany Debian jest najlepszym przykładem.

FreeBSD natomiast jest uniwersalnym środowiskiem na tle innych BSDków.

Co nie zmienia faktu, że od kilku już lat model rozwoju tego OS'a mi nie leży. Solaris bije na głowę jaile jeżeli mowa o tworzeniu i zarządzaniu zonami.
Nie toleruję softu który trzeba doinstalowywać [ezjail] by zajmował się natywnym "eleganckim" suportem jaili w bazie... to jest absurdalne podejście CORE TEAMU do użytkowników - np. plik w którym ustawiasz parametry cel, jail.conf wprowadzili dopiero od wersji 9.0... [a jaile istnieją od 1999 r.] - wcześniej musiałeś się mocować z rozrastającym się rc.conf albo robić ekwilibrystykę z przeniesieniem konfiguracji do swoich setów, oczywiście na zasadzie BRAKU STANDARYZACJI.

Jak już gdzieś napisałem, FreeBSD nie szanuje tego co ma. Zajmuje się wieloma rzeczami na raz, zamiast skupić się na kilku i je rozwijać, wręcz do pedantycznej perfekcji.

Offline

 

#15  2017-03-01 18:26:33

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

Jaile zawsze będą troszkę przerośniętą wersją chroota, bez względu na OS, cechy
i wady są takie same w praktycznie wszystkich OSach.

Nawet na pełnej witrualizacji typu XEN i KVM pojawiają się dziury pozwalające wyskoczyć z DomU na roota Dom0, chociaż fanboye witrualizacji twierdzą, że "to po prostu niemożliwe".

Jak dotąd w Linuxie nie widziałem nic solidniejszego od profilu Apparmora/Tomoyo/SELinuxa/podobny system ACL, i paradoksalnie to uważam za najsolidniejsze zabezpieczenie, chociaż nie zawsze i nie wszędzie może wykluczyć wirtualizację.
Ale rozwiązania typu Chroot/Jail zawsze będę traktował z przymrużeniem oka, niezależnie od OSa, chociaż może to "grzech śmiertelny" w przypadku BSD czy Solarisa. xD

Co do wirtualizacji, to wraz z GCC w Indianie zawitał KVM, co pokazuje, że potoczna nazwa "XEN killer" dotyczy  nie tylko  Linuxa. ;)

KVM szczególnie polubiłem w Linuxie, z powodu bugzilli i maksymalnej  zgodności z grsec/pax. ;)


Pozdro

Ostatnio edytowany przez Jacekalex (2017-03-01 18:30:19)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#16  2017-03-02 12:13:15

  mfm - Użytkownik

mfm
Użytkownik
Zarejestrowany: 2017-01-13

Re: Backup baz mysql

Jacekalex napisał(-a):

Jaile zawsze będą troszkę przerośniętą wersją chroota, bez względu na OS, cechy
i wady są takie same w praktycznie wszystkich OSach.

Nawet na pełnej witrualizacji typu XEN i KVM pojawiają się dziury pozwalające wyskoczyć z DomU na roota Dom0, chociaż fanboye witrualizacji twierdzą, że "to po prostu niemożliwe".

O ile wiem, to z jaila nikt nie uciekł na hosta - nie przypominam sobie CVSa [tzn. mowa o ustawieniach bazowych]. To się może zmienić jak w końcu zrobią VNET nadający się do "użytku" - choć jestem dalej pod wrażeniem emulacji stosu sieciowego na poziomie celi, to jest to jakby nie było kolejne xSET linii bardzo skomplikowanego kodu, który funkcjonuje w pamięci adresowanej przez jajko, także ten, czekać wypada na memory leak ;)

Inna sprawa, że jaile mają bardzo małe podłoże testowe tj. tylko FreeBSD, więc nie ma jak porównywać tego np. do KVM, który jest wykorzystywany w skali globu na multum Linuxach różnych wersji [vel. różnych dystrytrach] - gdyby tak było, być może wyszłyby jakiś kwiatki dawno temu.

Zdecydowałem, że zamiast Openindiany na wolnym boskie biorę do testów Gentoo...

Pozdrawiam!

Ostatnio edytowany przez mfm (2017-03-02 12:21:18)

Offline

 

#17  2017-03-02 18:12:42

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Backup baz mysql

Zdecydowałem, że zamiast Openindiany na wolnym boskie biorę do testów Gentoo...

Jeżeli funkcjonowałeś na BSD i Solarisie, to przygotuj sobie kilka wieczorów na same narzędzia, które służą do adminki, w Gentoo programy się budują lokalnie, dlatego tych narzędzi jest odpowiednio więcej, co już jednego speca od FreeBSD przeraziło. xD

Poza tym na początku Gentuś wygląda strasznie, nudny się robi po dłuższym czasie.

...więc nie ma jak porównywać tego np. do KVM...

KVM jest podstawą chmury OpenStack, która to platforma jest dosyć popularna na świecie.
W dodatku KVM ma wszystkie zalety XENa, ale z racji wbudowania w kernel Linux bez żadnych ograniczeń licencyjnych jest dostępny wszędzie i dla każdego włącznie
z dostępem do kodu źródłowego i pisaniem łatek, co otwiera praktycznie kosmiczne możliwości w porównaniu z XENem czy innymi systemami wirtualizacji.
Z resztą portowanie KVM do Illumos/Indiany też nie było żadnym wielkim problemem.

Ostatnio edytowany przez Jacekalex (2017-03-02 18:23:08)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#18  2017-03-02 19:32:21

  mfm - Użytkownik

mfm
Użytkownik
Zarejestrowany: 2017-01-13

Re: Backup baz mysql

Jacekalex napisał(-a):

Zdecydowałem, że zamiast Openindiany na wolnym boskie biorę do testów Gentoo...

Jeżeli funkcjonowałeś na BSD i Solarisie, to przygotuj sobie kilka wieczorów na same narzędzia, które służą do adminki, w Gentoo programy się budują lokalnie, dlatego tych narzędzi jest odpowiednio więcej, co już jednego speca od FreeBSD przeraziło. xD

Poczytałem dokumentację Gentoo i powiem Tobie, że ta dystrybucja robi dobre wrażenie. Budowanie nie będzie problemem bo mam maszynkę z przyzwoitym chłodzeniem, wprawdzie starawa [dwa Xeony z 2004 roku], ale do nauki styknie.

Jacekalex napisał(-a):

Zdecydowałem, że zamiast Openindiany na wolnym boskie biorę do testów Gentoo...

Poza tym na początku Gentuś wygląda strasznie, nudny się robi po dłuższym czasie.

Nie jest tak źle, spartański wygląd raczej mnie zachęca, do emerge się przyzwyczaję, bo w FreeBSD buduję wszystko z portów i niekiedy trwa to przez wiele godzin.

Z GUI to toleruję od lat fvwm ewentualnie czysty dwm (fani anime tak sprofanowali ten jakże użyteczny wm, że przez dłuższy czas walczyłem u siebie z efektem Pawłowa, dwm==anime) - zatem kompilacja dużych "kobył" pokroju KDE czy GNOME [tu chyba zamiast OpenRC trzeba przejść na systemd?] nie będzie problemem.

Pozdrawiam!

Ostatnio edytowany przez mfm (2017-03-02 19:38:13)

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
To nie jest tylko forum, to nasza mała ojczyzna ;-)