Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2021-04-12 12:16:04

  bakao - Użytkownik

bakao
Użytkownik
Zarejestrowany: 2020-11-15

Kompresowanie dośc dużej bazy danych

Hej

Robię Export dosyć sporej bazy MySQL (prawie 100GB) poleceniem:

Kod:

mysqldump -u user -p db | gzip > db.sql.gz

Niestety system wykorzystuje tylo jedno spośród 24 dostępnych corów. Jak zmusić gzipa żeby korzystał z wszystkich procesorów?

PS. Zauważyłem, ze polecenie rar angażuje równo wszystkie dostępne wątki i nawet lepiej kompresuje jednak nie wiem, jak pakować w rary dane z stin. Czy ktoś poratuje komendą?

Offline

 

#2  2021-04-12 13:48:17

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Kompresowanie dośc dużej bazy danych

Najlepszą chyba kompresję oferuje XZ w tej chwili.

/usr/bin/xz -h napisał(-a):

...
  -T, --threads=ILE   użycie maksymalnie ILU wątków; domyślnie 1; 0 oznacza
                      tyle, ile jest rdzeni procesorów

PS: Jakbyś potrzebował backupy ochronić na wypadek RODO, to możesz zrobić podobnie, jak:

Kod:

mysqldump {opcje} |xz -T 16 {opcje} | /usr/bin/gpg --batch --armor --trust-model always --no-default-keyring --keyring /etc/keys/kluczyk.bin --recipient  "dyro@example.tld"   --encrypt >backup_bazy.gpg

Jeżeli kluczyk publiczny  jest na serwerze, a kluczyk prywatny na dyziu w sejfie dyra, to RODO jest chyba w miarę spełnione.
:P

Pozdro

Ostatnio edytowany przez Jacekalex (2021-04-12 13:53:08)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#3  2021-04-12 14:56:29

  megabajt - Użytkownik

megabajt
Użytkownik
Skąd: Wrocław
Zarejestrowany: 2012-03-07

Re: Kompresowanie dośc dużej bazy danych

https://mydbops.wordpress.com/2019/03/26/mysqldump% … -vs-mydumper/
Użyj mydumpera zamiast mysqldump - będzie dużo szybciej.
Do tego przełącznik "-c" i backup będzie skompresowany do gz (olej rar-a)

Offline

 

#4  2021-04-13 11:37:14

  bakao - Użytkownik

bakao
Użytkownik
Zarejestrowany: 2020-11-15

Re: Kompresowanie dośc dużej bazy danych

@Jacekalex dzieki, jest różnica. Nie dość, że htop pokazywał użycie 16 jąder to jeszcze plik wyjściowy jest o ok. 20% mniejszy.

Jak Ci tak dobrze idzie pomaganie to może być doradził, jak samego MySQLa zmusić do używania wszystkich jąder?

Offline

 

#5  2021-04-13 21:42:16

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Kompresowanie dośc dużej bazy danych

bakao napisał(-a):

@Jacekalex dzieki, jest różnica. Nie dość, że htop pokazywał użycie 16 jąder to jeszcze plik wyjściowy jest o ok. 20% mniejszy.

Jak Ci tak dobrze idzie pomaganie to może być doradził, jak samego MySQLa zmusić do używania wszystkich jąder?

Która wersja Mysqla?

Co tu widzisz?
https://i.imgur.com/Rbrlnxa.png

Za uwagę dziękuje (pozował do obrazka)
System Gentoo.
Wersja Mysql:

Kod:

Server:            MariaDB
Server version:        10.5.9-MariaDB-log Source distribution

nic szczególnego nie musiałem robić, poza instalacją.

Rzuć okiem też na to:
https://mariadb.com/kb/en/thread-pool-in-mariadb/
https://mariadb.com/kb/en/thread-pool-system-status-variables/

Obejrzyj sobie też dokładnie wynik polecenia:

Kod:

mysqld --verbose --help | grep thread

Pozdro

Ostatnio edytowany przez Jacekalex (2021-04-13 22:26:47)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#6  2021-04-13 23:30:53

  seler - Użytkownik

seler
Użytkownik
Zarejestrowany: 2012-05-15

Re: Kompresowanie dośc dużej bazy danych

bakao napisał(-a):

zmusić do używania wszystkich jąder?

khem,
rdzeni
:]


a to feler westchnął seler

Offline

 

#7  2021-04-14 00:25:40

  urbinek - Dzban Naczelny

urbinek
Dzban Naczelny
Skąd: Sosnowiec
Zarejestrowany: 2009-10-01
Serwis

Re: Kompresowanie dośc dużej bazy danych

seler napisał(-a):

bakao napisał(-a):

zmusić do używania wszystkich jąder?

khem,
rdzeni
:]

a właściwie to wątków :)


A w wolnym czasie, robię noże :)
http://nginx.urbinek.eu/_photos/signature.png

Offline

 

#8  2021-04-14 10:37:59

  bakao - Użytkownik

bakao
Użytkownik
Zarejestrowany: 2020-11-15

Re: Kompresowanie dośc dużej bazy danych

htop podczas wydawania kwerendy Distinct Values z PMA na bazie z 200M rekordów wygląda u mnie tak:
https://i.postimg.cc/KRTL0NrB/htop-mysql.png
Z tego co czytam o Thread Pool to chyba nie dotyczy sytuacji długich i nieproduktywnych zapytań.

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
To nie jest tylko forum, to nasza mała ojczyzna ;-)