Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
#1 2021-04-12 12:16:04
bakao - 
Zbanowany
- bakao
- Zbanowany
- Zarejestrowany: 2020-11-15
Kompresowanie dośc dużej bazy danych
Hej
Robię Export dosyć sporej bazy MySQL (prawie 100GB) poleceniem:
Kod:
mysqldump -u user -p db | gzip > db.sql.gz
Niestety system wykorzystuje tylo jedno spośród 24 dostępnych corów. Jak zmusić gzipa żeby korzystał z wszystkich procesorów?
PS. Zauważyłem, ze polecenie rar angażuje równo wszystkie dostępne wątki i nawet lepiej kompresuje jednak nie wiem, jak pakować w rary dane z stin. Czy ktoś poratuje komendą?
Offline
#2 2021-04-12 13:48:17
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/random
- Zarejestrowany: 2008-01-07
Re: Kompresowanie dośc dużej bazy danych
Najlepszą chyba kompresję oferuje XZ w tej chwili.
/usr/bin/xz -h napisał(-a):
...
-T, --threads=ILE użycie maksymalnie ILU wątków; domyślnie 1; 0 oznacza
tyle, ile jest rdzeni procesorów
PS: Jakbyś potrzebował backupy ochronić na wypadek RODO, to możesz zrobić podobnie, jak:
Kod:
mysqldump {opcje} |xz -T 16 {opcje} | /usr/bin/gpg --batch --armor --trust-model always --no-default-keyring --keyring /etc/keys/kluczyk.bin --recipient "dyro@example.tld" --encrypt >backup_bazy.gpgJeżeli kluczyk publiczny jest na serwerze, a kluczyk prywatny na dyziu w sejfie dyra, to RODO jest chyba w miarę spełnione.
:P
Pozdro
Ostatnio edytowany przez Jacekalex (2021-04-12 13:53:08)
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#3 2021-04-12 14:56:29
megabajt - Użytkownik
- megabajt
- Użytkownik
- Skąd: Wrocław
- Zarejestrowany: 2012-03-07
Re: Kompresowanie dośc dużej bazy danych
https://mydbops.wordpress.com/2019/03/26/mysqldump% … -vs-mydumper/
Użyj mydumpera zamiast mysqldump - będzie dużo szybciej.
Do tego przełącznik "-c" i backup będzie skompresowany do gz (olej rar-a)
Offline
#4 2021-04-13 11:37:14
bakao - Zbanowany
- bakao
- Zbanowany
- Zarejestrowany: 2020-11-15
Re: Kompresowanie dośc dużej bazy danych
@Jacekalex dzieki, jest różnica. Nie dość, że htop pokazywał użycie 16 jąder to jeszcze plik wyjściowy jest o ok. 20% mniejszy.
Jak Ci tak dobrze idzie pomaganie to może być doradził, jak samego MySQLa zmusić do używania wszystkich jąder?
Offline
#5 2021-04-13 21:42:16
Jacekalex - Podobno człowiek...;)
- Jacekalex
- Podobno człowiek...;)
- Skąd: /dev/random
- Zarejestrowany: 2008-01-07
Re: Kompresowanie dośc dużej bazy danych
bakao napisał(-a):
@Jacekalex dzieki, jest różnica. Nie dość, że htop pokazywał użycie 16 jąder to jeszcze plik wyjściowy jest o ok. 20% mniejszy.
Jak Ci tak dobrze idzie pomaganie to może być doradził, jak samego MySQLa zmusić do używania wszystkich jąder?
Która wersja Mysqla?
Co tu widzisz?
https://i.imgur.com/Rbrlnxa.png
Za uwagę dziękuje (pozował do obrazka)
System Gentoo.
Wersja Mysql:
Kod:
Server: MariaDB Server version: 10.5.9-MariaDB-log Source distribution
nic szczególnego nie musiałem robić, poza instalacją.
Rzuć okiem też na to:
https://mariadb.com/kb/en/thread-pool-in-mariadb/
https://mariadb.com/kb/en/thread-pool-system-status-variables/
Obejrzyj sobie też dokładnie wynik polecenia:
Kod:
mysqld --verbose --help | grep thread
Pozdro
Ostatnio edytowany przez Jacekalex (2021-04-13 22:26:47)
W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem para bellum ;) | Pozdrawiam :)
Offline
#6 2021-04-13 23:30:53
seler - Użytkownik
- seler
- Użytkownik
- Zarejestrowany: 2012-05-15
Re: Kompresowanie dośc dużej bazy danych
bakao napisał(-a):
zmusić do używania wszystkich jąder?
khem,
rdzeni
:]
a to feler westchnął seler
Offline
#7 2021-04-14 00:25:40
urbinek - Dzban Naczelny
#8 2021-04-14 10:37:59
bakao - Zbanowany
- bakao
- Zbanowany
- Zarejestrowany: 2020-11-15
Re: Kompresowanie dośc dużej bazy danych
htop podczas wydawania kwerendy Distinct Values z PMA na bazie z 200M rekordów wygląda u mnie tak:
Z tego co czytam o Thread Pool to chyba nie dotyczy sytuacji długich i nieproduktywnych zapytań.
Offline