Forum Debian Users Gang

rsync przy opcji delete robi dokładną kopię lustrzaną folderu.
Wywala wtedy w docelowym to, czego nie ma w źródłowym.

Ja bym raczej celował z czym się da w sysloga, żeby wysyłał na serwer logów.
Wtedy od razu mogą lądować w bazie danych, mogą być obrabiane regexami, czy przez failbana czy coś podobnego.
I przede wszystkim są składowane od razu na serwerze logów bez żadnych rsynców.
Da się to oskrycpić, żeby samo conieco robiło w razie czego.
I przede wszystkim da się nad tym zapanować, z 12 maszyn logów będą całe tony.
A jeśli w logu masz nazwę hosta i programu, to w rsyslogu zbieranie takich informacji jest dość proste.

Przykład:
http://www.rsyslog.com/doc/rsyslog_conf_filter.html

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2013-01-16 10:29:31)

Zainteresuj się serwerem Mariadb - to fork Mysqla - który ma sporo rzeczy z serii entrprise.
Między innymi flagi big-tables i max-idx-128.
Standardowo Mysql miał limit 64GB na tabelę, ale to oczywiście teoria,
te flagi mają dać efekt bardziej profesjonalnego serwera, co nie zmienia faktu, że na moim kompie, przy tabeli z 390tys rekordów jeden select w phpmyadminie trwał około  minuty.

Mysql miał jakąś ocję funkcjonowania bezpośrednio na partycjach raid, z szczegółów wnie znam, ale w dokumentacji costam jest na ten temat.
W kazdym razie, czy potem czegos szukasz w bazie, czy w setkach plików grepem, to wielka różnica bynajmniej nie jest.
Wysarczy, zeby była np jedna baza na tydzień, i jedna tabela na dzień dla hosta i usługi, a hosto i usługa (program) wyregeksujesz w konfigu sysloga.

Do tego jest fajny skrypt php do przeglądania logów online.

Byle sensownie rozdzielić te logi, żeby nie ładować wszystkiego do jednej tabeli, podobnie, jak w /var/log logrotate roluje pliki z logami.

Wiec musiz to dopasować do liczby rzeczywiście generowanych logów,
I nie upieram się przy Mysql, moze Postgres lepiej da radę, niech się wypowie ktoś, kto takie rzeczy robił na Postgresie.

I najlepiej, żeby do baz czy logów trafiały posortowane i odpowiednio wyczesane regexem  dane, a nie cały śmietnik, jaki ląduje normalnie w syslogu.

Względnie rsync wywoływany najlepiej automatycznie przez logrotate, i kopiuje do folderu np  /{serwer}/miesiąc/dzień/program/.
Coś takiego można zrobić bez rsynca, samym kopiowaniem.
Albo strzelić z armaty do wróbla, i postawić na te logi serwer git lub svn. :DDD

Reasumując, masz głowę i chu*, to kombinuj. ;)

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2013-01-16 12:44:06)