Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2015-08-21 10:27:38

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Przechowywanie logów z kilku serwerów

Witam,
Dostaliśmy wsparcie z UE, i na czas projektu 5 lat musimy przetrzymywać logi. Logi są z 6 fizycznych serwerów. Planujemy kupić drobbox lub dyski USB i na nich trzymać te dane.
Problem się zaczyna, że na serwerach jest ta sama nazwa pliku logów i jego archiwum. Czy można zmienić w jakiś prosty sposób by plik wyglądał nazwapliku_host_data.0 itd, czy ręcznie trzeba sprawdzić i zmienić ustawienia w pliku logrotate ? Jako że nie do końca projekt określał które logi mamy trzymać więc lepiej będę trzymał wszystko. Może ktoś z Was ma takie rozwiązanie i mógłby się podzielić.


Dzięki za wskazówkę


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#2  2015-08-21 11:47:55

  winnetou - złodziej wirków ]:->

winnetou
złodziej wirków ]:->
Skąd: Jasło/Rzeszów kiedyś Gdańs
Zarejestrowany: 2008-03-31
Serwis

Re: Przechowywanie logów z kilku serwerów

logstash (tylko to na javie działa) - i wysyłanie logów na 1 maszynę, a tam sobie je dowolnie rotujesz, tniesz, pakujesz.
Można też bezpośrednio z sysloga puszczać logi na zewnętrzną maszynę tylko jest jeden problem (niestety znany z autopsji) - jak ci padnie połączenie między wysyłającym a zbierającym logi to jest niewesoło. Wysyłający zaczyna mulić, usługi zaczynają padać i nie chcą się podnieść ;]

Logstash wysyła logi ustalonymi porcjami a w momencie jak nie ma połączenia to sobie je zbiera dalej i wysyła jak tylko link wróci do życia.
Maszynka do zbierania logów zależna od tego ile tych logów masz ;]

Dla przykładu exim + apache obsługujące kilka tyś domen w ciągu 3-4h wysyłają około 10GB logów ;)


LRU: #472938
napisz do mnie: ola@mojmail.eu
Hołmpejdż | Galerie | "Twórczość" || Free Image Hosting

Offline

 

#3  2015-08-21 12:03:00

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Re: Przechowywanie logów z kilku serwerów

oki dziękuję za informację zaraz postawię i zobaczę jak to działa.


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#4  2015-08-21 12:39:46

  ethanak - Użytkownik

ethanak
Użytkownik
Skąd: Ungwenor
Zarejestrowany: 2010-07-19
Serwis

Re: Przechowywanie logów z kilku serwerów

inna propozycja:

1. skonfigurować porządnie logrotate (aby nadawał sensowne nazwy oraz wrzucał wszystkie archiwa do jednego katalogu - np /var/log/archive)

2. rotacja codzienna

3. po wykonaniu logrotate wchodzi sobie rsync z parametrem --no-delete (czy jakoś tak) i skrzętnie kopiuje nowości z archive na serwer zbierający logi

4. serwerem zbierającym może w tej sytuacji być dowolny z twoich serwerów (o ile nie masz tych logów jakieś straszne gigabajty a serwery są jakoś sensownie po sieci spięte) wyposażony w odpowiedni oddzielny dysk - w moim przypadku jest to serwer varnisha.

Zalety:
a) odporność na zerwanie połączenia lub pad maszyny zbierającej
b) niewielkie dodatkowe obciążenie serwerów
c) dostęp do ostatnich archiwów (zależnie od ustawień logrotate) bezpośrednio na każdym serwerze.
d) nie wymaga instalacji dodatkowego oprogramowania.

Wady:
jakie wady...


Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
Zespół Adwokacki Dyskrecja

Offline

 

#5  2015-08-21 15:02:52

  winnetou - złodziej wirków ]:->

winnetou
złodziej wirków ]:->
Skąd: Jasło/Rzeszów kiedyś Gdańs
Zarejestrowany: 2008-03-31
Serwis

Re: Przechowywanie logów z kilku serwerów

można też i tak ;) Logstash ma jeszcze jedno fajne narzędzie o nazwie "elastic" - genialne przeszukiwanie logów (tylko zwraca to wyniki w nieprzyjemnym formacje jsona ;p) Ogólnie bardzo zacne narzędzie i przy wielu serwerach bardzo uprzyjemnia życie ;)


LRU: #472938
napisz do mnie: ola@mojmail.eu
Hołmpejdż | Galerie | "Twórczość" || Free Image Hosting

Offline

 

#6  2015-08-21 19:27:54

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Przechowywanie logów z kilku serwerów

Same Syslogi nie mogą pakować logów na  zdalne maszyny?

Kiedy ostatnio widziałem Rsysloga, to tam była możliwość, żeby każdy komunikat wysyłał po tcp albo udp prosto do Komisji Europejskiej.

Rsync lub Rdiff-backup też można  dowolnie oskrycpić i ożenić z Logrotate.

Ostatnio edytowany przez Jacekalex (2015-08-24 02:50:14)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#7  2015-08-22 00:19:33

  lis6502 - Łowca lamerów

lis6502
Łowca lamerów
Skąd: Stalinogród
Zarejestrowany: 2008-12-04

Re: Przechowywanie logów z kilku serwerów

Potwierdzam, ja po UDP'ie zbieram logi z 9ciu mikrotików do centralnego sysloga.
Bardziej lokalnie zrobiłbym to tak, że kupując najgłupszy dysk sieciowy, ma on lub można doinstalować obsługę NFS'a. Piszesz szkaradę w stylu
postrotate: mount /logi-backup 192.168.123.45:/zasob/gdzie -t nfs ;mv log /logi-backup/`uname -snm`-log;umount /logi-backup
Nie wiem ile i z czego te logi masz (netflow, czysty tekst), w każdym razie najlepiej przejechać je XZ'em lub jeszcze lepiej lzma -9 gdzieś w nocy zeby nie generować obciążenia
i w 1TB zmieścisz się na te pięć lat. Pamiętaj tyllko by monitorować smarta i za 2.5 roku mieć fundusze na nowy hdd ;P

Offline

 

#8  2015-08-23 21:29:45

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Re: Przechowywanie logów z kilku serwerów

dzięki wszystkim, będę testował


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Możesz wyłączyć AdBlock — tu nie ma reklam ;-)