Forum Debian Users Gang

karol · 2012-09-17 09:50:48

Witam,
problem dotyczy pliku tekstowego o poniższej budowie

miejscowość
rodzaj_alarmu czas_wygenerowania czas_trwania tresc_alarmu

poniżej przykład:
KATOWICE
emergency 22:15:00 00:11:00 ping

Interesują mnie tylko alarmy o określonej treści np "ping" gdzie czas trwania jest większy od 1 minuty. W wyniku program powinien pokazać:
KATOWICE
emergency 22:15:00 00:11:00 ping.
Czyli najpierw sprawdza wartość "czas_trwania" i "tresc_alarmu", jeśli spełnia warunki to wyświetla miejscowość, czas i treść.
Zadanie w sam raz dla sed i awk ale nie jestem pewien jak wymusić sprawdzanie określonych wartości a potem cofnięcie się o n linijek wyżej tak żeby można było określić miejscowość.

Minio · 2012-09-17 11:25:32

Więc tak:
cofanie się w pliku odpada, ponieważ i tak nie wiesz o ile wierszy musisz się cofnąć. Chyba że masz jakiś pewny sposób na określenie, w którym momencie zaczynają się wiersze dla nowej miejscowości.
Jeżeli masz na to sposób, to czytaj plik wiersz po wierszu i kiedy natkniesz się na nową miejscowość, umieszczaj jej nazwę w jakiejś zmiennej. Potem czytasz sobie dalej aż natkniesz się na interesujący Cię warunek (trzecie pole ma większą niż określona wartość). Wtedy wypisujesz nazwę miejscowości ze zmiennej oraz wiersz spełniający warunek.

Całość więc sprowadza się do określenia pewnego sposobu na określenie, że dany wiersz zawiera nazwę miejscowości. Sądząc po Twoim przykładzie, być może chodzi o wszystkie wiersze złożone wersalikami. A może wszystkie wiersze które mają jedną lub mniej spacji (nie znam miejscowości w Polsce, której nazwa złożona by była z trzech wyrazów)?

A jeżeli masz kontrolę nad oprogramowaniem, które produkuje plik wejściowy, to zmień je tak, aby zamiast pseudo-ini produkowało zwykły log (nazwa miejscowości w każdym wierszu). Wtedy będziesz miał problem z głowy.

qluk · 2012-09-17 19:38:17

PERL
ewentualnie wytnij co drugi newline podstawiając w jego miejsce coś co będzie rozdzielać [miejscowość] od [sygnatura alarmu].

Pokaż przykład dłuższego pliku, bo nie rozumię skąd jest "n linijek" skoro w zawartym przykładzie nazwa miejscowości jest nad datagramem.

karol · 2012-09-18 07:01:57

Poniżej przykład pliku tekstowego, niestety nie mam wpływu na jego format. Czcionką pogrubioną zaznaczyłem wiersze które powinny znaleźć się w wyniku.

;WWA - Zachodni .234;;;;;
;192.168.0.234;;;;;
;;;;;;
;Severity;Generated on ;Cleared on ;Outage duration;Alarm Description;
;;;;;;
;critical;2012-09-16 23:08:39;"2012-09-16
23:09:29";00 00:00:50;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 19:23:39;"2012-09-16
19:27:30";00 00:03:51;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 16:30:39;"2012-09-16
16:33:31";00 00:02:52;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 16:22:39;"2012-09-16
16:24:30";00 00:01:50;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 09:07:39;"2012-09-16
09:08:35";00 00:00:56;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 09:03:39;"2012-09-16
09:04:33";00 00:00:54;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 08:59:39;"2012-09-16
09:00:35";00 00:00:55;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 08:55:39;"2012-09-16
08:57:37";00 00:01:58;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 05:44:39;"2012-09-16
05:45:30";00 00:00:51;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 02:25:39;"2012-09-16
02:27:29";00 00:01:50;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 00:39:39;"2012-09-16
00:42:29";00 00:02:51;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 23:08:32;"2012-09-16
;TOR - PEC Aleks .222;;;;;
;192.168.0.222;;;;;
;;;;;;
;Severity;Generated on ;Cleared on ;Outage duration;Alarm Description;
;;;;;;
;critical;2012-09-16 03:58:33;"2012-09-16
04:08:21";00 00:09:48;HAR EXC A - Out Sum Fault failed to receive expected response. See Additional Information for details.;
;critical;2012-09-16 03:58:33;"2012-09-16
04:08:21";00 00:09:49;HAR EXC B - Out Sum Fault failed to receive expected response. See Additional Information for details.;
;critical;2012-09-16 04:05:46;"2012-09-16
04:07:36";00 00:01:50;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 03:55:46;"2012-09-16
04:01:53";00 00:01:08;PING Site Availability outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 03:54:02;"2012-09-16
04:07:51";00 00:13:49;SAT 2 TS NOT OK;

Jacekalex · 2012-09-18 07:23:19

A może zamiast kombinować z logiem, wykombinować inny program, bardziej "kumaty" w kontekście konfiguracji logowania, sensownego wyjścia do sysloga czy baz sql?
Albo inne wyjście logowania dla obecnego programu?

Co urodziło tego loga, jaki program czy może urządzenie?

Ostatnio edytowany przez Jacekalex (2012-09-18 07:28:49)

qluk · 2012-09-18 23:34:11

Ta a może jeszcze zaproponujesz żeby sam zrobił od nowa system czujek?

Ogólny schemat:
regexp dla miejsca -> do zmiennej
w petli sprawdzamy kolejne wpisy a warunkiem pętli jest regexp dla miejsca.

Ot wszystko, teraz zależenie w czym to zrobisz perl, PHP, bash/sh/zsh/etc. (tutaj może być trudniej ale wykonalne), python, itd.

Jacekalex · 2012-09-18 23:50:49

@qluk

A wiesz może, co te logi generuje.
Bo jeśli to jakiś program, który da się zapiąć do sysloga, to sprawa byłaby XXX razy prostsza.
Zwłaszcza, że tam widzę jakiś wynik PING cośtam, a do takich rzeczy raczej nie kupuje się MS Windows 2158 serwer. ;)

karol · 2012-09-19 09:06:28

Dziękuję wszystkim za odpowiedzi, napewno najłatwiej byłoby zmienić format pliku wyjściowego loga ale nie wiem jak podejdzie do sprawy dostawca oprogramowania monitorującego, czy w ogóle będzie chciał coś zmieniać. Logi generuje linux, które są przetwarzane przez jakiś "wynalazek" do formatu excela. Potem z kolei konwersja do formatu txt rozdzielonych znakami ";" Na chwilę obecną będę szedł w kierunku zaproponowanym przez qluk ale przed tym sprawdzę czy da się coś zmienić z dotychczasową formą logów.

Jacekalex · 2012-09-20 02:19:59

Logi generuje linux, które są przetwarzane przez jakiś "wynalazek" do formatu excela.

Jeśli możesz się jakoś dostać do logów generowanych przez Linuxa, to podejrzewam, że miałbyś dożo prostszą sytuację.
Jedyna format, w jakim Linux może wygenerować logi zjadliwe dla exela, to format CSV - tekst oddzielony przecinkami.
Sznurek: http://pl.wikipedia.org/wiki/CSV_%28format_pliku%29
Można też użyć formatu XML.
Gdybyś mógł wytargać ten plik - który jest zrobiony dla exela, to też mogłoby uprościć sprawę w jakimś stopniu.
Poza tym nie Linux generuje logi, bo pingowaniem nie zajmuje się kernel, tylko jakiś demon lub skrypt, który przygotowuje logi dla "wynalazku".
Radziłbym obejrzeć i proces w Linuxie, który samego dokonuje aktu pingowania i wypluwa logi, jak i wynalazkowi, który je formatuje dla exela.

Nie zdziwiłbym się, gdyby samym pingowaniem zajmował się jakiś sktypt napisany w bashu czy perlu.
Zwłaszcza, że tu masz gotowy przykład takiego "dzieła do pingowania".
Względnie, czy ten "program od dostawcy", to nie jest przypadkiem oryginał lub klon Nagiosa lub Zabbixa.

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2012-09-20 05:33:17)

karol · 2012-09-20 05:19:30

Gdybym miał do tego dostęp to nie byłoby problemu. Ale niestety nie mam i muszę sobie radzić z tym co jest dostępne na chwilę obecną. Może Excel umie robić takie rzeczy ?

Jacekalex · 2012-09-20 05:26:35

Jak nie masz dostępu - to skąd wiesz, że tam jest Linux? ;)
Jeśli koniecznie exel - i masz to w tabelkach exela, to exel może eksportować do formatu XML, a XML można obrabiać skryptami na 1200 sposobów, we wszystkich językach programowania.
Podobnie z resztą jak csv.

A w ogóle skąd się te dane biorą w exelu?
Jak są transportowane do exela?

Ostatnio edytowany przez Jacekalex (2012-09-20 05:32:01)

karol · 2012-09-20 06:17:24

Jacekalex napisał(-a):
Jak nie masz dostępu - to skąd wiesz, że tam jest Linux? ;)

Niestety też go monitoruję (-: ale nie mam uprawnień żeby mu się przyjrzeć. Eksportowanie to połowiczne rozwiązanie problemu bo sam excel tego nie wyeksportuje a poszukuję rozwiązania które zautomatyzuje cały proces. Dane przesyłane na e-mail.

Jacekalex · 2012-09-20 06:51:02

Przychodzą mailem? to jest ważna wiadomość.
W mailu jest jakiś załącznik, który wczytujesz do exela?
Czy exel sam nauczył się odbierać maile?
Czy kawałek tego pliku tekstowego, co wklejałeś wcześniej, to są dane wejściowe do exela, czy wyjściowe z exela w trybie jakiegoś eksportu?

Bo jakbyś sprawdził, w jakim formacie dane docierają do exela, to znacząco uprościłoby kombinowanie.
Sam plik tekstowy wygląda jak csv oddzielany średnikami.

Na "urządzeniu z Linuxem" nie masz nawet konta zwykłego użytkownika, ale go monitorujesz.
Czyli prawdopodobnie trzeba wziąść kij baseballowy i isć do administratora tego "urządzenia z Linuxem" ;)

Ostatnio edytowany przez Jacekalex (2012-09-20 06:54:52)

jezoo · 2012-09-21 14:00:55

można zabawić się w sumy kontrolne wiersza. Może co dla nie których wydawać się śmieszne ale prawdziwe.

Mamy coś takiego:

;WWA - Zachodni .234;;;;;
;192.168.0.234;;;;;
;;;;;;
(....)
;TOR - PEC Aleks .222;;;;;
;192.168.0.222;;;;;
;;;;;;

element dla sumy kontrolenej to ;;;;;;, czyli

1) sprawdz hash lini
2) jezeli jest rowne ';;;;;;' to
a) -2 w tablicy (lub -2 linie)
b) prerób na tablice
c) wycignij nazwe miasta
d) usuń w/w linie
e) wstaw na poczatek lini z logiem

to samo dla IP tylko -1

i to wszystko

qluk · 2012-09-24 22:21:37

Jacekalex: uczepiłeś się jak rzep, to weż i napisz mu soft który bedzie do sysloga to robił. To że pisze PING nie znaczy że zostało wywołane /usr/bin/ping. Na dobrą sprawę to może być odpytanie czy czujka zwraca zielony kwadrat. Na cholerę wyważasz otwarte drzwi. Po co ma sobie dokładać roboty i wykraczać poza obowiązki skoro to co dostaje jest wystarczające i specjalnie od eksportu CSV się nie różni.

prosze · 2012-09-25 17:56:11

Zamiast napisać chłopakowi gotowca to się sprzeczacie.

Pisane na szybko:

Kod:

awk -F "00 |;P" '/ \./;/PING/{getline a; if($2!~/00:00/) print $0 "\n" a }' log

Drukuje taki wynik:

Kod:

userpc@userpc-desktop:~/Pulpit$ awk -F "00 |;P" '/ \./;/PING/{getline a; if($2!~/00:00/) print $0 "\n" a }' log
;WWA - Zachodni .234;;;;;
19:27:30";00 00:03:51;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 16:30:39;"2012-09-16
16:33:31";00 00:02:52;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 16:22:39;"2012-09-16
16:24:30";00 00:01:50;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 09:07:39;"2012-09-16
08:57:37";00 00:01:58;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 05:44:39;"2012-09-16
02:27:29";00 00:01:50;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 00:39:39;"2012-09-16
00:42:29";00 00:02:51;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 23:08:32;"2012-09-16
;TOR - PEC Aleks .222;;;;;
04:07:36";00 00:01:50;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 03:55:46;"2012-09-16
04:01:53";00 00:01:08;PING Site Availability  outage identified. Did not receive expected response within timeout 10000 ms.;
;critical;2012-09-16 03:54:02;"2012-09-16
userpc@userpc-desktop:~/Pulpit$

Ostatnio edytowany przez prosze (2012-09-25 17:59:22)

Jacekalex · 2012-09-26 07:00:54

qluk napisał(-a):
Jacekalex: uczepiłeś się jak rzep, to weż i napisz mu soft który bedzie do sysloga to robił. To że pisze PING nie znaczy że zostało wywołane /usr/bin/ping. Na dobrą sprawę to może być odpytanie czy czujka zwraca zielony kwadrat. Na cholerę wyważasz otwarte drzwi. Po co ma sobie dokładać roboty i wykraczać poza obowiązki skoro to co dostaje jest wystarczające i specjalnie od eksportu CSV się nie różni.

@qluk
Nie czepiam się, tylko proponuję.
W dodatku, jedna uwaga:
Jakiś zasrany producent albo "fachowiec" zrobił "superzajefajnyprogram" - co sprawdza pingiem zdalne hosty, i zapisuje wynik badania w pliku csv dla exela,
w dodatku nie ma żadnej możliwości, żeby takiego pajaca lub producenta zmusić do tego, żeby program działający na Linuxie spełniał podstawowe standardy Linuxa.
I ten program nie ma żadnego cywilizowanego wyjścia funkcji - żeby wyciągnąć jakąś sensowną informację na poziomie Linuxa, poza zasranym CSV?

Piszesz, żebym ja napisał jakiś moduł do tego szajsprogramu, lub nowy od zera?
A ja bym najpierw poprosił producenta, jeśli to nie pomoże, to zrobił o problemie z producentem malutką stronkę, i wysłał mu linka.

Albo po prostu wypierdolił wypociny jakiegoś durnia, postawił Nagiosa albo Zabbixa, albo jeden z kilkunastu podobnych gotowych programów, albo rzeczywiście, naskrobał jakiś "pingownik" w perlu, z insertem wyniku do bazy SQL, Sysloga, i wysłaniem maila lub wiadomości xmpp jak host nie odpowie na 3 pingi w ciągu 15 minut.

Programista ze mnie żaden, może by mi to zajęło z tydzień, ale ja wiem, i Ty też wiesz, ze to ani niewykonalne, ani specjalnie trudne.

Inna sprawa, ze względem szajs-producentów bardzo pomaga delikatna perswazja, np:
- raz miałem kiedyś starcie z Insertem, dotyczące OscGT.
program wywalał ze sklepu produkt, który spadł do zerowego stanu magazynowego, i trzeba było wklepać dany produkt od nowa, zamiast uaktualnić stan magazynowy.
Napisałem do pomocy technicznej, odpisali ze to normalne, i nic nie poradzą.
Zadzwoniłem do jakiegoś ważniaka, - niestety, niemożliwe.
Napisałem na istniejącym wtedy forum Oscommerce, o problemie, pytając przy okazji, czy jest jakiś program zamiast OSCGT i Subiekta, bo mi wypociny Insertu działają na nerwy, a ważniakowi wysłałem sznurka do postu.

Za 2 godziny ważniak odpisał prosząc o logi debug, napisał jak włączyć logowanie w konfigu, i dał ladres łebka "odpowiedzialnego", natomiast jak dostali logi, to obiecali, ze za dwa dni będzie aktualizacja, i to będzie poprawione.
I rzeczywiście, za 3 dni było po problemie.

Można?

Jak płacisz, to i wymagasz, jak nie płacisz, robisz sam.
Proste?

A każdej firmie co jakiś czas trzeba pokazać palec jak przeginają , żeby ruszyli jaśniepaństwo doooopy, Stolarz, Insert czy Nvidia, nie ma żadnej różnicy. :DDDDDD

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2012-09-26 07:02:57)

Forum Debian Users Gang

Ogłoszenie

#1 2012-09-17 09:50:48

karol - Użytkownik

Przetwarzanie pliku tekstowego

#2 2012-09-17 11:25:32

Minio - Użyszkodnik

Re: Przetwarzanie pliku tekstowego

#3 2012-09-17 19:38:17

qluk - Pan inż. Cyc

Re: Przetwarzanie pliku tekstowego

#4 2012-09-18 07:01:57

karol - Użytkownik

Re: Przetwarzanie pliku tekstowego

#5 2012-09-18 07:23:19

Jacekalex - Podobno człowiek...;)

Re: Przetwarzanie pliku tekstowego

#6 2012-09-18 23:34:11

qluk - Pan inż. Cyc

Re: Przetwarzanie pliku tekstowego

#7 2012-09-18 23:50:49

Jacekalex - Podobno człowiek...;)

Re: Przetwarzanie pliku tekstowego

#8 2012-09-19 09:06:28

karol - Użytkownik

Re: Przetwarzanie pliku tekstowego

#9 2012-09-20 02:19:59

Jacekalex - Podobno człowiek...;)

Re: Przetwarzanie pliku tekstowego

#10 2012-09-20 05:19:30

karol - Użytkownik

Re: Przetwarzanie pliku tekstowego

#11 2012-09-20 05:26:35

Jacekalex - Podobno człowiek...;)

Re: Przetwarzanie pliku tekstowego

#12 2012-09-20 06:17:24

karol - Użytkownik

Re: Przetwarzanie pliku tekstowego

Jacekalex napisał(-a):

#13 2012-09-20 06:51:02

Jacekalex - Podobno człowiek...;)

Re: Przetwarzanie pliku tekstowego

#14 2012-09-21 14:00:55

jezoo - Dzięcioł

Re: Przetwarzanie pliku tekstowego

#15 2012-09-24 22:21:37

qluk - Pan inż. Cyc

Re: Przetwarzanie pliku tekstowego

#16 2012-09-25 17:56:11

prosze - Użytkownik

Re: Przetwarzanie pliku tekstowego

Kod:

Kod:

#17 2012-09-26 07:00:54

Jacekalex - Podobno człowiek...;)

Re: Przetwarzanie pliku tekstowego

qluk napisał(-a):

Stopka forum