Forum Debian Users Gang

zyga · 2008-01-09 08:38:01

Witam wszystkich :)

Mam problem i mam nadzieje, że ktoś mi pomoże heh, mianowicie. Mam plik tekstowy (dokładnie log, ze squida), którego chce sobie filtrować i w odpowiednim momencie dodawać do bazy. Już tłumacze - plik ma następującą strukturę (oto przykład):

1199857805.452 262 192.168.1.123 TCP_CLIENT_REFRESH_MISS/200 4325 GET http://u30.eset.com/nod_upd/update.ver - DIRECT/89.202.149.40 application/octet-stream

Chciałbym powyższy wpis podzielić na siedem części i załadować do bazy do odpowiedniej kolumny, która miała by strukture np:

nr1 nr2 ip tcp nr3 metoda strona

lub ewentualnie jak jest prościej to podzielić to na tyle części ile jest spacji czyli w tym przypadku 9

Problem oczywiście mam z tym, że nie wiem jak to podzielić, żeby poszczególne wpisy, załadować do odpowiednich kolumn. Może to być rozwiązanie w shellu/perlu lub w php. Ma ktoś jakiś pomysł ?? Z góry bardzo dziękuje :)

pozdrawiam

Gryzon · 2008-01-09 08:49:18

Jeżeli może być to zrobione w PHP, to możesz wykonać następującą czynność:

Kod:

<?php

$text="1199857805.452    262    192.168.1.123   TCP_CLIENT_REFRESH_MISS/200  4325   GET http://u30.eset.com/nod_upd/update.ver - DIRECT/89.202.149.40 application/octet-stream";

$oko = explode("    ",$text);

print_r($oko);

?>

Oczywiście jeżeli w pliku jest więcej takich wersów, to musisz zastosować pętle, np. for

zielkam · 2008-01-09 18:25:46

w shellu też prosta sprawa robić cut i wrzucać do sql, tylko z wydajnością takiego czegoś może być problem, dla każdej linijka loga siedem insertów :/
EDIT
A no i jeszcze trzeba jakiś kawałek sprawdzania, żeby nie duplikował wpisów, albo select i porównywanie tego z kolejnymi elementami, albo (i to chyba lżejsze) oznaczać w logu linijki już dodane (lub koniec ostatniej operacji dodawania) .

Ostatnio edytowany przez zielony_83 (2008-01-09 18:34:29)

kuchar · 2008-01-09 20:48:27

w perlu możesz użyć funkcji split, przykład:

Kod:

($nr1, $nr2, $ip, $tcp, $nr3, $metoda, $strona) = split(/\s*/, $linijka);

bercik · 2008-01-09 22:43:15

w awk:

Kod:

awk '{printf("INSERT INTO ... %s %s %s %s", $1, $2, $3, $4);}' < plik > plik.sql

dla kazdej linijki w $1 $2 $3 itd laduja pola rozdzielane ciagami bialych znakow ...

zyga · 2008-01-10 12:38:18

dziękuje wszystkim za odpowiedzi :)

Pozdrawiam

Forum Debian Users Gang

Ogłoszenie

#1 2008-01-09 08:38:01

zyga - Użytkownik

Dzielenie wyrażeń w pliku tekstowym i wrzucanie go do bazy

#2 2008-01-09 08:49:18

Gryzon - Użytkownik

Re: Dzielenie wyrażeń w pliku tekstowym i wrzucanie go do bazy

Kod:

#3 2008-01-09 18:25:46

zielkam - były zielony_83 :)

Re: Dzielenie wyrażeń w pliku tekstowym i wrzucanie go do bazy

#4 2008-01-09 20:48:27

kuchar - Użytkownik

Re: Dzielenie wyrażeń w pliku tekstowym i wrzucanie go do bazy

Kod:

#5 2008-01-09 22:43:15

bercik - Moderator Mamut

Re: Dzielenie wyrażeń w pliku tekstowym i wrzucanie go do bazy

Kod:

#6 2008-01-10 12:38:18

zyga - Użytkownik

Re: Dzielenie wyrażeń w pliku tekstowym i wrzucanie go do bazy

Stopka forum