Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!
Ogłoszenie
Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.
Strony: 1
- Forum Debian Users Gang
- » Elektronika i Programowanie
- » [+] skrypt pobierający aktualizacje strony www
#1 2021-09-21 13:56:15
torpeda80 - 
Użytkownik
- torpeda80
- Użytkownik
- Zarejestrowany: 2007-03-28
[+] skrypt pobierający aktualizacje strony www
Dzień dobry
Mam pytanie co powinien zrobić aby pobierać automatycznie ze strony www np. bipu informację o ogłoszeniach i otrzymywać je np. na maila lub do katalogu je zapisywać. Czy istnieje taki zautomatyzowany sposób poboru danych ze stron internetowych aby nie trzeba było za każdym razem wchodzić w stronę i przeszukiwać zmian dotyczących ofert. Interesują mnie zarówno rozwiązanie płatne jak i darmowe. Co moglibyście polecić?
Ostatnio edytowany przez torpeda80 (2021-09-22 10:01:19)
Offline
#2 2021-09-21 15:34:50
fnmirk - Redaktor
- fnmirk
- Redaktor
- Zarejestrowany: 2008-02-19
Re: [+] skrypt pobierający aktualizacje strony www
Moim zdaniem to można by wget, wget2 itp. programy zaprzęgnąć do tego podpinając do crona itp.
Offline
#3 2021-09-21 18:21:27
rulezdc - Członek DUG
- rulezdc
- Członek DUG
- Skąd: Tarnowskie Góry
- Zarejestrowany: 2007-05-22
Re: [+] skrypt pobierający aktualizacje strony www
Jak juz chcesz to chyba python i odpowiednie biblioteki np. BeatifulSoup
https://helion.pl/ksiazki/ekstrakcja-danych-z-jezyk … .htm#format/e
Offline
#4 2021-09-22 10:01:06
torpeda80 - Użytkownik
- torpeda80
- Użytkownik
- Zarejestrowany: 2007-03-28
Re: [+] skrypt pobierający aktualizacje strony www
Dziękuje za odpowiedzi.
Offline
#5 2021-09-22 17:36:07
seler - Użytkownik
- seler
- Użytkownik
- Zarejestrowany: 2012-05-15
Re: [+] skrypt pobierający aktualizacje strony www
Najprostsze i najtoporniejsze to zaprząc do pracy tekstową przeglądarkę internetową np. elinks z parametrem --dump, co będzie zwracać tekstową wersję strony, a potem parsować wynik, żeby sobie wyfiltrować fragment, który nas interesuje. Bardziej eleganckie, ale i skomplikowane będzie wycinanie ze strony właściwych znaczników html poprzez selektor xml/css np. Xidel, co powinno dawać właściwy fragment strony z dużo większą pewnością. A potem to już zabawa w porównanie ze starą wersją.
a to feler westchnął seler
Offline
#6 2021-09-23 12:36:09
ethanak - Użytkownik
Re: [+] skrypt pobierający aktualizacje strony www
A może narzędzie które zostało do tego stworzone - selenium?
Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
Zespół Adwokacki Dyskrecja
Offline
Strony: 1
- Forum Debian Users Gang
- » Elektronika i Programowanie
- » [+] skrypt pobierający aktualizacje strony www