Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2021-09-21 13:56:15

  torpeda80 - Użytkownik

torpeda80
Użytkownik
Zarejestrowany: 2007-03-28

[+] skrypt pobierający aktualizacje strony www

Dzień dobry
Mam pytanie co powinien zrobić aby pobierać automatycznie ze strony www np. bipu informację o ogłoszeniach i otrzymywać je np. na maila lub do katalogu je zapisywać. Czy istnieje taki zautomatyzowany sposób poboru danych ze stron internetowych aby nie trzeba było za każdym razem wchodzić w stronę i przeszukiwać zmian dotyczących ofert. Interesują mnie zarówno rozwiązanie płatne jak i darmowe. Co moglibyście polecić?

Ostatnio edytowany przez torpeda80 (2021-09-22 10:01:19)

Offline

 

#2  2021-09-21 15:34:50

  fnmirk - Redaktor

fnmirk
Redaktor
Zarejestrowany: 2008-02-19

Re: [+] skrypt pobierający aktualizacje strony www

Moim zdaniem to można by wget, wget2 itp. programy zaprzęgnąć do tego podpinając do crona itp.

Offline

 

#3  2021-09-21 18:21:27

  rulezdc - Członek DUG

rulezdc
Członek DUG
Skąd: Tarnowskie Góry
Zarejestrowany: 2007-05-22

Re: [+] skrypt pobierający aktualizacje strony www

Jak juz chcesz to chyba python i odpowiednie biblioteki np. BeatifulSoup

https://helion.pl/ksiazki/ekstrakcja-danych-z-jezyk … .htm#format/e

Offline

 

#4  2021-09-22 10:01:06

  torpeda80 - Użytkownik

torpeda80
Użytkownik
Zarejestrowany: 2007-03-28

Re: [+] skrypt pobierający aktualizacje strony www

Dziękuje za odpowiedzi.

Offline

 

#5  2021-09-22 17:36:07

  seler - Użytkownik

seler
Użytkownik
Zarejestrowany: 2012-05-15

Re: [+] skrypt pobierający aktualizacje strony www

Najprostsze i najtoporniejsze to zaprząc do pracy tekstową przeglądarkę internetową np. elinks z parametrem --dump, co będzie zwracać tekstową wersję strony, a potem parsować  wynik, żeby sobie wyfiltrować fragment, który nas interesuje. Bardziej eleganckie, ale i skomplikowane będzie wycinanie ze strony właściwych znaczników html poprzez selektor xml/css np. Xidel, co powinno dawać właściwy fragment strony z dużo większą pewnością. A potem to już zabawa w porównanie ze starą wersją.


a to feler westchnął seler

Offline

 

#6  2021-09-23 12:36:09

  ethanak - Użytkownik

ethanak
Użytkownik
Skąd: Ungwenor
Zarejestrowany: 2010-07-19
Serwis

Re: [+] skrypt pobierający aktualizacje strony www

A może narzędzie które zostało do tego stworzone - selenium?


Nim mechaniczne larum zagrasz mi, kanalio,
głosząc nadejście Javy - śmiertelnego wroga!
Zespół Adwokacki Dyskrecja

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Nas ludzie lubią po prostu, a nie klikając w przyciski ;-)