KODI Fanklub Polska

Witamy, Gość
Nazwa użytkownika: Hasło: Zapamiętaj mnie
Zanim zadasz pytanie upewnij się że przeczytałeś: kodi.org.pl/index.php/component/content/...nim-zaczniesz-z-xbmc

TEMAT: Filmweb.pl scraper ver. 2.1

Filmweb.pl scraper ver. 2.0 2013/02/16 00:31 #3650

  • abc33
  • Junior
  • abc33
  • Offline
  • Postów: 22
  • Pomógł: 0

Wersja 2.0.4 pobiera okładki filmów z TMDB zamiast polskich z Filmweb'u. Czy to zamierzone działanie czy błąd? Jeśli zamierzone, to fajnie by było móc wybrać w opcjach skąd będzie pobierana domyślna okładka.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/16 00:33 #3651

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
Pobiera jako pierwszą jedną główną okładkę z Filmweb'u (z pierwszej strony) + dodatkowe z TMDb. Dodatkowe okładki na Filmweb i na TMDb pokorywają się w 90%.



Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Ostatnio zmieniany: 2013/02/16 00:34 przez Regss.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/16 00:40 #3652

  • abc33
  • Junior
  • abc33
  • Offline
  • Postów: 22
  • Pomógł: 0

Regss napisał:
Pobiera jako pierwszą jedną główną okładkę z Filmweb'u

Ale jako domyślną? Bo ja wszędzie widzę domyślnie zagraniczne okładki z TMBD, np.:

film: 7 krasnoludków - Historia prawdziwa
link: www.filmweb.pl/7.Krasnoludkow.Historia.Prawdziwa

film: Adaptacja
link: www.filmweb.pl/Adaptacja

PS. Kompozytorzy w tagach działają super.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/16 00:54 #3653

  • abc33
  • Junior
  • abc33
  • Offline
  • Postów: 22
  • Pomógł: 0

ver: 2.0.4
film: Brunet wieczorową porą
link: www.filmweb.pl/Brunet.Wieczorowa.Pora
błąd: Opis filmu: "W dzisiejszym odcinku "Na skróty" znakomita komedia Stanisława Barei "Brunet wieczorową porą"."

- na filmwebie nie widzę nic takiego :)


Uwaga ogólna:
W polu "Zarys fabuły" dla wieu filmów pojawia się info: "Ten film nie ma jeszcze zarysu fabuły. Możesz go dodać."
- propozycja: nie pobierać danych dla tego pola / nie wyświetlać tego pola, gdy ma taką wartość na filmwebie.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/16 21:46 #3661

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
abc33 napisał:
Regss napisał:
Pobiera jako pierwszą jedną główną okładkę z Filmweb'u

Ale jako domyślną? Bo ja wszędzie widzę domyślnie zagraniczne okładki z TMBD, np.:

film: 7 krasnoludków - Historia prawdziwa
link: www.filmweb.pl/7.Krasnoludkow.Historia.Prawdziwa

film: Adaptacja
link: www.filmweb.pl/Adaptacja

PS. Kompozytorzy w tagach działają super.

Była potrzebna mała poprawka jeszcze, już poprawione w kolejnej wersji. Najpierw pobiera okładkę z głównej strony filmweb a resztę z tmdb
abc33 napisał:
ver: 2.0.4
film: Brunet wieczorową porą
link: www.filmweb.pl/Brunet.Wieczorowa.Pora
błąd: Opis filmu: "W dzisiejszym odcinku "Na skróty" znakomita komedia Stanisława Barei "Brunet wieczorową porą"."

- na filmwebie nie widzę nic takiego :)


Uwaga ogólna:
W polu "Zarys fabuły" dla wieu filmów pojawia się info: "Ten film nie ma jeszcze zarysu fabuły. Możesz go dodać."
- propozycja: nie pobierać danych dla tego pola / nie wyświetlać tego pola, gdy ma taką wartość na filmwebie.

Wielu osobą przeszkadza to, że tag ten pozostaje pusty jeśli na filmwebie brak zarysu fabuły. Też uważam, że jeśli nie ma zarysu to tag ten po prostu nie powinien być wyświetlany. Jednak chodzi tu pewnie o inne skórki niż Confluence. Może się zdarzyć, że inne skórki mają na stałe wyświetlanie tego tagu i wtedy wygląda to nieestetycznie.
Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Ostatnio zmieniany: 2013/02/16 21:51 przez Regss.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/17 07:01 #3665

  • wegiel666
  • Junior
  • wegiel666
  • Offline
  • Postów: 9
  • Pomógł: 0

Dobra a teraz ja mam inne pytanie do Regss z całkowicie innej beczki: Którego scrapera mam właściwie używać bo już nie wiem czy Twojego wersji lite czy wspólnego filmweb 2.0 ??? Który z nich ma być docelowym scraperem do filmwebu, który będzie miał więcej opcji do wyboru i co najważniejsze dla mnie będzie szybszy ????
Temat został zablokowany.

Odp: Filmweb.pl scraper ver. 2.0 2013/02/17 10:43 #3666

  • marx
  • Autor Artykułów
  • marx
  • Offline
  • Postów: 798
  • Pomógł: 42

  • KODI: 15.2
  • OS: Linux Debian
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Logitech Harmony
Oficjalna powinna być najlepszym wyborem, wczoraj trochę testowałem i działa bardzo fajnie.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/17 11:52 #3667

  • smuto
  • Zasłużony
  • smuto
  • Offline
  • Postów: 187
  • Pomógł: 21

zarys fabułu jak najbardziej może być w opcjach - nawet z fallbackiem do tmdb

jestem za

smuto
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/17 14:39 #3669

  • abc33
  • Junior
  • abc33
  • Offline
  • Postów: 22
  • Pomógł: 0

ver: 2.0.5 - potestowałem i... nie znalazłem żadnych błędów :)

Pytanie ogólne:
przy scrapowaniu filmów wieloczęściowych (np. Piraci z Karaibów, Harry Potter, Bourne, Matrix), filmy na liście wyświetlają się w alfabetycznej kolejności polskich tytułów. Czy jest jakiś sposób, żeby wyświetlać je w kolejności ukazywania się kolejnych części?)

Pytanie ogólne 2:
Niektóre filmy są kręcone po kilka razy pod tym samy tytułem (np. Tożsamość Bourne'a z 1988 z Richard'em Chamberlain'em oraz z 2002 z Matt'em Damon'em). Na liście po scrapowaniu pojawią się dwie pozycje pod identyczną nazwą. Może można by dodać funkcjonalność (zapewne w opcjach, bo może nie każdy tak chce), która do tytułu filmu dodawałaby na końcu w nawiasach rok produkcji, np.
- Tożsamość Bourne'a (1988)
- Tożsamość Bourne'a (2002)
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/17 15:13 #3670

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
abc33 napisał:
ver: 2.0.5 - potestowałem i... nie znalazłem żadnych błędów :)

Pytanie ogólne:
przy scrapowaniu filmów wieloczęściowych (np. Piraci z Karaibów, Harry Potter, Bourne, Matrix), filmy na liście wyświetlają się w alfabetycznej kolejności polskich tytułów. Czy jest jakiś sposób, żeby wyświetlać je w kolejności ukazywania się kolejnych części?)

Pytanie ogólne 2:
Niektóre filmy są kręcone po kilka razy pod tym samy tytułem (np. Tożsamość Bourne'a z 1988 z Richard'em Chamberlain'em oraz z 2002 z Matt'em Damon'em). Na liście po scrapowaniu pojawią się dwie pozycje pod identyczną nazwą. Może można by dodać funkcjonalność (zapewne w opcjach, bo może nie każdy tak chce), która do tytułu filmu dodawałaby na końcu w nawiasach rok produkcji, np.
- Tożsamość Bourne'a (1988)
- Tożsamość Bourne'a (2002)

Odnośnie kolejności ukazywanych się części, to przychodzi mi tylko do głowy sortowanie po roku wydania. Od strony scrapera nie ma chyba możliwości aby to ustawić. A co do tych samych tytułów sytuacja jest podoba, to skóra która wyświetla dane pobrane z bazy danych mogła by sprawdzać czy istnieje taki sam tytuł i ewentualnie dodawać rok do tytułu.
Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/17 18:46 #3671

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
smuto napisał:
zarys fabułu jak najbardziej może być w opcjach - nawet z fallbackiem do tmdb

jestem za

smuto

Chyba nie ma co tu dawać w opcje. Po prostu niech pobiera z filmwebu jak nie ma to niech bierze z TMDb a jak tam nie ma to niech pozostanie pusty wtedy nie wyświetli się w ogóle. Tylko ja na TMDb nie widzę nic co jest związane z tagiem outline.
Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/17 23:37 #3676

  • smuto
  • Zasłużony
  • smuto
  • Offline
  • Postów: 187
  • Pomógł: 21

@Regss - gadasz jak smuto

w zakresie filmwebu - 2.0.5 - jest prawie dobre - parę szlifów i 2.1.0 do oficjalnego repo

czekamy na Ciebie w zakresie scrapera dla artystów muzyki

pozdr
smuto
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/18 09:54 #3678

  • dawdi17
  • Junior
  • dawdi17
  • Offline
  • Postów: 56
  • Pomógł: 0

Trochę dzisiaj poaktualizowałem i jest prawie super. Jedyny błąd jaki mi się zdarzał to taki, że po program po znalezieniu filmu we filmwebie i aktualizacji informacje wogóle znikają. Ponowna aktualizacji, ewentualnia kolejna i następna w końcu problem rozwiązuje. I nie wiem czy to Wasza zasługa, ale wybór okładek jest znacznie lepszy. W końcu można znaleźć ciekawą, często minimalistyczną okładkę niż te nabazgrane napisami z ilością nominacji czy krzykliwymi hasłami. Wielki plus Panowie, oj nawet ogromny.
czekamy na Ciebie w zakresie scrapera dla artystów muzyki

Oj bardzo czekamy, również my, użytkownicy, a napewno ja. Przydałoby się takie przyszlifowanie tego, bo nie raz z biblioteki robi się konkretny bałagan.

Dzięki jeszcze raz i życzę powodzenia w dalszych pracach!
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/18 20:05 #3684

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
Na TMDb nie ma outline więc skrócony opis fabuły będzie tylko z filmweb.

@Smuto mam problem z opisem z pod trailera. Nadpisuje on opisy pobrane wcześniej. Problem w tym, że dokładając filtr sprawdzający czy istnieje jakiś opis w naszym przypadku $$17 w funkcji GetTrailerLink zawsze zwraca pusty opis. Nie wszystkie funkcje by chain w pliku tmdb.xml mają ustawioną wartość clearbuffer="no" i przez to $$17 zostaje wyczyszczony. Może Ty masz pomysł jak sprawdzić i zapisać opis z trailera tylko wtedy jeśli nie ma go na pierwszej stronie.

Do testujących:
Po wprowadzeniu nowej wersji filmweb istnieją jeszcze filmy z opisem pod trailerem a bez opisu na stronie głównej?



Heh, mea culpa nie zauważyłem Smuto Twojego commita. Wszystko już gra.
Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Ostatnio zmieniany: 2013/02/18 21:11 przez Regss.
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/19 18:42 #3699

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
Mam prośbę do testujących. Przy dodawaniu większej bazy (100 filmów i więcej) za pomocą naszego scrapera przestaje on dodawać imdb.id dla filmu. ID to jest strategiczne dla dobrej jakości danych pobieranych dla filmu. Dla każdego filmu google API jest odpytywane o imdb.id. Po pobraniu kilku, kilkunastu poprawnie, google zaczyna zwracać poniższy komunikat i przestaje pobierać id.
{"responseData": null, "responseDetails": "Suspected Terms of Service Abuse. Please see code.google.com/apis/errors", "responseStatus": 403}

Jak sprawdzić: Po jednorazowym przeskanowaniu bazy filmów (100< filmów) scraperem wyeksportować bazę do pojedynczego pliku xml i sprawdzić czy istnieją w nim tagi <id></id> zawierające w treści gatunek filmu zamiast tagu imdb.

Chyba, że google tylko mnie nie lubi...

edit:
Teraz widzę, że dzieje się to już po około 15 - 20 filmach.
Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Ostatnio zmieniany: 2013/02/19 18:48 przez Regss.
Temat został zablokowany.

Odp: Filmweb.pl scraper ver. 2.0 2013/02/19 22:37 #3710

  • marx
  • Autor Artykułów
  • marx
  • Offline
  • Postów: 798
  • Pomógł: 42

  • KODI: 15.2
  • OS: Linux Debian
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Logitech Harmony
Pewnie trzeba dodać jakieś timeouty, google ma w swoich api często takie zabezpieczenia.
Rozwiązaniem jest nie pytanie pojedynczo tylko zapytania o grupę, o ile to możliwe.
Temat został zablokowany.

Odp: Filmweb.pl scraper ver. 2.0 2013/02/20 07:14 #3711

  • Regss
  • MODERATOR
  • Regss
  • Offline
  • Postów: 581
  • Pomógł: 95

  • KODI: XBMC 13 Gotham
  • OS: Windows 7 x64
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Medion X10, Logitech K360
Mi chyba bana wsadzili bo dzisiaj dalej dostaje error 403 przy próbie szukania przez przeglądarke.

http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=psy+site:imdb.com

U mnie wywala:
{"responseData": null, "responseDetails": "Suspected Terms of Service Abuse. Please see code.google.com/apis/errors", "responseStatus": 403}

edit:
A to zonk teraz jak powyższy link wklejam przez ctrl+c ctrl+v to mam błąd a jak klikam na powyższy link to zwraca wynik wyszukiwania.
Regss Add-ons Repository - Filmweb.pl Scraper, Movielib, Audio Profiles, Filmweb Trailery, Backup Watched, Tag Star Rating, Polskie Stacje, Show Image
Ostatnio zmieniany: 2013/02/20 07:18 przez Regss.
Temat został zablokowany.

Odp: Filmweb.pl scraper ver. 2.0 2013/02/20 13:42 #3716

  • marx
  • Autor Artykułów
  • marx
  • Offline
  • Postów: 798
  • Pomógł: 42

  • KODI: 15.2
  • OS: Linux Debian
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Logitech Harmony
Pewnie jakiś cache
Temat został zablokowany.

Filmweb.pl scraper ver. 2.0 2013/02/26 23:49 #3844

  • marx
  • Autor Artykułów
  • marx
  • Offline
  • Postów: 798
  • Pomógł: 42

  • KODI: 15.2
  • OS: Linux Debian
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Logitech Harmony
w repozytorium "Polskie wtyczki 2.0.0" nie ma ani jednego plugina

ok po zainstalowaniu repo reggs'a (?) sie zaktualizowala wtyczka filmweb (nie lite)
Ostatnio zmieniany: 2013/02/26 23:55 przez marx.
Temat został zablokowany.

Odp: Filmweb.pl scraper ver. 2.0 2013/03/18 17:14 #4095

  • marx
  • Autor Artykułów
  • marx
  • Offline
  • Postów: 798
  • Pomógł: 42

  • KODI: 15.2
  • OS: Linux Debian
  • NAS: Nie
  • MySQL: Tak
  • Sterowanie: Logitech Harmony
Nie działa mi ten scraper (nic nie znajduje, np jumanji), czy coś się zmieniło na stronie filmweb czy to u mnie coś nie tak? Universal też mi zgłasza błąd, zadziałał dopiero tmdb.
Temat został zablokowany.
Moderatorzy: Regss, zet120, Admin
Zasilane przez Forum Kunena :: Diseño Zaragoza

Aby kontynuować, pokaż nam kim jesteś