MozillaPL.org - polskie centrum Mozilli

Główne menu:

User Agent = Googlebot - dlaczego dziala i nie dziala

Dodatki rozszerzające funkcjonalność i schematy wyglądu Mozilli Firefox

Moderator: Pomocy?!

User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: covo » 06 grudnia 2018, 17:55

Przeglądarka: Mozilla/5.0 (Windows NT 5.1; rv:52.0) Gecko/20100101 Firefox/52.9.0

zmieniam User Agent z natywnego na Googlebot 2.1 (btw: np. w dodatku User Agent Switcher) i na tej www zmiana dobrze skutkuje:

http://wyborcza.pl/7,75517,24240588,mediany-krzysztofa-siwczyka-wiersze-jak-gesto-spakowane-pliki.html
- tzn. www staje sie w 100% dostepna,

a ta www nadal jest zakryta w 97%:
http://wyborcza.pl/duzyformat/7,127290,24228640,sekret-swietej-brygidy-dlaczego-kosciol-pozwalal-ksiedzu-jankowskiemu.html

Ktos ma pomysl, dlaczego tak jest?
covo
 
Posty: 1442
Z nami od: 21 maja 2003, 01:02

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: dexter » 07 grudnia 2018, 12:07

Przeglądarka: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:65.0) Gecko/20100101 Firefox/65.0

Najwyraźniej ten drugi jest za prawdziwym paywallem - tylko dla płacących.
dexter
Moderator
 
Posty: 7737
Z nami od: 02 października 2004, 21:30

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: krystian3w » 07 grudnia 2018, 12:36

Przeglądarka: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 OPR/57.0.3098.76

Dokładnie. Widać po dwóch latach przeszli na "SSAI" - Server Side Article Inject.

Dodatkowo trzeba było chyba ukrywać historię, co było poprzednio otwarte (np. RefControl):

https://www.download.net.pl/jak-obejsc-limit-bezplatnych-artykulow-na-stronach-z-newsami/n/8161/ (26.02.2016)
krystian3w
 
Posty: 840
Z nami od: 01 grudnia 2017, 15:27

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: covo » 07 grudnia 2018, 15:55

Przeglądarka: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

dolozylem podpowiedziany dodatek referer_control-1.31-an+fx, wg. podlinkowanej porady skonfigurowalem go:
https://i.imgur.com/aeo7mn9.png
do tego tradycyjnie UA = googlebot (mam to w user agent switcher, dokladnie tak, jak w podlinkowanej poradzie)
- i nadal jeden z art. jest zakryty w swoich 97%.

1.
jakies dalsze pomysly...? :) moze ktos z ciekawosci sprawdzi cala sprawe u siebie...

2.
ciekawe, ze jeden z art. odkrywa sie tylko przy zmianie UA, a drugi nawet z refcontrol jest zakryty (a to w koncu ten sam portal wyborcza.pl
covo
 
Posty: 1442
Z nami od: 21 maja 2003, 01:02

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: covo » 07 grudnia 2018, 15:59

Przeglądarka: Mozilla/5.0 (Windows NT 5.1; rv:52.0) Gecko/20100101 Firefox/52.9.0

dexter pisze:Najwyraźniej ten drugi jest za prawdziwym paywallem - tylko dla płacących.

a ten pierwszy - za jakim?
covo
 
Posty: 1442
Z nami od: 21 maja 2003, 01:02

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: dexter » 07 grudnia 2018, 16:19

Przeglądarka: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:65.0) Gecko/20100101 Firefox/65.0

Ten pierwszy za nieszczelnym.
dexter
Moderator
 
Posty: 7737
Z nami od: 02 października 2004, 21:30

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: covo » 07 grudnia 2018, 16:37

Przeglądarka: Mozilla/5.0 (Windows NT 5.1; rv:52.0) Gecko/20100101 Firefox/52.9.0

dexter pisze:Ten pierwszy za nieszczelnym.

"za prawdziwym paywallem - tylko dla płacących" - ale dziurawym?
w jednej korporacji maja dziury w paywoll i nie maja jednoczesnie?
covo
 
Posty: 1442
Z nami od: 21 maja 2003, 01:02

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: dexter » 07 grudnia 2018, 17:17

Przeglądarka: Mozilla/5.0 (Android 7.0; Mobile; rv:63.0) Gecko/63.0 Firefox/63.0

A co w tym dziwnego? Jedne artykuły pozwalają indeksować w całości przez google, a innych nie pozwalają.
dexter
Moderator
 
Posty: 7737
Z nami od: 02 października 2004, 21:30

Odp: User Agent = Googlebot - dlaczego dziala i nie dziala

Postautor: covo » 07 grudnia 2018, 20:00

Przeglądarka: Mozilla/5.0 (Windows NT 5.1; rv:52.0) Gecko/20100101 Firefox/52.9.0

ano chyba, ze tak. Ze to w opcjach calego sys. oplat paywall ustawia sie. Niezle musza kombinowac/wariantowac, bo jedne art. ujawnia sie przy zwyklej zmianie UA na googlebot, innym to za malo i jeszcze zadaja grzebania z refcontrol...
covo
 
Posty: 1442
Z nami od: 21 maja 2003, 01:02


Wróć do Rozszerzenia dla Firefoksa

Kto jest online

Zarejestrowani użytkownicy: dexter

Przejdź do powiązanej strony

Nawigacja:

Stopka: