Back to Question Center
0

Web Screen Scraping: korisni saveti iz Semalt

1 answers:

Danas mogu postati vaši najvažniji objekti. Kao takva, nikada nije dobra ideja da se pusti da se udari u ruke vaših konkurenata. Međutim, ponekad može biti izazov za to da se to spreči zbog struganja ekrana. Ovo je tehnika koja se godinama koristi za izvlačenje podataka sa web stranica.

Ova metoda predstavlja dva značajna problema za firmu. Pre svega, podaci se mogu iskoristiti da bi se stekli prednost nad nekim poslom, možda i podcrtavanjem cijena, kao i dobivanjem informacija o proizvodima. Takođe, ako se radi uporno, tehnika može takođe smanjiti performanse web stranice.

Općenito, skriniranje ekrana je koncept koji je stvoren ranim terminalnim programima emulacije prije par decenija. To je programska tehnika koja ekstrahuje informacije sa ekrana koje su dizajnirane prvenstveno za gledanje od strane ljudi. Program se pretvara da je čovek i čita podatke, prikupljaju vrijedne informacije i obrađuju ih za skladištenje.

Tehnika se značajno razvila tokom godina, naročito sa pronalaskom web pretraživača..Ona se još više razvijala razvojem e-maloprodajnog ekrana, na primer, veb lokacija za poređenje cena. Ove web lokacije koriste programe koji povremeno posjećuju popularnu elektronsku trgovinu kako bi dobili najnovije cijene, kao i informacije o dostupnosti za određeni proizvod ili uslugu. Ovi podaci se zatim čuvaju u bazi podataka i koriste se za pružanje komparativnih pregleda e-trgovine.

Konkurentno skraćivanje ekrana ima razne negativne uticaje na IT sisteme firme u tome što je to samo još jedan primer neželjenog saobraćaja. Nedavne studije pokazale su da se najmanje 61% celokupnog saobraćaja generiše od strane bota. Ovi boji troše vitalne resurse, kao i propusnost namenjenu istinskim web korisnicima što može dovesti do povećanja stope latencije za stvarne kupce.

Screen scraping se odvija dugo vremena. Međutim, sve do nedavno, žrtve ovog ponašanja počinju da reaguju. Neki su tražili nepoštenu poslovnu praksu i kršenje autorskih prava, dok su suprotne firme koje se bore za branje branile time što su tražile slobodu informacija.

Mnogi vlasnici veb stranica su se bavili pisanjem pravila korišćenja na svojim veb stranicama koje zabranjuju agresivnu struganje. Nažalost, oni ne mogu primeniti ove smernice, tako da izgleda da problem uskoro neće nestati.

Pre više godina, eBay je predstavio API koji omogućava dobrim stručnjacima pristup vašim podacima. Međutim, to ne sprečava zlonamerno prikupljanje informacija koje se koriste za konkurentsku prednost. Jedina prava odbrana može se dobiti korišćenjem tehnologije koja može blokirati ne-ljudske posjetitelje na vašoj web stranici. Ovo omogućava pravim korisnicima da pristupe vašoj web stranici dok blokiraju gusare da uzrokuju štetu.

Drugi efektivni načini na koje se može boriti sa ekranom je korišćenje tehnike kao što su inteligencija IP reputacije, otkrivanje kvarova IP-a, analiza ponašanja zahtjeva i odgovora, procjena nivoa opasnosti u realnom vremenu i geo-lokacija izvršenje.

December 7, 2017
Web Screen Scraping: korisni saveti iz Semalt
Reply