79
edits
→Anhang: Crawling Magic
| (7 intermediate revisions by the same user not shown) | |||
| Line 44: | Line 44: | ||
===Friend Carptet auf mobilen Geräten=== | ===Friend Carptet auf mobilen Geräten=== | ||
[[Image:Fc_mobil3.png|200px]] [[Image:Fc_mobil2.png|200px]] | |||
Auf mobilen Geräten läuft "Friend Carpet" ohne Probleme. Getestet wurde mit | Auf mobilen Geräten läuft "Friend Carpet" ohne Probleme. Getestet wurde mit | ||
| Line 54: | Line 57: | ||
===Anhang: Crawling Magic=== | ===Anhang: Crawling Magic=== | ||
Für | Für Interessierte hier einmal wie ich StudiVZ crawle. | ||
Facebook funktioniert ziemlich analog, davon findet man auch genug wenn man mal danach googelt. Bei Facebook crawle ich übrigens die Mobile-Version, weil ich kein Javascript unterstützen kann. Es gibt zwar eine Art "noscript-Flag" als GET-Request, nur | Facebook funktioniert ziemlich analog, davon findet man auch genug wenn man mal danach googelt. Bei Facebook crawle ich übrigens die Mobile-Version, weil ich kein Javascript unterstützen kann. Es gibt zwar eine Art "noscript-Flag" als GET-Request, nur der funktioniert nicht mehr allzu gut. | ||
Außerdem ist die | Außerdem ist die mobile Seite wesentlich schneller abzufragen. | ||
| Line 112: | Line 115: | ||
$xpath = new DOMXPath($dom); | $xpath = new DOMXPath($dom); | ||
$imgs = $xpath->query("/html/body//img"); | $imgs = $xpath->query("/html/body//img"); | ||
//create img tags | //create img tags | ||
for ($i = 0; $i < $imgs->length; $i++) { | for ($i = 0; $i < $imgs->length; $i++) { | ||
| Line 153: | Line 154: | ||
} | } | ||
</source> | </source> | ||
Das Ausloggen am Ende ist sehr wichtig, andernfalls kann es dazu führen dass bei schnellen wiederholten Anfragen StudiVZ einem Captchas wesentlich schneller aufzwingt und man dadurch nicht richtig angemeldet wird. | |||