Eine Problemsite war gameplorer.de. Ich fand schließlich, dass sie immer GZIP schickt und implementierte eine Lösung, die den Fall behandelt. Daneben nutzte sie auch ein Lazyload JS, was das normale Image scraping per img src verhinderte. Das Problem konnte auchper regex gelöst werden.
Fortfahren ‚GZIP & Lazyload Scraping, Oberbayern‘ zu lesen