Für’s Scraping beschäftigte ich mal eine Weile mit dem neuen headless Chrome. Seit Version 59 geht das nun auch ohne GUI. Es gibt jedoch immer wieder Fehlermeldngen, die ich mit ein paar chmods dann zurecht bog.
alias chrome-canary="/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary"
Dann einfach per Kommandozeile:
chrome-canary --headless --disable-gpu --window-size=1920,1080 --hide-scrollbars --disable-extensions-except="disable-HTML" --user-data-dir="/Users/dsc/Library/Application\ Support/Google/Chrome\ Canary/Default" --fast-start --screenshot http://welt.weit.org
Leider geht das alles nicht ganz. Die User-Daten werden nicht geladen, was für Cookies und Einstellungen wie z.B. Abschalten vom Bilderlladen notwendig ist. Somit noch nicht brauchbar – auch bekannte Bugs.
Das ganze Zeug ist noch zu sehr „bleeding edge“ aber eben die Zukunft, wenn die Bugs mal gefixt sind und der Python Wrapper alles unterstützt. Man spart ein paar Sekundenbruchteile pro Aufruf, was sich summiert. Bisher muss man doch wieder über Selenium ran. Seit Firefox den treiber geändert hat, machte ich noch nichts wieder damit.
Ich fand auch noch eine Python Version von JSON Path. Für PHP ist die Sache bekannt, um mit APIs einfacher zu arbeiten, nützt mir das dann vielleicht auch. https://github.com/jabbalaci/JSON-path
0 Responses to “Headless Chrome”