Cron Scripting, Selenium Firefox mit QuickJava

Eine Stunde früher wach, ansonsten alles wie sonst. Ich habe nun auch ein Script, was die Screens wieder killt. Somit geht das Ding mit dem AdHoc coldsweat dispatch. Ein Webinterface zum Ausführen der Scripts wäre cool – mache ich vielleicht als CGI Version dann mal später.

Ich ging einkaufen – wieder viel Gazpacho und Chorizo.

Im Zimmer dann weiter. Ich nahm ein Script, was ich leicht änderte, damit ich meine Fetches alle 9′ im Virtualenv durchführen kann. Nebenbei importierte ich ein paar weitere Feeds – jetzt gleich auf dem Server. In der Hinsicht lohnte sich also die Arbeit der letzten Tage etwas.

Weiterhin fand ich endlich eine Lösung, statt Ruby doch Python für Selenium zu nutzen. Nichts also weiter mit Watir. Man kann da eine Extension laden, die wirklich die Bilder ausschaltet. Ich komme so in unter 6 Sekunden durch die Redirects zur Endlink, die dann per RegEx bearbeitet werden soll. Eine gute Verbesserung gegenüber der Ruby Watir Lösung. Jetzt muss ich nur die ganzen Elemente umschreiben und dann die Links umleiten. Eigentlich wäre noch das Redirect auf der eigenen Seite drin aber soweit geht’s doch noch nicht.

Nachts um 2 ging ich doch nochmal aus. Viele Leute kamen mir entgegen, offensichtlich auf dem Heimweg. Ein Paar stand am Polizeiauto und ein anderes fragte, ob sie auch „abgezogen“ wurden. Oh je, darauf hatte ich keine Lust und das Handy + €100 sind auch wichtig. Ich ging den Mega Park und die Party da war dusselig. Gute Liveband, den Umständen entsprechend, aber eben das deutsche Urlaubspublikum ist halt etwas anders.

Schon 3 wieder raus – ein Bier €4 und damit ein günstiger Abend. Ich überlege mir, nach Palma zu fahren. Diese Woche mit der leichten Erkältung wohl nicht aber ich gucke mal, was noch die Tage geht. Erst mal muss ich das Linkzeug beenden und da kam ich heute schon einen guten Schritt vorwärts. Ich schaffte es dann noch von Hand das XPI auf Debian zu laden und dann dort zu laden.

#QuickJava Extension for switching off everything
folder_xpi_file_saved_in = '/root/.mozilla/extensions/'
firefox_profile.add_extension(folder_xpi_file_saved_in + "quickjava-2.0.6-fx.xpi")

Auf dem Atom dauert die Prozedur mit dem Start und Redirect-Folgen dann 13 sec – also mehr als das Doppelte als auf meinem Mac. Dennoch verkraftbar, denke ich mal. Ist halt eine 2GB langsame Maschine, die aber zum Scraping reichen sollte.

Morgen sollte ich die Spieleschnäppchen Links herausfiltern und dann alle folgen + umschreiben. Wenn ich dann noch Dedupe hinbekomme, kann die erste Site endlich online gehen, damit ich mich mein den Affiliate Netzwerken anmelden kann. Am Anfang sollte eine Amazon RegEx reichen.