Domain grabbing

Ich zahlte €100 auf inwx per Paypal ein, wollte heute die Doamin Themestars registrieren, was ich schon seit Tagen vor hatte. Nicht mehr verfügbar – am 4.8. registriert über Godaddy! Ist das nun dummer Zufall oder macht inwx heimlich auf Godaddy entsprechende Registrierungen oder wasauchimmer?

Das ist schon das zweite Mal, dass eine recht nette freie Domain innerhalb von Tagen weggeschnappt wird. Ich werde schon was anderes finden aber solche „Zufälle“ sind schon komisch. Weiter in der Arbeit wollte ich erst mal den Server aufräumen und registrierte mal „themestarz.com“ für €12,87 bei inwx. Bei http.net ist es mit $8,90 + 19% Mwst. vielleicht billiger aber deren Interface ist anders und komischer.

Wieauchimmer, themestarz.net gehört einem Theme-Entwickler mit ca. 7000 Besuchern am Tag, ich habe nun die .com. Vielleicht komme ich da huckepack auf ein paar Besucher, denn meine bisherige Technik kann eine Theme-Feed Site ermöglichen. Alles, bis auf die Affiliate Links und Cloaking geht jetzt bei mir. Ich sollte also nach gamesnap erst mal eine Theme-Feed-Site bauen, weil die auch ganz nette Provisionen zahlen. Kleinerer Markt aber mal sehen.

Zurück erst mal zu Gamesnap. Der Plan ist: scraping auf meinem kleinen Atom Server mit 500GB HDD auch für die Images. Sollte später alles zu S3. Dann die Blogs online per Hosting auf Digital Ocean VPS. Sobald da mal genügend Besucher drauf sind, dass sich ein dedizierter Server lohnt, Umzug auf Hardware – kimsufi oder irgendwas anderes von OVH. Die haben gute Preise, nur muss man sich dann um Backups usw. selber kümmern.

Erst mal wieder etwas am ImageCaching. Mydealz verlinkt die bilder nicht auf /high-res/ – sollte ich nachholen. Ich sollte später die ganzen Bilder nicht runterladen sondern nur die Header testen. Ich nahm auch PHP als erweiterung hizu, weil es dealbunny links nicht grabbte. Dann etwas RegEx… Mit (?:\bGefunden von\b\s)(\w+) Schnappe ich mir die Starts von vielen MyDealz Posts, die ich löschen könnte.

Jetzt ging’s jedoch mal an die Wurst und Aufbau der Kategorie und Tagging-Liste für gamesnap. Ich will die Site launchen und entsprechend alles automatisch sortieren.

ich machte eine coldsweat-gamesnap Dir – virtualenv .venv > pip freeze im alten > copy des requierements.txt > pip install -r requierements.txt im neuen Folder, womit das Ding erst mal wieder gleich war.

Danach:

python sweat.py setup
python sweat.py import -f gamesnap-feeds.opml
python sweat.py serve


Aus irgendeinem Grund wurden meine Plugins ignoriert. Im Log sah ich:
„(No module named BeautifulSoup)“
„(No module named wordpress_xmlrpc)“

Ich hatte vergessen, das requirements file neu zu generieren:
pip freeze > requirements-new.txt
und dann alles nochmal per

pip install -r requirements-new.txt
rm data/coldsweat.db*


Und voila, alles klappte – meine Plugins zogen die Bilder in den Cache und die Posts landeten im WP-Blog. Für ein Deployment ist das alles nett. Ich sollte aber meine Extra-Daten in das globale Config-File schreiben, wenn ich die Sachen dann auf diverse Seiten skaliere.

Auf dem Blog gingen die gamesnap feed posts unter. Da wird doch sehr wenig gepostet, was ja dann auch gut für die erste Seite ist. Ich lud mir ein Database Reset Plugin, womit ich die Posts mal wieder zurücksetzen kann.

Alles cool, bisher bin ich noch zuefrieden, per WP zu statt über Flask das eigene System zu bauen. Das WP-Ökosystem ist derzeit unschlagbar.

Neben Theme-Verbesserungen muss ich auf dem Server mal einiges updaten. Auf dem OVH fixte ich meine Telize Installation und NGINX http://37.187.98.132/ip und http://37.187.98.132/geoip?callback=? gibt sogar die GeoIP Daten zurück. Cool, dass das jetzt mal klappte. Ein altes Projekt ipifo.co was mit Openresty Server geht – für später. Musste nur ein paar Einträge im config löschen und ein paar Timezone Dateien + telize an die richtige Stelle kopieren. Das install.sh File war da unvollständig.

Auf’m OVH Server muss ich noch das komplette Strato backup ziehen, was bisher aus irgendwelchen Gründen scheiterte. Noch 1 Monat Zeit, bis der Server dort abgeschaltet wird.

OVH soll der Scraping und Privat Server werden. Viel HDD(500GB) Speicher, wenig Speed (Atom) aber mit 2GB RAM billig für €5/Monat.

Als Theme-Aggregator ist onepagelove.com ganz nett – auch basierend auf WordPress aber eben einem custom Theme.

Viel Herumgestocher heute. Selbst du pip installation klappte nicht so fix, wie gedacht. Am Ende doch wieder per easy_install. VSFTP auf dem Debian für einfacheren Zugang. Dann noch coldsweat Install für gamesnap. Deployment mit gunicorn und nginx ist auch nur mit Anleitung zu machen. Mache ich später – heute erst mal genug. Eigentlich brauche ich den Server auch gar nicht – nur der fetcher im cronjob muss ja alles schnappen. So lasse ich das wohl auch mit gunicorn. Resultate zählen.

Ich versuchte wieder Backups vom Strato Server. Zuerst mal die Photos und alten Backups. Mit um die 8 Mbyte/sec dauert das Lange bei den vielen GByte.

Für die Bildscraper fand ich noch ShortUUID. Das sieht dann alles noch besser aus und ist auch besser für S3. Dann kurz vor 1 fertig: „sent 4870585 bytes received 26109831928 bytes 7328385.72 bytes/sec“. Schnell nochmal rsync -aW --progress root@cosmigo.de:/home/dsc/ ./ – nichts neues und damit alles OK. Feierabend.

Um 2 dann in dei Spinnerei, wie letzte Woche. Jetzt hieß die Party Del Sol Open Air und nach 2 kam’s nur €5. Zwei Cuba Libre und dumm herumstehen. Ich wei nicht warum in Chemnitz alles so mellow ist. Die Musik könnte vielleicht lauter sein aber auch so ist die Sache einfach zu ruhig. Um 4 wieder zu Hause, um 5 schlafen.

Ich bin noch relativ guter Dinge mit dem Webzeug, sollte auch Twitter dann mit in die RSS aufnehmen. Mein Flask Zeug kommt vielleicht nochmal zur Geltung, wenn ich popfeed mache, weil ich ja dann endlich alle Daten habe. Nun muss erst mal wieder Steuerzeug erledigt werden.