Boto Frankfurt Probleme und Lösung

Frühstück knapp verpasst aber ich hatte noch diverse Kanapki. Essen und quatschen mit ’nem Portugiesen. Mir ging’s ganz gut, setzte mich dann an die Arbeit und versuchte, den image cache endlich fertig zu bekommen. zu viele Bilder werden mit 0 Bytes gespeichert.

Ich addierte einen User-Agent in den Header, was etwas brachte. Die Sites sind eben etwas gegen scraping geschützt. Mit meiner einzigen IP wird das noch andere Probleme geben.

Es regnete, nur ein einfaches Mittagessen somit und dann weiter auf der Veranda. Per boto wollte ich die Sachen nun auf S3 speichern. Das System ist ganz coo – Downlad des Bilds in den Speicher als String, dann Übernahme für Pillow zur herunterskalierung, dann dieses Objekt auf S3 uploaden.

Natürlich wollte Frankfurt als Region nehmen doch da gab’s Probleme. Zuerst mal mit Punkten im Bucketnamen. Das konnte man hiermit umgehen:
import ssl
try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
# Legacy Python that doesn't verify HTTPS certificates by default
pass
else:
# Handle target environment that doesn't support HTTPS verification
ssl._create_default_https_context = _create_unverified_https_context

Irgendwelche Zertifikate und alles – viele schrieben über die Probleme und kamen nicht weiter. Ich baute einige Work-Arounds und Monkey-Patches ein, kam immer weiter ab gab am Ende doch auf. In der Irland-Region geht das alles – ohne verifizierung des Buckets geht’s auch schneller.

So habe ich mit ’nem simplen Image Upload doch wieder den ganzen Tag gebraucht. Eingebaut ist die Sache noch nicht aber ich will halt Frankfurt, sollte das neue Boto3 ausprobieren. Deduplication wäre eigentlich dran aber die Bilder-Scraping Maschine läuft irgendwie nicht so gut, wie sie sollte. Mit Angabe des host=’s3.eu-central-1.amazonaws.com ging#s dann aber in der Connection. Mein lieber Mann…

Jetzt habe ich halt doch irgendwas auch in Frankfurt, was ohne die ganzen Verschlüsselungen auch schnell geht.