Mittags war der Schornsteinfeger da. Ich hatte schlecht geschlafen und hing den ganzen Tag durch. Erst mal kehrte ich wieder Laub und Nadeln von der Bordsteinkante. Zum Joggen raffte ich mich auch noch auf.
Es gab gute Deals wieder für Laptops, dank Cashbacks. Apple lässt die M2 Produktion pausieren, der PC Markt bietet gute Preise. Ein schnellerer Rechner macht meine Arbeit aber auch nicht. Ich lud mir wenigstens mal einige Untertitel von YouTube Spaziervideos herunter. Um die 12s pro Zeile, um die 150 pro Video. Eine ganze Menge Arbeit ist das.
Spaghetti zum Abendessen. Wenig Motivation. Erst mal muss ich wenigstens die Thumbnails machen.
Die Sprachmodelle bei der AI lassen mich immer noch nicht los. Ein neues Whisper GUI geckte ich, nur geht das mit 25% realtime viel zu langsam.
Heute kam als weiteres südamerikanisches Kameltier das Vicuna Modell heraus. Nach dem Alpaca das niedlichste Tier und wohl auch sehr starkes Modell. Vorher hatte ich das GPT4All auch noch gecheckt. Ein paar Stunden später hatte es einer schon Vicuna auf Huggingface auf 4bit und ggml konvertiert. Normal wären Deltas und Konvertierung auch nur mit 60GB RAM gegangen, gerade an meiner Grenze. Die Downloads und Konvertierungen konnte ich mir so sparen.
So langsam muss ich genug davon haben, die Entwicklung geht eben nur super interessant super schnell voran. Jetzt mit 3 13b Modellen scheint alles erst mal genug. Das Vicuna Model ist dabei bisher am beeindruckendsten von den 13b Parameter Versionen. Das kann nutzen, wobei Chat GPT natürlich immer noch das Maß der Dinge bleibt – aber eben nicht lokal.
Die einzigen produktiven Tätigkeiten waren dieses Jahr bisher nur Spaziervideos. Für neue sind die Flugpreise zu hoch. Jetzt mit Öl-Drosselungen wird’s dieses Jahr wohl auch nicht besser. Man kann den Info aus den LLMs nicht so richtig trauen. Manchmal googel ich die Sachen nach und bin überrascht, was da alles doch stimmt – bei nur 7.6 GB Modell-Größe. Irre, wenn man drüber nachdenkt.
0 Responses to “Kehren und Kälte”