Über die Nacht hatte der HP die 2 x 20+ GB Modelle heruntergeladen. Hätte nur eins, das Neue, gebraucht. Abends dann spielte ich mit dem neuen Version für mmap herum. Der Start ging jetzt etwas fixer, doch bei 30b Params sinkt bei meiner i5-1135G7 CPU dann die Tokenausgabe auf ja eins nur alle 2-3 Sekunden.
RAM ist bei ca. 37GB Nutzung unter Windows mit Browsern offen. Die Freigabe geht aber nicht ganz so stabil.
Immerhin geht das Teil und schreibt wirklich korrekte Texte mit nützlichen Infos. Leider eben zu langsam für eine Nutzung, sodass die ChatGPT API doch eher nützlich bleibt, weil eben auch recht preiswert. Ich bin immerhin froh über die 64GB RAM, weil das 30b Modell ohne Swapping läuft. Dennoch: eine phänomenale Technik, die man sich jetzt auf dem Computer installieren kann. Die Geschwindigkeit ist wie 1-Finger-Suchsystem und kann dank dem RM eben auch im Hintergrund laufen. Wird eben in Zukunft alles besser, schneller und mit Sprach Ein- und Ausgabe.
Nicht besser wurde es in Nepal. Jetzt darf man nur noch mit lokalen Führern im Himalaya wandern gehen. Bei populären Routen wie dem Annapurna Circuit wäre das echt lahm, nicht mehr frei herumzuspazieren. Ich hatte schon nochmal eine Tour vor – vielleicht auch die Mustang Gegend, wenn es Visa gäbe aber das erübrigt sich damit. Bleibt noch der Jakobsweg als Nahziel.
Pizza zum Abendessen, dann fragte einer bei reddit nach meinem Setup, weil ich soft Tips zum Osmo Pocket gebe. Rig aufgebaut und abgeknipst.
Dann noch die AVX512 compiles von llama.cpp gecheckt. Der HP drosselt nach kurzer Zeit auf 14-15W und wird nicht schneller. Nur AVX2 könnte reichen, weil eventuell weniger Power-limitiert. Coretemp zeigt dass der Kern #3 immer etwas heiß wird. Vielleicht mal ein Repaste? Jetzt aber ist erst mal wieder Produktion nach 2-3 Tagen Spielerei angesagt. Das 30b Model ist aber echt besser als das 13b. Nur eben zu langsam auf dem Laptop hier… Langsam war ja auch schon Stable Diffusion it 3-4 Minuten pro Bild statt Sekunden – auf einer aktuellen Nvidia GPU. Kann man alles auch mieten.
Wieder etwas Mandalorian geguckt. Im Morgengrauen checkte ich noch das 7b und wieder das 13b Modell. Das 7b ist recht fix, voll brauchbar aber bricht schnell ab, wenn es keine Infos hat. Das 13b ist besser und wohl der beste Kompromiss für den Laptop. Per just taskrunner kann ich schnell switchen.
Das Whisper Modell zur Spracherkennung und eine Windows app lud ich mir auch noch runter. Ein guter Überblick über AI Nutzung ohne GPU.
0 Responses to “Alpaca 30b”