Ollama auf dem Mac bringt ganz nutzbare Geschwindigkeit. Ich versuchte damit einen Artikel zusammenzufassen und bekam mit dem 4b oder 8b Model brauchbare Ergebnisse.
Da dachte ich, auf dem NUC wäre das irgendwie auch möglich – 16GB un dso. Weit gefehlt. Die Installation vom Google eigenen Gemma.cpp bekam ich einfach nicht hin. Das native Google Inference Tool sollte die beste Geschwindigkeit bringen, aber es nützte mir nicht, wenn ich es nicht kompiliert bekomme.
Die VS Devtools wurden nicht gefunden, egal was ich auch an cmake änderte. Am Ende installiert eich das neueste Llama.cpp einfach per winget auf dem HP und sah, dass der Speed selbst auf dem 1135-G7 zu niedrig ist. Mit 4tk/s leider unbrauchbar. Ich brauchte einige Stunden bis zu dieser Erkenntnis, wieder mal. Man muss dann eben die €1-3 für Mtok abdrücken und hoffen, dass sich das lohnt. Mac mit Ollama lokal gänge auch noch.
Später Einkauf bei Netto. Sushi und dann noch Pizza zum Abendessen.
Ansonsten installierte ich die STT handy.computer auf dem Mac, nehm das €1,70 Ali USB Mic, damit die Spracheingabe endlich dort auch geht.
Viele kleine Verbesserungen mit Elixir aber das Projekt ist inzwischen schon zu groß für schnelle One-Shot-Prompts.
Eine wichtige Erkenntnis lieferte aber Gemini. In der DaVinci Resolve verwies es mich auf die Mount-Punkte von Directories. Man braucht also gar kein Pfad-Umschreibeskript, sondern mountet die Pfade einfach zwischen den zwei Dateisystemen. Dann kann ich endlich Projekte zwischen Mac und Windows ohne Zwischenschritte wechseln.
In der Nacht schnitt ich wenigstens noch das Warschau-Intro und lud dann das ganze Video hoch. Mit ein paar Tagen Verspätung dann morgen noch die Untertitel. Ich bin halt in Rückstand, was Videos angeht. Es gibt interessantere Sachen und Zeitverschwendung.
0 Responses to “Llama statt Gemma”