In einem Werbevideo von Petapixel zeigte einer die AI-Reframe Funktion der Insta360 Studio Software. Das Programm ist nur für Besitzer der Cams vorgesehen.
Ich fand Test-Footage und checkte die Sache. Selbst bei den 46s Clips dauerte das Reframing mehrere Minuten. Die Clips dann waren aber nur als Video exportierbar – keine Daten und Timeline also. Eventuell geht’s über das Premiere Plugin, schien unwahrscheinlich.
Es wäre schön gewesen, wenn ich aus meinen Multicam Clips eine Art 360° Video erzeugen könnte und die Edits automatisch per AI übernehme. Ist aber noch nicht so weit. Viel zu buggy. Die Insta360 Cams haben zwar 6K Auflösung aber dann nur 30fps. Ob die neue Ace Pro Actioncam von denen unterstützt wird, weiß man nicht. Somit keine interessante technische Entwicklung, die mir die Arbeit erleichtert.
So schaute ich mir nochmal das ScanDMM Projekt an. Lt. https://www.youtube.com/watch?v=noXCcFvXY2k sollte das alles nützlich sein. Also ließ ich über ChatGPT ein Script für FFMPEG und einen heftigen videofilter bauen. Dre machte die 4 Videos nebeneinander und dann noch gespiegelt und geblurt übereinander. Damit dachte ich, dass der Algo damit gut zurecht käme. Ich würde dann aus den Aufmerksamkeitspunkten sehen, auf welche Cam man umschalten sollte. Pro Sekunde dann 1000 Paths generieren und dann die richtige Cam mt den meisten Blicken wählen.
Die Installation des auf Python3.7 gefixten Projekts schlug fehl. Ich versuchte das noch in Colab, dann noch lokal für schnellere Fixes als über sed. Einige der Libs hatten keine Wheels und die Compiles machten auch Probleme unter Python3.9, was ich da hatte. Ich liege schon mit 3.11 gepinnt eine Version zurück, weil es eben nicht für alle Libs kompatible Versionen gibt. Python 3.7 ist Ewigkeiten her. Da kann man viel Zeit vergeuden, was heute auch passierte. Eine wahrscheinliche Blickrichtung zu ermitteln, daraus dann die Videoschnitte mit einem Rhythmus zu generieren – das wär’s.
Ich suchte und fand weitere Projekte aber die reqs waren teilweise irre: Python2 und Matlab, dazu noch Lasagne, Theano?! Whatever!
Ein Teil zur fast fixation prediction war auch neu aber komplett ohne Erklärung – nur’n Code dump. Da waren die Modelnamen zum runterladen als Screenshot drin?! Soweit ist’s schon aber ich fand die Dateien in irgendwelchen Keras Repos. Keine requirements, nix und somit auch sinnlos.
Alles in allem vergeudete Zeit und Bandbreite. Das erfundene Problem, die Blickrichtung vorherzusagen, bringt seit einigen Jahren tatsächlich Paper hervor. Das Stichwort „Visual Saliency“ ist für meine Zwecke das Schlüsselwort. Getuned auf 360° oder Multiview. SalGAN wird oft zitiert, unisal schint installierbar aber am Ende muss man auch sehen, was das soll. Das ScanDMM wäre wohl am besten. Eine Gruppe mit Tools in der Richtung sitzt interessanterweise in Lodz. Industrieller Videoschnitt kommt bald mit diesen Tools. Bis dahin sollte ich bissel künstlerisch tätig sein und die Entscheidungen selbst treffen.
Somit geht’s nun doch an den manuellen Schnitt. Interessantes Herumstöbern im Netz heute. Keine Resulate, wie so oft. Die Optionen und Ausreden sind aufgebraucht.
Am Ende sah ich, dass der alte RSS reader coldwsweat jetzt mit Flask neu entwickelt wurde. Auch schaute ich „For all mankind“, die nett anfing. Gar nicht müde.
0 Responses to “Insta360 Software Test”