Strand gut, Wasser super. Alles OK. Lange schon wollte ich etwas mit Wikitravel bauen. Ich fand den Wikiextractor, der aus Mediawiki Exports Texte extrahieren kann.
Einige Sachen bekommt er jedoch nicht ganz so gut hin. Mit Pandoc versuchte ich die Sache auch, doch das Ganze ging zu langsam und stieg auch mit einer neuen Version bei Tabellen schnell aus. Haskell kenne ich nun gar nicht und will da auch nicht herumstochern.
Fehler und Ausstieg von Pandoc bei „Daytona“ (vorige Version schon früher):
unexpected "\”"
expecting "|", lf new-line, "!" or "<"
{| class="wikitable" "text-align:center;font-size:90%;”|
Ich nahm also einen Fork von Wikiextractor (in Python), der mal alle Dateien einzelns speichert und programmierte einige Erweiterungen und Fixes (file suffix, http/https escapes etc.). Templates sind cool und gehen teilweise. Nur muss ich aber die ganze Sache aufräumen. Wichtig wären Subdirectories für Stadtteile, was Pandoc gut erledigt aber hier nicht ging. Tabellen werden auch falsch dargestellt. Die ganze Sache ist eben nicht so einfach in HTML übertragbar. Die Breadcrumps kann man wegen der Recursion gleich ganz vergessen.
Es wurde viel herumprobiert. Am Ende sind die Texte für mobile Infos zu lang. Summerization Tools checkte ich auch. “LexRank outperforms Gensim’s TextRank by a narrow margin but we’ve also observed cases where TextRank gives higher quality of summaries“. Naja.
Der Tag war echt voller herumgeeken, was Spaß machte in meiner Koje. Kao Soi fand ich auch gleich nebenan. Schmeckte, und werde ich wohl noch öfters essen.
0 Responses to “Wikiextractor”