Reflektierte algorithmische Textanalyse

Buchcover "Reflektierte Algorithmischen Textanalyse" Im Juli erscheint der open-access-Sammelband „Reflektierte algorithmische Textanalyse“, der mit einer Reihe von Aufsätzen Einblick in die interdisziplinären Arbeiten des Center for Reflected Text Analytics (CRETA) gibt. Die in CRETA entstandenen und hier veröffentlichen Arbeiten reichen von theoretischen Auseinandersetzungen mit allgemeinen komputationellen Arbeitspraktiken über die Entwicklung textanalytischer algorithmischer Methoden hin zu Anwendungen auf geisteswissenschaftliche Untersuchungsgegenstände. Dabei legen sie ein besonderes Augenmerk auf die Nachvollziehbarkeit der Methoden und ihren reflektierten Einsatz auf die Analysegegenstände. Die Beiträge zeugen von den ertragreichen Synergieeffekten, die aus der interdisziplinären Ausrichtung des Projekts hervorgehen und nicht nur zu innovativen Arbeitspraktiken und Methoden führen, sondern auch in die jeweiligen beteiligten Disziplinen zurückwirken.
Insgesamt bietet der Sammelband eine theorie- wie praxisbezogene Einführung in die reflektierte algorithmische Textanalyse und kann damit anderen DH-Projekten mit ähnlicher Zielsetzung als Orientierung dienen.

Update vom 28.07.: Jetzt ist es verfügbar

Nils Reiter, Axel Pichler, Jonas Kuhn (Hrsg.): Reflektierte Algorithmische Textanalyse. Interdisziplinäre(s) Arbeiten in der CRETA-Werkstatt. De Gruyter. Erscheinungsdatum: 20.07.2020. URL https://www.degruyter.com/view/title/575959

Maschinelles Lernen als Interpretationsgrundlage!? – Ein Erfahrungsbericht zur DHd 2020

ursprünglich erschienen auf dem DHd-Blog.

Vom 03. bis 06. März 2020 habe ich an der DHd 2020 in Paderborn teilgenommen. Im Folgenden möchte ich einen thematischen Schwerpunkt näher beleuchten, der mich als Teilnehmer besonders interessiert hat.

Das Thema, an dem ich auch persönlich forsche und das ich daher auf der diesjährigen DHd besonders gesucht und verfolgt habe, ist die Frage, wie und inwieweit Maschinelles Lernen (ML) genutzt werden kann, um geisteswissenschaftliche (und insbesondere literaturwissenschaftliche) Fragestellungen zu beantworten (oder zumindest neue Einsichten zu erzeugen).

Maschinelles Lernen bezeichnet eine Methode, bei der mittels statistischer Algorithmen und Daten Modelle erzeugt werden, die aus den gesehenen Daten (statistische) Verallgemeinerungen ziehen und somit auf neue und vorher ungesehene Daten angewendet werden können. Die Fülle an vorhandenen Algorithmen und Verfahren ist groß; eine ML-Familie ist unter dem Namen “Deep Learning” bekannt geworden und bedient sich vor allem Künstlicher Neuronaler Netze. Diese Netze waren, auch unter Verwendung von immer stärker werdenden Rechnerresourcen, in bestimmten Gebieten wie Automatische Bilderkennung oder Automatische Spracherkennung, so erfolgreich, dass sie bald zugleich für andere Gebiete im großen Stil eingesetzt wurden; darunter für Textverarbeitung.

Maschinelles Lernen und Deep Learning (DL) nehmen in den DH eine interessante Rolle ein, da sie für einige Bereiche sehr gewinnbringend eingesetzt werden können (siehe OCR etc.) und für andere Bereiche auf eher größere Hürden stoßen. Einer dieser Bereiche, die Nutzbarmachung von ML für die Interpretation von literaturwissenschaftlichen Fragestellungen, fand sich auch auf der diesjährigen DHd. Ein kurzer Blick zurück: Die DHd 2019 in Mainz/Frankfurt am Main beherbergte ein Panel mit dem Titel “Deep Learning als Herausforderung für die digitale Literaturwissenschaft”. Auf der diesjährigen DHd konnte ein Panel mit dem Titel “Maschinelles Lernen in den Geisteswissenschaften” besucht werden (Donnerstag, 05.03.2020, 9:00-10:30, Tobias Hodel, Nasrin Saef, Christof Schöch, Ulrike Henny-Krahmer). Das Auftreten dieser Themen in aufeinanderfolgenden Jahren legt den Schluss nahe, dass das Thema Maschinelles Lernen in den deutschsprachigen Digital Humanities immer mehr an Fahrt aufnimmt.

Das diesjährige Panel bestand aus verschiedenen Aspekten, die, neben einem allgemeinen Einblick dazu, was ML eigentlich ist, zusammengefasst werden können mit: 1. Vorhandene Verwendung von ML in den DH, 2. Nutzen von ML und 3. epistemologische Herausforderungen bei der Anwendung von ML. Insbesondere wurde dafür plädiert, sich zu trauen, Maschinelles Lernen produktiv in die eigene Forschung einzubauen.

Zu der Frage danach, was ML epistemologisch bedeutet, passt die Einführung einer Arbeitsgruppe auf der diesjährigen DHd mit dem Ziel, Theorien in den DH zu beleuchten und der Frage nachzugehen, welche Theoriebegriffe die DH überhaupt bereitstellen (Link zum Blog der AG). Auch der Einsatz von ML in den DH kann meiner Ansicht nach von solchen Bestrebungen profitieren, da klarer wird, was für Erkenntnisgewinne durch die Anwendung von ML überhaupt grundsätzlich möglich sind.

Ein weiterer wichtiger Aspekt, der durch Wortmeldung aus dem Publikum eingebracht wurde, war die Frage danach, inwieweit die DH dazu beitragen können, Biases, also Verzerrungen, im Maschinellen Lernen und insbesondere in Word Embeddings, also numerischen Darstellungen von Wörtern, zu untersuchen. Das Thema “Bias in ML und DL” ist ein großes Thema, das momentan von vielen verschiedenen Forschungsfeldern bespielt wird. Es scheint mir offensichtlich, dass die DH mit ihrem inbegriffenen geisteswissenschaftlichen Bezug hier wichtige Beiträge leisten können. Der andere Aspekt, der eher inwendig gerichtet ist und für den ich hier gerne werben möchte, ist der bereits angesprochene Aspekt der Nutzbarmachung von ML-Methoden, um Erkenntnisse zu geisteswissenschaftlichen Fragestellungen zu gewinnen.

Ein wichtiger Teil davon ist die Frage nach der Operationalisierung von literaturwissenschaftlichen Phänomenen, d.h. komplexe Phänomene in Teilphänomene herunterzubrechen um sie z.B. mit Computerprogrammen modellieren und untersuchen zu können. Hierzu gab es verschiedene Workshops, an denen ich teilweise mitgewirkt habe: Zum einen ein “Hackatorial”, das der Frage nachging, wie die Ergebnisse Maschinellen Lernens genutzt werden können, um neue Fragestellungen zu entwickeln und neue Einsichten zu gewinnen, z.B. über gezielte Fehleranalyse und Auswahl von geeigneten Features. Hierbei lag der Fokus auf dem Erkennen von Personen-, Organisations- und Ortsreferenzen (Workshop “Maschinelles Lernen lernen: Ein CRETA-Hackatorial zur reflektierten automatischen Textanalyse”, Dienstag, 03.03.2020, 9:00-12:30, Gerhard Kremer, Kerstin Jung). Ein weiterer Workshop behandelte die gezielte Operationalisierung von komplexen literaturwissenschaftlichen Phänomenen. Hierbei wurden Texte annotiert, was zugleich erlaubte, interessante Einzelfälle ausfindig zu machen, etwa bei der Frage von Textklassifizierung oder Erzählebenenerkennung. Maschinelles Lernen kann anschließend auf die erstellten Daten angewendet werden, um zu ermitteln, wo Modelle unvorhergesehene Entscheidungen treffen. Diese Entscheidungen können ein Auslöser dafür sein, sich die entsprechenden Textstellen genauer anzuschauen und eventuell Aspekte in den Texten zu entdecken, die sonst übersehen worden wären (Workshop “Vom Phänomen zur Analyse – ein CRETA-Workshop zur reflektierten Operationalisierung in den DH”, Dienstag, 03.03.2020, 13:30-17:00, Nora Ketschik, Benjamin Krautter, Sandra Murr, Janis Pagel, Nils Reiter).

Die finale Keynote am Freitag von Alan Liu beschäftigte sich ebenfalls ganz konkret mit dem Thema und trug den Titel “Humans in the Loop: Humanities Hermeneutics and Machine Learning”. Liu schlägt ein festgelegtes Protokoll vor, nach dem verschiedene Ebenen des Lernens von ML durchlaufen werden können und macht dies am Beispiel von Topic Modeling deutlich. Geisteswissenschaftliche Herangehensweisen und Erkenntnisse aus den speziellen Gegebenheiten des ML beeinflussen sich hier gegenseitig.

Was also bleibt nach dieser DHd an neuen Eindrücken zum Thema “ML in den DH”? Ich denke, es lässt sich auf zwei wesentliche Aspekte zusammen fassen: das Interesse an der Nutzbarmachung von ML zum besseren und neuen Verständnis der geisteswissenschaftlichen Gegenstände wächst immer weiter und gleichzeitig ist der Weg noch lang zu einer routinierten Integration von ML in die DH-Alltagspraxis.

Beiträge auf der DHd 2020

Wir freuen uns auf die kommende DHd 2020 in Paderborn, auf der die folgenden Beiträge aus Stuttgart zu hören sein werden:

Vorträge:

Marcus Willand, Benjamin Krautter, Janis Pagel, Nils Reiter:
Passive Präsenz tragischer Hauptfiguren im Drama
Mittwoch, 04.03., 14:00 Uhr (Session: V9 Dramenanalyse)

Benjamin Krautter:
Distinktive Eigenschaften im deutschsprachigen Drama
Mittwoch, 04.03., 14:30 Uhr (Session: V9 Dramenanalyse)

Nathalie Wiedmer, Janis Pagel, Nils Reiter:
Romeo, Freund des Mercutio: Semi-Automatische Extraktion von Beziehungen zwischen dramatischen Figuren

Jonas Kuhn, Axel Pichler, Nils Reiter, Gabriel Viehhauser:
Textanalyse mit kombinierten Methoden – ein konzeptioneller Rahmen für reflektierte Arbeitspraktiken
Donnerstag, 05.03., 09:00 Uhr (Session: V12: Theorien der Textanalyse)

Rostislav Tumanov, Gabriel Viehhauser, Alina Feldmann und Barbara Koller:
Spielräume modellieren. Eine digitale Edition von Giovanni Domenico Tiepolos Bildzyklus Divertimento per li Regazzi auf der Grundlage von CIDOC CRM.
Donnerstag, 05.03., 10:00 Uhr (Session: V11 Innovationen in der Digitalen Edition)

Toni Bernhart:
As a Hobby at First. Künstlerische Produktion als Modellierung
Donnerstag, 05.03., 11:30 Uhr (Session: V13: Text / Theorie in Vergangenheit und Zukunft)

Workshops:

Gerhard Kremer, Kerstin Jung:
Maschinelles Lernen lernen: Ein CRETA-Hackatorial zur reflektierten automatischen Textanalyse
Dienstag, 03.03., 09:00-12:30 Uhr

Nora Ketschik, Benjamin Krautter, Sandra Murr, Janis Pagel, Nils Reiter:
Vom Phänomen zur Analyse – ein CRETA-Workshop zur reflektierten Operationalisierung in den DH
Dienstag, 03.03., 13:30-17:00 Uhr

Poster:

Mona Ulrich, Jan Hess, Roland Kamzelak, Heinz Werner Kramski, Kerstin Jung, Jonas Kuhn, Claus-Michael Schlesinger, Gabriel Viehhauser, Björn Schembera, Thomas Bönisch, Andreas Kaminski:
Science Data Center SDC4Lit

Panel:

Julia Nantke, Manuel Burghardt, Nils Reiter, Regula Hohl Trillini, Ben Sulzbacher, Johannes Molz, Axel Pichler:
Intertextualität in literarischen Texten und darüber hinaus
Freitag, 06.03., 11 Uhr (Panel 6)

CRETA-Coaching: Reflektierte Textanalyse und Operationalisierung

Das Zentrum für Reflektierte Textanalyse (CRETA) bietet 2019 erstmals ein spezielles Coaching an, das sich an Nachwuchswissenschaftlerinnen und -wissenschaftler aus den Geistes- und Sozialwissenschaften richtet. Ziel des Coachings ist es einerseits, Grundlagen der maschinellen Textanalyse zu vermitteln, andererseits sollen konkrete Operationalisierungsmöglichkeiten für die vorliegenden Forschungsfragen gemeinsam erarbeitet werden, insbesondere im Hinblick auf die Kombination maschineller und manueller Textanalyse.
Zum Coaching gehört die Teilnahme an mehreren Veranstaltungen, die zwischen dem 9. und 17. September 2019 in Stuttgart stattfinden, sowie eine Beihilfe zu den Reisekosten.

Bewerbungen werden bis zum 15. Juni01. Juli erbeten.

Weitere Informationen finden sich auf der Webseite https://www.creta.uni-stuttgart.de/coaching/, Rückfragen können auch gerne direkt an nils.reiter@ims.uni-stuttgart.de gerichtet werden.

Update, 22.11.2019

Das CRETA-Coaching hat erfolgreich stattgefunden, zwei Berichte von Teilnehmerinnen können hier nachgelesen werden:
Svenja Guhr: Erfahrungsbericht über ein Schlaraffenland für NachwuchswissenschaftlerInnen, 30.09.19
Anna Schmidt: Das Creta-Coaching an der Universität Stuttgart, 22.11.19

Maschinelles Lernen lernen: Ein CRETA-Hackatorial zur reflektierten automatischen Textanalyse

Wir freuen uns, dass Kerstin Jung und Gerhard Kremer unser Hackatorial am 26. März auf der DHd 2019 (9:00-12:30 im Philosophicum in Mainz) vorstellen können und laden herzlich dazu ein, mitzumachen!

Kurzbeschreibung

Das Ziel dieses Tutorials ist es, den Teilnehmerinnen und Teilnehmern konkrete und praktische Einblicke in einen Standardfall automatischer Textanalyse zu geben. Am Beispiel der automatischen Erkennung von Entitätenreferenzen gehen wir auf allgemeine Annahmen, Verfahrensweisen und methodische Standards bei maschinellen Lernverfahren ein. Die Teilnehmerinnen und Teilnehmer können beim Bearbeiten von lauffähigem Programmiercode den Entscheidungsraum solcher Verfahren ausleuchten und austesten. Es werden dabei keinerlei Vorkenntnisse zu maschinellem Lernen oder Programmierkenntnisse vorausgesetzt.

Es gibt keinen Grund, den Ergebnissen von maschinellen Lernverfahren im Allgemeinen und NLP-Tools im Besonderen blind zu vertrauen. Durch die konkreten Einblicke in den „Maschinenraum“ von maschinellen Lernverfahren wird den Teilnehmenden ermöglicht, das Potenzial und die Grenzen statistischer Textanalysewerkzeuge realistischer einzuschätzen. Mittelfristig hoffen wir dadurch, den immer wieder auftretenden Frustrationen beim Einsatz automatischer Verfahren für die Textanalyse und deren teilweise wenig zufriedenstellender Ergebnis-Daten zu begegnen, aber auch die Nutzung und Interpretation der Ergebnisse von maschinellen Lernverfahren (d.h. in erster Linie von automatisch erzeugten Annotationen) zu fördern. Zu deren adäquater Nutzung, etwa in hermeneutischen Interpretationsschritten, ist der Einblick in die Funktionsweise der maschinellen Methoden unerlässlich. Insbesondere ist die Art und Herkunft der Trainingsdaten für die Qualität der maschinell produzierten Daten von Bedeutung, wie wir im Tutorial deutlich machen werden.

Neben einem Python-Programm für die automatische Annotierung von Entitätenreferenzen, mit und an dem während des Tutorials gearbeitet werden wird, stellen wir ein heterogenes, manuell annotiertes Korpus sowie die Routinen zur Evaluation und zum Vergleich von Annotationen zu Verfügung. Das Korpus enthält Entitätenreferenzen, die im „Center for Reflected Text Analytics“ (CRETA) in den letzten drei Jahren annotiert wurden, und deckt Texte verschiedener Disziplinen und Sprachstufen ab.

Downloads

Neuer Artikel zur Visualisierung von Figurennetzwerken

Der unter Tools und Demos von der Fachgruppe Visualisierung vorgestellte Ansatz zum „Visuellen Vergleich von Netzwerken“ wurde zur Präsentation auf der PacificVis-Konferenz (23.-26. April in Bangkok) angenommen.

Figurenbeziehungen in unterschiedlichen Textpassagen
Der Ansatz erlaubt die Analyse der Entwicklung, welche die Figuren eines Erzähltextes und deren Beziehungen über den Lauf einer Handlung nehmen. Hierzu können Graphen, welche die Figurenkonstellationen in mehreren, unterschiedlichen Textpassagen repräsentieren, in einer Reihe von visuellen Repräsentationsformen miteinander verglichen werden. Die Textpassagen selbst werden mit diesen Visualisierungen verschränkt und erlauben die Betrachtung der Figurennennungen in ihrem jeweiligen textuellen Umfeld. Beziehungen zwischen Figuren lassen sich auf Wunsch durch eine Zusammenfassung dieses Umfelds näher charakterisieren. Durch Interaktion mit den Visualisierungen lassen sich die Elemente von Graphen großer, mannigfach verknüpfter Figurenbestände derart filtern und fokussieren, dass die jeweils interessierenden Teilstrukturen augenfällig zu Tage treten.

Graph von Figurenbeziehungen mit fokussierter Teilstruktur
In zwei Anwendungsszenarien wurde demonstriert, wie sich mit unserem Ansatz eine Reihe typischer literaturwissenschaftlicher Analyseaufgaben angehen ließe. Textgrundlage der Szenarien bildeten ein mit automatisch extrahierten Figurenkonstellationen angereicherter Roman in modernem Englisch sowie ein mittelhochdeutscher Text, in welchem die Figuren manuell annotiert worden waren. Die an diesen Texten demonstrierten Aufgaben umfassten:
  • Bereinigung von Fehlern des automatischen Extraktionsverfahrens.
  • Rasche Erschließung der Charakteristika einer Figur und ihrer Funktion im Handlungsgefüge.
  • Erkennen von Figurengruppen, die vornehmlich in einer der selegierten Passagen vorkommen sowie von zentralen „Brückenfiguren“, welche diese Gruppen miteinander verbinden.
  • Charakterisierung der Beziehungen, die zentrale Figuren mit anderen unterhalten.
  • Nachweis der Hypothese, dass der Figurengraph sich über den Lauf einer Serie von Passagen stark verändert.
  • Nachweis der Hypothese, dass diese sukzessiven Konstellationen nur über einige wenige, zentrale Charaktere verbunden sind.
Der Artikel von Markus John, Martin Baumann, David Schuetz, Steffen Koch und Thomas Ertl erscheint unter dem Titel „A Visual Approach for the Comparative Analysis of Character Networks in Narrative Texts“.

Neuer Artikel: Soziale Netzwerkanalysen zum mittelhochdeutschen Roman

Im Themenheft „Digitale Mediävistik“ der Zeitschrift „Das Mittelalter. Perspektiven mediävistischer Forschung“ wird in Kürze ein Artikel über Soziale Netzwerkanalysen zum mittelhochdeutschen Artusroman erscheinen. Der Artikel unternimmt den Versuch, das Verhältnis von Märchen und Artusroman systematisch und methodisch neu zu bestimmen. Hierfür werden in einem ersten Schritt Merkmale des Europäischen Volksmärchens identifiziert, die in einem zweiten Schritt für die computergestützte Analyse operationalisiert und anschließend auf ein Textkorpus aus klassischen Artusromanen (Hartmanns von Aue ‚Erec‘ und ‚Iwein‘, Wolframs von Eschenbach ‚Parzival‘) angewandt werden.
Methodisch greifen wir für die Untersuchung auf das empirische Verfahren der Sozialen Netzwerkanalyse zurück, mit dem wir vor allem Aspekte der Kategorie Figur in den Blick nehmen. Auf diese Weise können wir nicht nur die Nähe der Artusromane zur ‚einfachen Form‘ des Märchens genauer bestimmen, sondern auch das Verhältnis der ausgewählten Romane zueinander differenziert betrachten. Der Beitrag zeigt, dass die vielschichtigen Ergebnisse der datengetriebenen Untersuchung eine eindeutige Interpretation verweigern und damit neue Einsichten in den bekannten Untersuchungsgegenstand ermöglichen können.

Beispiel: Netzwerk zum ‚Parzival‘ (Parzival-Partie)

Das Themenheft „Digitale Mediävistik“ mit diesem Artikel von Manuel Braun und Nora Ketschik erscheint voraussichtlich im Juni 2019.

Neuer Artikel: Die Analyse „weicher“ Konzepte mit „harten“ korpusanalytischen Methoden

Der sozialwissenschaftliche Forschungsschwerpunkt veröffentlichte kürzlich einen neuen Methodenartikel. Darin reflektieren wir, welchen grundsätzlichen methodischen Herausforderungen die theoriegeleitete sozialwissenschaftliche Forschung begegnet, wenn sie ihre Arbeit im Sinne der in den Sozialwissenschaften etablierten Gütekriterien gut machen will.
Wir identifizieren drei grundsätzliche Barrieren: Erstens bereitet es immer noch einen sehr hohen Aufwand, große Textkorpora zu erstellen und aufzubereiten. Zweitens ist das Problem der semantisch validen Operationalisierung komplexer geistes-, sozial- und kulturwissenschaftlicher Begriffe noch völlig unzureichend gelöst. Drittens erlauben viele der für linguistische Fragestellungen designten Tools kaum eine sozialwissenschaftlich anschlussfähige Ergebnisdarstellung. Wir brauchen flexible Optionen der Datenausgabe und Visualisierung, um die mit Hilfe korpuslinguistischer Methoden generierten Daten zur vorhandenen Forschung unseres Faches in Beziehung setzen zu können. Für alle Herausforderungen gilt, dass es hierfür keine „one size fits all“-Lösungen geben kann, weil aus der Perspektive unterschiedlicher wissenschaftlicher Forschungsfragen unterschiedliche methodische Entscheidungen zu treffen bleiben.

Der Artikel von Cathleen Kantner und Maximilian Overbeck ist Teil des Sammelbands Computational Social Science, der von Andreas Blätte, Joachim Behnke, Kai-Uwe Schnapp und Claudius Wagemann herausgegeben wurde: https://www.nomos-elibrary.de/10.5771/9783845286556-163/8-die-analyse-weicher-konzepte-mit-harten-korpusanalyti-schen-methoden