Medien Doktor Assistance
Qualitätsnetzwerk und Assistenzsystem für eine bessere Medizinberichterstattung
In den vergangenen 15 Jahren hat sich der Medien-Doktor als Medienmonitoring und digitales Selbstlernzentrum zur Qualitätssicherung der Gesundheitsberichterstattung etabliert; im Rahmen der bisherigen Projektphasen wurden auf Basis international erprobter Kriterien nahezu 1000 Beiträge von journalistischen Gutachterinnen und Gutachtern bewertet.
Zentral für diese Arbeit ist ein Begutachtungsprozess nach dem Vorbild eines wissenschaftlichen „Peer Review“-Prozesses auf Basis international erprobter und inzwischen weiterentwickelter Kriterien (vgl. Anhäuser et al., Bundesgesundheitsblatt 2020). Die Beteiligung echter „Peers“ aus den Redaktionen verbessert auch die Akzeptanz der Befunde in der journalistischen Zielgruppe.
Mit dem Medien-Doktor Assistance wurde dieser Ansatz in ein teilautomatisiertes Assistenzsystem überführt, das klassische statistische Verfahren und generative Sprachmodelle mit den händischen Gutachten des etablierten Teams verknüpft.
Seit 2023 haben wir einen funktionsfähigen Prototyp des Assistenzsystems entwickelt, der generative Sprachmodelle (u.a. GPT-3.5-turbo, GPT 4o, Claude 3.5 Sonnet, Mistral 7B) und statistische Verfahren zur Qualitätsbewertung journalistischer Texte entlang der Medien-Doktor-Kriterien kombiniert. Dieser Prototyp liegt als interaktive Webanwendung (Shiny App) vor und wurde bereits in mehreren Redaktionen (Ruhr Nachrichten, Nürnberger Nachrichten, Tagesschau, NDR Info) unter realen Bedingungen vorgestellt; die Rückmeldungen flossen in Anpassungen an redaktionelle Abläufe und Nutzerbedürfnisse ein. Gleichzeitig wurden die Redaktionen für die Qualitätskriterien des Medien-Doktor Gesundheit sensibilisiert.
Anhand von 240 Artikeln mit vorliegenden Bewertungen von Expert:innen konnte gezeigt werden, dass maschinelle Lernmodelle die Qualität von Beiträgen mit beachtlicher Zuverlässigkeit einschätzen: Mehrere Modelle erreichen rund 67% Übereinstimmung mit menschlichen Expertinnen und Experten, speziell feinabgestimmte LLMs sogar bis zu 76% und übertreffen dabei in Einzelfällen einzelne Gutachtende (Schmidt et al., Studies in Communication and Media, noch unveröffentlicht). Besonders wirksam sind diese Modelle bei der Identifizierung von Artikeln geringer Qualität, als wertvolles Hilfsmittel, um im redaktionellen Alltag eingehende Inhalte wie auch zu veröffentlichende Texte zu prüfen.
Der Medien-Doktor ASSISTANCE ist eine Kooperationsprojekt des Lehrstuhls Wissenschaftsjournalismus und der Fakultät für Statistik an der TU Dortmund.