Skip to main content

4,1 - Ein Test, eine Zahl und die Evolution der KI

Was passiert, wenn man einem KI-Kursgenerator die Aufgabe gibt, aus einem PDF automatisch einen vollständigen E-Learning-Kurs zu erstellen? 4,1 war die erste Antwort.

Benannt nach dem ersten Testergebnis – das auf der Schulnotenskala gerade noch so als „bestanden“ gilt – zeigt dieses Experiment, wie sich KI-Modelle schrittweise verbessern. Von einer ersten, noch fehlerhaften Version hin zu immer präziseren, menschenähnlichen Texten – genau dieser Prozess macht 4KOMMA1 so spannend.

Künstliche Intelligenz ist ein Weg, kein Ziel. So wie eine Schildkröte langsam, aber sicher ans Ziel kommt, zeigt 4KOMMA1, wie immer bessere Ergebnisse entstehen. 

KI-Kursgeneratoren 

Diese Tools nutzen künstliche Intelligenz, um aus vorhandenen Materialien wie Texten, Präsentationen oder PDFs automatisch E-Learning-Kurse zu erstellen. Unser Ziel ist es, diese Technologien hinsichtlich ihrer Eignung für hochwertige Bildungsinhalte kritisch zu analysieren und ihre Potenziale sowie Grenzen aufzuzeigen.

Die rasante Entwicklung von KI-Kursgeneratoren bietet enorme Chancen, gerade im Bildungssektor. Doch nicht jedes Tool hält, was es verspricht. Besonders wichtig ist die Frage: Können KI-Kursgeneratoren komplexe Inhalte so umsetzen, dass sie didaktisch wertvoll, verständlich und motivierend sind? Um dies zu beantworten, setzen wir auf 4KOMMA1.

Wie funktioniert 4KOMMA1?

  1. Auswahl der Originaldatei: Grundlage unseres Tests ist eine Originaldatei mit umfangreichen und detaillierten Texten und Bildern. E handelt sich um eine technische Schulung zur Erstellung einer App mit smapOne. Das Dokument umfasst 40 Seiten.

  2. Automatische Generierung der Inhalte: Die Inhalte der Originaldatei wurden durch einen KI-Kursgenerator automatisch in Kursmaterialien umgewandelt. Wichtig: Es fand keinerlei Nachbearbeitung statt.

  3. Bewertung nach klaren Kriterien: Das Ergebnis der KI-Generierung wurde anhand eines festgelegten Bewertungsrasters analysiert. Dabei wurde die Bewertung selbst durch eine KI (ChatGPT) durchgeführt, um eine objektive Grundlage für die Analyse zu schaffen. Kriterien wie inhaltliche Genauigkeit, didaktische Qualität, Klarheit der Sprache und die visuelle Gestaltung spielten dabei eine zentrale Rolle.

  4. Veröffentlichung unter CC-Lizenz: Um den Testprozess für die Öffentlichkeit nachvollziehbar zu machen, werden folgende Materialien unter einer CC-Lizenz auf dieser Website veröffentlicht:

    • Der Prompt (Eingabeaufforderung für die KI)

    • Die Originaldatei

    • Das generierte E-Learning-Ergebnis (PDF-Export)

    • Das Ergebnis der Bewertung

Zur CC-Lizenz der No Code Creators hier klicken.

Haftungsausschluss und Verzicht auf Tool-Nennung

Wir haben uns bewusst entschieden, die Namen der verwendeten KI-Kursgeneratoren nicht in allen Fällen zu nennen. Diese Entscheidung beruht auf Haftungsgründen sowie auf der Sorge, dass eine Öffentlichkeit des Namens zu Missverständnissen oder einer unzureichenden Einordnung der Ergebnisse führen könnte.

Bitte beachten Sie auch den Haftungsausschluss auf der Website der No Code Creators (hier klicken). Dieser stellt klar, dass unsere Bewertungen subjektiv und an spezifischen Testbedingungen gebunden sind. Die Ergebnisse spiegeln unseren Eindruck wider und sollten nicht als allgemeingültige Bewertung des Tools interpretiert werden.

Transparenz und weitere Tests

Mit 4KOMMA1 möchten wir nicht nur die Stärken und Schwächen eines einzelnen KI-Kursgenerators beleuchten, sondern auch den Diskurs über die Qualität von KI-Lösungen im Bildungsbereich anregen. Weitere Tests sind bereits in Planung, um einen umfassenderen Vergleich zu ermöglichen. Unsere Erkenntnisse werden wir weiterhin offen teilen und zur Diskussion stellen.


Der Prompt

Bewerte die Qualität eines KI-basierten E-Learning-Kurses zur Erstellung von Apps mit einem No-Code-Tool. Grundlage der Bewertung sind zwei PDF-Dateien:

  1. Original-Screencast: Enthält Bilder und Text zur Veranschaulichung des Themas.
  2. KI-generierter Text: Wurde aus dem Screencast-Original von einem E-Learning-Tool erstellt.

Die Bewertung erfolgt nach folgenden Kriterien, wobei jedem Kriterium eine Schulnote zwischen 1 (sehr gut) und 6 (ungenügend) zugeordnet wird. Anschließend wird eine Gesamtnote gebildet, die den Durchschnitt der Einzelbewertungen darstellt.

Bewertungskriterien:

  1. Inhaltliche Genauigkeit:
    1. Wurden die Informationen aus dem Original-Screencast korrekt und vollständig in den KI-generierten Text übertragen?
    2. Stimmen Fachbegriffe, Abläufe und Beispiele überein?
  1. Klarheit und Verständlichkeit:
    1. Ist der Text klar formuliert und einfach zu verstehen, insbesondere für Anfänger ohne Vorkenntnisse im Bereich No-Code?
    2. Werden Fachbegriffe erklärt?
  1. Didaktische Qualität:
    1. Ist der Text logisch aufgebaut und erleichtert das schrittweise Erlernen der Inhalte?
    2. Werden die Lernenden sinnvoll durch den Kurs geführt (z. B. klare Schritte, Beispiele, Wiederholungen)?
  1. Visualisierung und Bezug zu den Bildern:
    1. Bezieht sich der Text sinnvoll auf die Inhalte der Bilder aus dem Original-Screencast?
    2. Fehlen wichtige Verweise auf visuelle Elemente, die für das Verständnis notwendig sind?
  1. Sprachliche Qualität:
    1. Ist der Text sprachlich korrekt (Rechtschreibung, Grammatik, Satzbau)?
    2. Vermeidet er unnötige Wiederholungen oder unpräzise Formulierungen?
  1. Motivationsförderung:
    1. Wirkt der Text ansprechend und motivierend für die Zielgruppe (Schüler ab 16Jahren)?
    2. Werden Lernende zum Mitmachen und Ausprobieren animiert?

7. Beibehaltung der Dokumentenstruktur

    1. Sind die Kapitelüberschriften und deren Reihenfolge korrekt im KI-generierten Text übernommen?
    2. Wurde die logische Gliederung des Inhalts gewahrt?
    3. Sind alle wichtigen Unterpunkte und Absätze aus dem Originaltext vollständig und konsistent integriert?

Zusammenfassung:

  1. Bewerte jede der sieben Kategorien mit einer Schulnote zwischen 1 (sehr gut) und 6 (ungenügend). Bewerte das Kriterium „Sind die Kapitelüberschriften und deren Reihenfolge korrekt im KI-generierten Text übernommen?“ dreifach.
  2. Ermittle eine Durchschnittsnote aus allen Kategorien, die als Gesamtnote für den Kurs gilt.
  3. Begründe die Note stichpunktartig für jede Kategorie, um eine transparente Bewertung zu ermöglichen.

Aufgabe:

Vergleiche die beiden PDF-Dateien anhand der oben genannten Kriterien und ermittele die Gesamtnote für die Qualität des KI-generierten E-Learning-Kurses.  Frage den Nutzer nacheinander nach den Dateien. Die 1. Datei soll das Orginal sein. Die 2. Datei das Ergebnis.

Das generierte E-Learning Ergebnis (PDF-Export)

Test 01

​media/files/test_01.pdf​​​

Das Ergebnis der Bewertung

Test 01

Bewertung des KI-generierten Textes anhand der Kriterien:

  • Inhaltliche Genauigkeit: Note 4
    • Die grundlegenden Inhalte wurden übertragen, jedoch fehlen Details und präzise Erklärungen für spezifische Abläufe und Fachbegriffe wie die Verwendung der CONCAT-Formel. Einige wichtige Aspekte wurden nicht klar wiedergegeben.

  • Klarheit und Verständlichkeit: Note 3
    • Der Text ist relativ klar und verständlich, insbesondere für Anfänger. Fachbegriffe werden oberflächlich erklärt, könnten aber stärker in den Kontext eingebettet werden.

  • Didaktische Qualität: Note 4
    • Die Struktur ist grob logisch, aber es fehlt an klaren Lernschritten, die Anfänger sinnvoll durch den Kurs führen. Beispiele und Wiederholungen, die das Lernen erleichtern, fehlen.

  • Visualisierung und Bezug zu den Bildern: Note 5
    • Es gibt kaum Bezüge zu den Bildern aus dem Original-Screencast. Visuelle Elemente wurden nicht ausreichend integriert, was das Verständnis erschwert.

  • Sprachliche Qualität: Note 2
    • Die Sprache ist korrekt und größtenteils prägnant. Es gibt keine auffälligen grammatikalischen oder orthografischen Fehler.

  • Motivationsförderung: Note 4
    • Der Text wirkt eher nüchtern und wenig motivierend. Die Ansprache der Zielgruppe ist nicht überzeugend gestaltet.

  • Beibehaltung der Dokumentenstruktur (dreifach gewichtet): Note 5
    • Die Kapitelüberschriften und deren Reihenfolge stimmen nicht immer mit dem Original überein. Viele Details und Unterpunkte des Originaltextes wurden nicht übernommen.

Gesamtnote:

Die Gesamtnote wird als Durchschnitt der Einzelbewertungen berechnet, wobei das Kriterium "Beibehaltung der Dokumentenstruktur" dreifach gewichtet wird:

Gesamtnote=(4+3+4+5+2+4+(5×3))/9=4,1