# EV-001 -- Evaluation Dataset - **Status:** Draft v0.1 - **Date:** 2026-08-08 - **Scope:** Evaluation von Reconciliation-Ergebnissen für `entity_type = CONCEPT` - **Focus:** Phase 1 -- Evaluation Export für Domainexpert:innen ------------------------------------------------------------------------ # 1. Ziel EV-001 beschreibt den minimalen Datensatz und Workflow für die fachliche Evaluation von Reconciliation-Ergebnissen in Reconcilix. Phase 1 ist ausschließlich auf Sachbegriffe beschränkt: ``` text entity_type = CONCEPT ``` Ziel ist zunächst nicht die automatisierte statistische Auswertung, sondern die strukturierte Bereitstellung von Reconciliation-Ergebnissen für Domainexpert:innen. Die Evaluation soll ab Beginn der Anwender:innentests möglich sein. Weitergehende Auswertungsmetriken, Fehler- und Erfolgsklassen sowie Rückschlüsse auf Interpretation, Confidence, Score oder DiscoveryRoute werden iterativ auf Basis realer Evaluationsergebnisse entwickelt. ------------------------------------------------------------------------ # 2. Evaluation Workflow -- Phase 1 ``` text vorgegebener Testdatensatz ↓ OpenRefine ↓ Reconcilix ↓ Reconciliation in OpenRefine ↓ OpenRefine Project Archive ↓ Upload nach Reconcilix ↓ Evaluation Export ↓ ODS ↓ Bewertung durch Domainexpert:in ``` Der Workflow endet in Phase 1 mit der ausgefüllten ODS-Datei. Reimport, statistische Auswertung und Rückschlüsse auf Interpretation, Confidence, Score oder DiscoveryRoute sind nicht Bestandteil von EV-001 v0.1. ------------------------------------------------------------------------ # 3. Input Ein Testdatensatz enthält mindestens: Feld Beschreibung --------------- --------------------------------- `id` Identifier des Quelldatensatzes `sourceValue` abzugleichender Ausgangswert `entityType` in Phase 1 immer `CONCEPT` Optional kann Kontext übergeben werden. Für Phase 1 wird als strukturierter Kontext unterstützt: ``` text Text Context ``` LIDO Context ist ausdrücklich nicht Bestandteil von Phase 1. ------------------------------------------------------------------------ # 4. Context TEI kann als ContextItem an Reconcilix übergeben werden. Für den Context Type wird zunächst das vorhandene Reconcilix Context Vocabulary verwendet: ``` text https://reconcilix.vocnet.org/context/0001 Text Context ``` Die Evaluation legt zunächst keine weiteren Anforderungen an die Interpretation des TEI-Kontextes fest. Insbesondere wird in EV-001 v0.1 nicht festgelegt, - welche TEI-Elemente ausgewertet werden, - wie Kontextinformationen gewichtet werden, - wie daraus Interpretation Properties entstehen, - wie Kontext Confidence oder Score beeinflusst. Diese Fragen sollen anhand der Evaluationsergebnisse später untersucht werden. Der ursprüngliche Kontext soll im Evaluationsdatensatz erhalten bleiben, damit bei der späteren Analyse nachvollziehbar ist, welcher Kontext Reconcilix zum Zeitpunkt des Reconciliation-Laufs zur Verfügung stand. ------------------------------------------------------------------------ # 5. Evaluation Export Für jeden evaluierten SourceValue enthält die ODS-Tabelle mindestens die aus dem Reconciliation-Lauf verfügbaren Informationen: Feld Herkunft Beschreibung ---------------------- ------------ --------------------------------------- `Source Value` Input / Rx Abgeglichener Ausgangswert `Match Status` OpenRefine Status der Entscheidung in OpenRefine `Best Candidate` Rx Bestplatzierter Candidate `Score` Rx Score des Best Candidate `Candidate Count` Rx Anzahl der gelieferten Candidates `Further Candidates` Rx Weitere gelieferte Candidates Soweit bereits ohne zusätzliche Bewertungslogik verfügbar, sollen außerdem mitgeführt werden: Feld Zweck ----------------- ------------------------------------------ `Entity Type` Abgrenzung des Evaluationsgegenstands `Vocabulary` Zuordnung des verwendeten Zielvokabulars `Context Type` Kennzeichnung vorhandenen Kontextes `Context Value` Ursprünglicher Kontext, z. B. Text Context Für Phase 1 gilt: ``` text Entity Type = CONCEPT Context Type = Text Context | leer ``` `Context Value` kann technisch umfangreichen Text Context enthalten. Eine besondere Darstellung oder Aufbereitung des Text Context ist für v0.1 nicht erforderlich. ------------------------------------------------------------------------ # 6. Expert Judgement Die Domainexpert:innen ergänzen drei Felder. ## 6.1 Expert Decision Zulässige Werte: ``` text accept reject unclear better_candidate needs_context ``` ----------------------------------------------------------------------- Wert Bedeutung ----------------------------------- ----------------------------------- `accept` Das vorliegende Ergebnis ist fachlich akzeptabel. `reject` Das vorliegende Ergebnis ist fachlich nicht akzeptabel. `unclear` Eine eindeutige fachliche Bewertung ist nicht möglich. `better_candidate` Ein fachlich besser geeigneter Zielbegriff ist bekannt bzw. unter den Candidates vorhanden. `needs_context` Für eine belastbare Entscheidung werden zusätzliche Kontextinformationen benötigt. ----------------------------------------------------------------------- ## 6.2 Expert Comment Freitext für fachliche Erläuterungen und Beobachtungen. Das Feld soll ausdrücklich auch für Beobachtungen genutzt werden, die durch die vorhandenen Decision-Werte noch nicht ausreichend beschrieben werden können. ## 6.3 Suggested Target Optionaler fachlicher Zielvorschlag der Domainexpert:in. Das Feld kann insbesondere bei `better_candidate` und `reject` verwendet werden. ------------------------------------------------------------------------ # 7. Trennung der Bewertungsebenen OpenRefine Match Status und Expert Decision sind getrennte Informationen und dürfen im Evaluationsdatensatz nicht miteinander vermischt werden. Für die spätere Analyse sollen grundsätzlich drei Ebenen unterscheidbar bleiben: ``` text Rx-Vorschlag ↓ OpenRefine-Entscheidung ↓ Expert:innenurteil ``` EV-001 v0.1 definiert noch keine Metriken oder Bewertungsregeln für diese Ebenen. ------------------------------------------------------------------------ # 8. Phase-1-Vokabulare und Candidate Sources EV-001 v0.1 ist für die derzeit verwendeten Sachbegriffsquellen ausgelegt: Vocabulary Candidate Source / Zugang ------------------------ --------------------------- MCT xTree API / LocalStore WNK xTree API GND Sachbegriffe Lobid Oberbegriffsdatei xTree API Historischer Thesaurus xTree API Die Evaluation macht in Phase 1 noch keine Annahme über die Vergleichbarkeit dieser Vokabulare. Weitere Discovery-Verfahren, beispielsweise vektorbasierte Candidate Discovery über Qdrant, können denselben Evaluationsansatz verwenden, sobald sie in Reconcilix verfügbar sind. ------------------------------------------------------------------------ # 9. Technischer Minimalumfang -- Phase 1 Für die erste Umsetzung wird die bereits in einer frühen Reconcilix-Version vorhandene Evaluation-Export-Logik als Ausgangspunkt betrachtet: ``` text public/evaluation-export.php tools/exportOpenRefineEvaluationTable.php ``` Der minimale Ablauf in Reconcilix ist: ``` text OpenRefine Project Archive hochladen ↓ Evaluation-Daten extrahieren ↓ ODS-Datei erzeugen ↓ ODS-Datei für Domainexpert:in bereitstellen ``` Die ODS-Datei enthält die Reconciliation-Daten sowie die drei editierbaren Expert:innenfelder: ``` text Expert Decision Expert Comment Suggested Target ``` Eine weitergehende Evaluation-Anwendung ist für Phase 1 nicht erforderlich. ------------------------------------------------------------------------ # 10. Nicht Bestandteil von v0.1 EV-001 v0.1 definiert ausdrücklich noch nicht: - ODS-Reimport nach Reconcilix, - statistische Kennzahlen, - Fehlerklassen, - Erfolgsklassen, - Gewichtungen, - Qualitätsgrenzen, - Confidence-Modelle, - Score-Modelle, - Bewertung von DiscoveryRoutes, - Vergleichsrankings zwischen Vokabularen, - automatisierte Auswertung der Expert:innenurteile, - Anforderungen an eine Text Context-Interpretation, - LIDO Context. Diese Elemente werden iterativ auf Basis realer Evaluationsergebnisse entwickelt. ------------------------------------------------------------------------ # 11. Nächster Schritt EV-001 v0.1 dient gemeinsam mit einem real reconcilierten OpenRefine Project Archive als Grundlage für die erste technische Umsetzung des Evaluation Exports durch ED. Nach Bereitstellung des ODS-Exports können die ersten Anwender:innentests unmittelbar fachlich evaluiert werden.