# MCT Qdrant Recall – Working Adjudication v0.1

**Status:** Explorative semantische Adjudikation, keine Domain-Expert Ground Truth  
**Basis:** zwei zufällige 100er-Läufe; 199 technisch erfolgreiche Qdrant-Fälle  
**Date:** 2026-09-11

## Fragestellung

Wie häufig befindet sich unter den von Qdrant gelieferten Top-10 Candidates mindestens ein fachlich plausibler MCT Concept für das beschriebene Main Object bzw. eine valide zusätzliche Typisierung des Main Object?

Ein bloß im TEI erwähnter `COMPONENT` oder ein `CONTEXT_COMPETITION`-Begriff wird nicht allein deshalb als Treffer gewertet.

## Ergebnis

| Metric | Treffer | Anteil | 95%-Intervall (Wilson) |
|---|---:|---:|---:|
| Recall@1 | 62/199 | 31.2% | 25.1%–37.9% |
| Recall@3 | 88/199 | 44.2% | 37.5%–51.2% |
| Recall@10 | 104/199 | **52.3%** | **45.3%–59.1%** |

Damit liegt in dieser Working Adjudication bei ungefähr **jedem zweiten Datensatz** mindestens ein plausibler Candidate in Qdrants Top 10.

Der Sprung von Recall@1 zu Recall@10 beträgt **21.1%-Punkte**. Das ist der für einen LLM-Reranker interessante Anteil: Qdrant hat in diesen Fällen einen plausiblen Candidate bereits gefunden, aber nicht auf Rank 1 gestellt.

## Methodische Grenze

Die Zahlen sind bewusst als **Working Recall** bezeichnet. Es liegt noch keine von MCT-Domain-Expert:innen bestätigte Ground Truth vor. Die Adjudikation verwendet `SourceValue`, `item_discovery`-TEI und Candidate Labels und bewertet auch fachlich plausible Ober-/Bautypen. Sie ist damit wesentlich aussagekräftiger als ein reiner String-Match, aber noch keine finale Evaluation.

Besonders unsicher bleiben Fälle, in denen MCT-Begriffe sehr breit sind oder mehrere parallele Typisierungen korrekt sein können.

## Bedeutung für Ministral

Das Ergebnis rechtfertigt einen kontrollierten Reranking-Versuch, aber noch keine automatische Massenentscheidung:

1. Qdrant reduziert den Suchraum auf zehn Candidates.
2. Ministral erhält `SourceValue + TEI + Top-10 Candidates`.
3. Ministral darf nur einen Candidate wählen oder `NO_MATCH` liefern.
4. Die Entscheidung wird gegen eine manuell adjudizierte Testmenge verglichen.
5. Erst danach wird über Skalierung auf größere Dehio-Mengen entschieden.

Besonders wichtig sind die Fälle, bei denen ein plausibler Candidate auf Rank 2–10 liegt: Hier kann ein Reranker messbar Mehrwert erzeugen.

## Working Adjudication – Treffer

| # | SourceValue | erster plausibler Rank | Candidate | Evidence-Typ |
|---:|---|---:|---|---|
| 1 | Kath. Pfarrkirche St. Donatus | 1 | Hallenkirche | `explicit` |
| 5 | Ehem. Abteigebäude | 1 | Abteikirche | `explicit` |
| 7 | Kath. Pfarrkirche St. Michael | 3 | Basilika | `architectural-context` |
| 8 | Marienkapelle | 1 | Marienkapelle | `explicit` |
| 9 | Ehem. Haus der Jugend | 3 | Wohnbau | `broad-object` |
| 12 | Soziale Frauenschule | 1 | Internat | `explicit` |
| 16 | Waldfriedhof mit Bismarckturm | 1 | Soldatenfriedhof | `object-type` |
| 18 | Kath. Pfarrkirche St. Severin | 1 | Pfarrkirche | `explicit` |
| 20 | Kath. Pfarrkirche St. Bonifatius | 3 | Doppelbasilika | `arch` |
| 22 | Kath. Pfarrkirche St. Heinrich | 3 | Hallenkirche | `architectural-context` |
| 23 | Haus Heyden | 5 | Wohnbau | `broad-object` |
| 25 | Friedhofskirche St. Stephanus | 6 | Friedhofskapelle | `object` |
| 27 | Am Berg 26–28 | 3 | Wohnbau | `broad-object` |
| 29 | Nr.4 | 1 | Gebäude | `broad-object` |
| 38 | Berger Hochkirchen | 1 | Vierflügelanlage | `explicit` |
| 41 | Klinikum | 7 | Gebäude | `explicit` |
| 43 | Hebscheider Hof | 1 | Hof | `explicit` |
| 44 | Kath. Pfarrkirche SS. Peter und Paul | 1 | Pfarrkirche | `explicit` |
| 45 | Kath. Pfarrkirche St. Martin | 1 | Pfarrkirche | `explicit` |
| 49 | Soerser Haus | 1 | Wohnturm | `explicit` |
| 50 | Kath. Pfarrkirche zur hl. Mutter Anna | 1 | Pfarrkirche | `explicit` |
| 52 | Kath. Filialkirche St. Mariae Verkündigung | 1 | Filialkirche | `explicit` |
| 53 | Kath. Pfarrkirche St. Georg | 1 | Pfarrkirche | `explicit` |
| 55 | Kirchstr.35 | 1 | Giebelhaus | `broad-object` |
| 56 | Nr.25 | 4 | Wohnbau | `broad-object` |
| 61 | Kath. Pfarrkirche St. Ursula | 3 | Basilika | `architectural-context` |
| 63 | Kath. Pfarrkirche SS. Cosmas und Damian | 1 | Pfarrkirche | `explicit` |
| 64 | Kath. Pfarrkirche St. Pankratius | 1 | Hallenkirche | `architectural-context` |
| 66 | Kath. Pfarrkirche St. Clemens | 3 | Basilika | `architectural-context` |
| 68 | Schloss Lerbach | 2 | Wohnbau | `broad-object` |
| 69 | Papiermühle Alte Dombach | 1 | Holländer | `object` |
| 70 | Ev. Kreuzkirche | 1 | Filialkirche | `explicit` |
| 71 | Ehem. Pfarrhof | 1 | Krüppelwalmdach | `explicit` |
| 72 | Kath. Pfarrkirche St. Marien | 1 | Pfarrkirche | `explicit` |
| 75 | Ev. Rigal’sche Kapelle | 1 | Hofkapelle | `chapel-type` |
| 77 | Kath. Pfarrkirche St. Evergislus | 1 | Pfarrkirche | `explicit` |
| 79 | Kapelle der Sieben Schmerzen Mariens | 1 | Marienkapelle | `semantic` |
| 82 | Godesburg | 2 | Kirchenburg | `broad-object` |
| 83 | Ehem. Hoftheater | 1 | Bühne | `object` |
| 84 | Villa Cahn | 2 | Wohnbau | `broad-object-type` |
| 85 | Villa Carstanjen | 2 | Wohnbau | `broad-object-type` |
| 86 | Villa Grosser-Genienau | 1 | Wohnbau | `broad-object-type` |
| 87 | Villa Schnitzler | 1 | Wohnbau | `broad-object-type` |
| 88 | Alte ev. Kirche | 1 | Saalkirche | `architectural-context` |
| 89 | Kath. Pfarrkirche Hl. Kreuz | 8 | Kreuz | `explicit` |
| 90 | Neue ev. Kirche | 6 | Saalkirche | `architectural-context` |
| 91 | Kath. Pfarrkirche St. Adelheid | 1 | Pfarrkirche | `explicit` |
| 94 | Kath. Pfarrkirche St. Maria und St. Clemens | 1 | Doppelkirche | `explicit` |
| 95 | Kath. Pfarrkirche St. Peter | 1 | Pfarrkirche | `explicit` |
| 98 | Lippe’sches Landhaus | 3 | Wohnbau | `broad-object-type` |
| 99 | Ehem. kath. Pfarrkirche St. Ägidius | 1 | Pfarrkirche | `explicit` |
| 101 | Schloss Rösberg | 3 | Wohnbau | `broad-object` |
| 102 | Wolfsburg | 1 | Wohnbau | `broad-object` |
| 103 | Landhaus Wittgenstein | 10 | Wohnbau | `broad-object-type` |
| 104 | Villa Wrede | 1 | Wohnbau | `broad-object-type` |
| 106 | Nikolauskapelle | 2 | Hauskapelle | `chapel-type` |
| 107 | Graue Burg | 2 | Wohnbau | `broad-object` |
| 108 | Weiße Burg | 1 | Gebäude | `broad-object` |
| 109 | Kath. Pfarrkirche St. Walburga | 2 | Kirchenburg | `broad-object` |
| 110 | Hexenturm | 1 | Turm | `object-type` |
| 111 | Kitzburg | 8 | Bogenbrücke | `explicit` |
| 113 | Kath. Pfarrkirche St. Peter | 1 | Pfarrkirche | `explicit` |
| 115 | Kath. Pfarrkirche St. Mariae Himmelfahrt | 1 | Basilika | `architectural-context` |
| 118 | Zechensiedlung Lohberg | 1 | Wohnsiedlung | `source-normalization` |
| 123 | Verwaltungsgebäude der Thyssen AG | 1 | Verwaltungsgebäude | `explicit` |
| 124 | Verwaltungsgebäude der Thyssen AG | 1 | Verwaltungsgebäude | `explicit` |
| 125 | Pumpwerk Alte Emscher | 1 | Wasserwerk | `broad-object-type` |
| 127 | Ev. Friedenskirche | 1 | Friedenskirche | `explicit` |
| 128 | Kath. Pfarrkirche St. Josef | 1 | Pfarrkirche | `explicit` |
| 129 | Dichtersiedlung | 1 | Wohnsiedlung | `source-normalization` |
| 130 | Siedlung Bergmannsplatz | 3 | Wohnsiedlung | `source-normalization` |
| 131 | Fördergerüst | 1 | Förderanlage | `broad-object-type` |
| 132 | Hebeturm | 4 | Turm | `object-type` |
| 135 | Siedlung Hüttenheim | 1 | Wohnsiedlung | `source-normalization` |
| 136 | Pumpwerk Schwelgern | 5 | Wasserwerk | `broad-object-type` |
| 137 | Pumpwerk Schmidthorst | 1 | Wasserwerk | `broad-object-type` |
| 139 | Siedlung Ratingsee | 5 | Wohnsiedlung | `source-normalization` |
| 141 | Kath. Pfarrkirche St. Dionysius | 3 | Basilika | `architectural-context` |
| 142 | Einschornsteinsiedlung | 2 | Wohnsiedlung | `source-normalization` |
| 147 | Kath. Pfarrkirche St. Maximilian | 1 | Pfarrkirche | `explicit` |
| 148 | Schifferkinderwaisenhaus St. Josef | 3 | Wohnbau | `broad-object` |
| 150 | Pack- und Wohnhaus der Familie Haniel | 2 | Wohnbau | `object-type` |
| 151 | Brückentürme | 3 | Brücke | `explicit` |
| 152 | Vincke-Säule | 2 | Säule | `explicit` |
| 153 | Dickelsbachsiedlung | 1 | Wohnsiedlung | `source-normalization` |
| 154 | Arnolduskapelle | 1 | Friedhofskapelle | `chapel-type` |
| 156 | Schillingspark | 1 | Park | `object-type` |
| 158 | Schloss Burgau | 1 | Wohnturm | `explicit` |
| 162 | Kath. Pfarrkirche St. Cäcilia | 7 | Kuppelbasilika | `arch` |
| 163 | Ev. Dankeskirche | 5 | Saalkirche | `architectural-context` |
| 165 | Alt St. Martin | 1 | Pfarrkirche | `explicit` |
| 168 | Schloss und Park Garath | 1 | Landschaftsgarten | `object-type` |
| 173 | Glashüttensiedlung | 2 | Wohnsiedlung | `source-normalization` |
| 174 | Reichsheimstätten-Siedlung Unter den Eichen | 2 | Wohnsiedlung | `source-normalization` |
| 175 | Jan Wellem Kapelle/Kreuzkapelle | 1 | Hauskapelle | `chapel-type` |
| 176 | Rochus-Kapelle | 1 | Friedhofskapelle | `semantic` |
| 177 | Kath. Pfarrkirche St. Benediktus | 9 | Hallenkirche | `architectural-context` |
| 182 | Henkel Pavillon | 1 | Ausstellungsgebäude | `object` |
| 192 | Nr.10 | 3 | Giebelhaus | `broad-object` |
| 193 | Nr.11 und 13 | 4 | Werkstatt | `explicit` |
| 194 | Nr.32 | 1 | Giebelhaus | `broad-object` |
| 195 | Kath. Pfarrkirche St. Lambertus | 8 | Basilika | `architectural-context` |
| 198 | St. Antonius | 1 | Basilika | `explicit` |
| 199 | Zum Heiligen Kreuz | 1 | Kreuz | `explicit` |

## Nächster Schritt

Für den Ministral-Pilot sollte eine kleine, bewusst gemischte Testmenge aus vier Gruppen gezogen werden:

- `VALID_TOP1`
- `VALID_RANK_2_3`
- `VALID_RANK_4_10`
- `NO_VALID_TOP10`

Damit testen wir nicht nur, ob Ministral offensichtliche Treffer bestätigt, sondern vor allem, ob das Modell Qdrants Ranking sinnvoll verbessern und `NO_MATCH` erkennen kann.