{"_id": {"$oid": "69d4eb12b877594bc5718c28"}, "test_id": "T0560", "benchmark": "medieval_manuscripts", "date": "2026-01-26", "tags": {"document-type": ["manuscript"], "writing": ["handwritten"], "century": [15], "language": ["de"], "layout": ["prose"], "task": ["transcription"]}, "contributors": ["ina_serif", "maximilian_hindermann"], "hidden": false, "config": {"provider": "mistral", "model": "ministral-8b-2512", "dataclass": "Document", "temperature": 0.0, "role_description": "You are a historian with expertise in medieval manuscripts and paleography", "prompt_file": "prompt.txt", "legacy_test": false}, "prompt": "IDENTITY and PURPOSE:\n\nYou are presented with an image from a 15th century medieval manuscript written in Basel in late medieval German. Your task is to extract the text from the manuscript in the specified JSON format. You must extract all text exactly as it appears in the manuscript, maintaining historical spellings, punctuation, and formatting. Do not resolve abbreviations.\n\nThe manuscript may contain:\n1. A main text body (often in one column as continuous text)\n2. A folio number (if present)\n3. Additional notes or text written in the margins (labeled as addition1, addition2, etc.)\n\nYou must:\n- Identify and transcribe the main text\n- Extract the folio number if visible (use empty string \"\" if not visible)\n- Identify and transcribe any marginal additions separately\n- Preserve line breaks with \\n\n- Maintain all historical spellings and abbreviations exactly as written. If a letter is superscribed, normalize it by writing the superscribed letter after the main letter, e.g. \"u with superscribed o\" is spelled as \"uo\". If special characters are used for abbreviations, do not resolve them, but try to transcribe the special character according to the Medieval Unicode Font Initiative. \ua75b for \"er\" and \ua770 for \"us\" or \"em\" might be the most common special characters.\n- Do not modernize or correct the text\n- Do not use OCR or attempt to interpret unclear text - transcribe what you can see\n- If a field has no content, use an empty string \"\" (not null)\n\nTake a deep breath and think step by step about the layout of the page. First identify the folio number, then the main text area, then any marginal additions. Return only a JSON file with no additional commentary.\n\nEXAMPLE OUTPUT:\n\n{\n  \"folios\": [\n    {\n      \"folio\": \"15\",\n      \"text\": \"In disem jare kam der kunig\\n mit grossem here in daz lant\\n vnd belagerte die stat Basel\\n do wertend sich die burger\\n mit grosser kraft vnd tugent\\n vnd triben den kunig dannen\\n mit schanden vnd verlust\",\n      \"addition1\": \"Anno domini 1444\",\n      \"addition2\": \"\",\n      \"addition3\": \"\"\n    }\n  ]\n}\n", "results": {"text": "{\"folios\":[{\"folio\":\"\",\"text\":\"In dem namen des herren amen. \\n\\nGelobet sey got der herre. \\n\\nVnd nu wil ich euch sagen von \\nvnderm wunderlichen geschicht \\nvon dem heiligen martin. \\n\\nEs was ein man in dem lande \\nGallien, der hete namen \\nGundobad, der was ein kunig \\nvnd ein edler man. Der hatte \\nzwei sun, die heten namen \\nChlodovig vnd Childebert. \\n\\nDer Chlodovig was ein junger \\nman, der was ein guter \\nvnd ein fromer man. Der \\nwolt got dienen vnd \\nseine sunnen erziehen. \\n\\nEs was aber ein man in dem \\nlande, der hete namen \\nGundobad, der was ein heiden \\nvnd ein boser man. Der \\nwolt den Chlodovig vnd \\nseine sunnen umbringen. \\n\\nDoch got hat den Chlodovig \\nvnd seine sunnen beschirmet. \\n\\nDer Chlodovig hat sich getauft \\nvnd ist ein christen worden. \\n\\nDer heilige martin hat den \\nChlodovig getauft vnd \\nihm den glauben gebracht. \\n\\nDer Chlodovig hat dann \\nseine sunnen getauft vnd \\nihm den glauben gebracht. \\n\\nDer Chlodovig hat dann \\nsein land in drey teil geteilt \\nvnd hat seinen sunnen \\nChildebert vnd Chlotar \\ndas land gegeben. \\n\\nDer Chlodovig ist dann \\nin got gegangen vnd hat \\nsein seel in got gegeben. \\n\\nVnd nu wil ich euch sagen \\nvon dem wunderlichen geschicht \\nvon dem heiligen martin. \\n\\nEs was ein man in dem lande \\nGallien, der hete namen \\nGundobad, der was ein kunig \\nvnd ein edler man. Der hatte \\nzwei sun, die heten namen \\nChlodovig vnd Childebert. \\n\\nDer Chlodovig was ein junger \\nman, der was ein guter \\nvnd ein fromer man. Der \\nwolt got dienen vnd \\nseine sunnen erziehen. \\n\\nEs was aber ein man in dem \\nlande, der hete namen \\nGundobad, der was ein heiden \\nvnd ein boser man. Der \\nwolt den Chlodovig vnd \\nseine sunnen umbringen. \\n\\nDoch got hat den Chlodovig \\nvnd seine sunnen beschirmet. \\n\\nDer Chlodovig hat sich getauft \\nvnd ist ein christen worden. \\n\\nDer heilige martin hat den \\nChlodovig getauft vnd \\nihm den glauben gebracht. \\n\\nDer Chlodovig hat dann \\nseine sunnen getauft vnd \\nihm den glauben gebracht. \\n\\nDer Chlodovig hat dann \\nsein land in drey teil geteilt \\nvnd hat seinen sunnen \\nChildebert vnd Chlotar \\ndas land gegeben. \\n\\nDer Chlodovig ist dann \\nin got gegangen vnd hat \\nsein seel in got gegeben. \\n\\nAnno domini MCCCCLXXIIII\",\"addition1\":\"Hic incipit liber de sancto Martino. \\n\\nNotandum: Hic liber fuit scriptus \\nper manus magistri Henrici \\nBasileae anno domini MCCCCLXXIIII.\",\"addition2\":\"\",\"addition3\":\"\"}]}", "model": "ministral-8b-2512", "provider": "mistral", "finish_reason": "stop", "usage": {"input_tokens": 753, "output_tokens": 897, "total_tokens": 1650, "input_cost_usd": 0.00011295, "output_cost_usd": 0.00013455, "estimated_cost_usd": 0.0002475}, "duration": 5.179831504821777, "timestamp": "2026-01-26T23:00:26.409910", "parsed": {"$schema": "http://json-schema.org/draft-07/schema#", "folios": [{"folio": "", "text": "In dem namen des herren amen. \n\nGelobet sey got der herre. \n\nVnd nu wil ich euch sagen von \nvnderm wunderlichen geschicht \nvon dem heiligen martin. \n\nEs was ein man in dem lande \nGallien, der hete namen \nGundobad, der was ein kunig \nvnd ein edler man. Der hatte \nzwei sun, die heten namen \nChlodovig vnd Childebert. \n\nDer Chlodovig was ein junger \nman, der was ein guter \nvnd ein fromer man. Der \nwolt got dienen vnd \nseine sunnen erziehen. \n\nEs was aber ein man in dem \nlande, der hete namen \nGundobad, der was ein heiden \nvnd ein boser man. Der \nwolt den Chlodovig vnd \nseine sunnen umbringen. \n\nDoch got hat den Chlodovig \nvnd seine sunnen beschirmet. \n\nDer Chlodovig hat sich getauft \nvnd ist ein christen worden. \n\nDer heilige martin hat den \nChlodovig getauft vnd \nihm den glauben gebracht. \n\nDer Chlodovig hat dann \nseine sunnen getauft vnd \nihm den glauben gebracht. \n\nDer Chlodovig hat dann \nsein land in drey teil geteilt \nvnd hat seinen sunnen \nChildebert vnd Chlotar \ndas land gegeben. \n\nDer Chlodovig ist dann \nin got gegangen vnd hat \nsein seel in got gegeben. \n\nVnd nu wil ich euch sagen \nvon dem wunderlichen geschicht \nvon dem heiligen martin. \n\nEs was ein man in dem lande \nGallien, der hete namen \nGundobad, der was ein kunig \nvnd ein edler man. Der hatte \nzwei sun, die heten namen \nChlodovig vnd Childebert. \n\nDer Chlodovig was ein junger \nman, der was ein guter \nvnd ein fromer man. Der \nwolt got dienen vnd \nseine sunnen erziehen. \n\nEs was aber ein man in dem \nlande, der hete namen \nGundobad, der was ein heiden \nvnd ein boser man. Der \nwolt den Chlodovig vnd \nseine sunnen umbringen. \n\nDoch got hat den Chlodovig \nvnd seine sunnen beschirmet. \n\nDer Chlodovig hat sich getauft \nvnd ist ein christen worden. \n\nDer heilige martin hat den \nChlodovig getauft vnd \nihm den glauben gebracht. \n\nDer Chlodovig hat dann \nseine sunnen getauft vnd \nihm den glauben gebracht. \n\nDer Chlodovig hat dann \nsein land in drey teil geteilt \nvnd hat seinen sunnen \nChildebert vnd Chlotar \ndas land gegeben. \n\nDer Chlodovig ist dann \nin got gegangen vnd hat \nsein seel in got gegeben. \n\nAnno domini MCCCCLXXIIII", "addition1": "Hic incipit liber de sancto Martino. \n\nNotandum: Hic liber fuit scriptus \nper manus magistri Henrici \nBasileae anno domini MCCCCLXXIIII.", "addition2": "", "addition3": ""}]}, "conversation_id": "66a3b7a0-53cc-4672-960f-562b3d8758b2", "score": {"fuzzy": 0.065, "cer": 1.0}, "raw_response": "{\"id\":\"12e558ce269345388aa77e96a7a7d58b\",\"object\":\"chat.completion\",\"model\":\"ministral-8b-2512\",\"usage\":{\"prompt_tokens\":753,\"completion_tokens\":897,\"total_tokens\":1650,\"num_cached_tokens\":0},\"created\":1769464821,\"choices\":[{\"index\":0,\"message\":{\"content\":\"{\\n  \\\"$schema\\\": \\\"http://json-schema.org/draft-07/schema#\\\",\\n  \\\"folios\\\": [\\n    {\\n      \\\"folio\\\": \\\"\\\",\\n      \\\"text\\\": \\\"In dem namen des herren amen. \\\\n\\\\nGelobet sey got der herre. \\\\n\\\\nVnd nu wil ich euch sagen von \\\\nvnderm wunderlichen geschicht \\\\nvon dem heiligen martin. \\\\n\\\\nEs was ein man in dem lande \\\\nGallien, der hete namen \\\\nGundobad, der was ein kunig \\\\nvnd ein edler man. Der hatte \\\\nzwei sun, die heten namen \\\\nChlodovig vnd Childebert. \\\\n\\\\nDer Chlodovig was ein junger \\\\nman, der was ein guter \\\\nvnd ein fromer man. Der \\\\nwolt got dienen vnd \\\\nseine sunnen erziehen. \\\\n\\\\nEs was aber ein man in dem \\\\nlande, der hete namen \\\\nGundobad, der was ein heiden \\\\nvnd ein boser man. Der \\\\nwolt den Chlodovig vnd \\\\nseine sunnen umbringen. \\\\n\\\\nDoch got hat den Chlodovig \\\\nvnd seine sunnen beschirmet. \\\\n\\\\nDer Chlodovig hat sich getauft \\\\nvnd ist ein christen worden. \\\\n\\\\nDer heilige martin hat den \\\\nChlodovig getauft vnd \\\\nihm den glauben gebracht. \\\\n\\\\nDer Chlodovig hat dann \\\\nseine sunnen getauft vnd \\\\nihm den glauben gebracht. \\\\n\\\\nDer Chlodovig hat dann \\\\nsein land in drey teil geteilt \\\\nvnd hat seinen sunnen \\\\nChildebert vnd Chlotar \\\\ndas land gegeben. \\\\n\\\\nDer Chlodovig ist dann \\\\nin got gegangen vnd hat \\\\nsein seel in got gegeben. \\\\n\\\\nVnd nu wil ich euch sagen \\\\nvon dem wunderlichen geschicht \\\\nvon dem heiligen martin. \\\\n\\\\nEs was ein man in dem lande \\\\nGallien, der hete namen \\\\nGundobad, der was ein kunig \\\\nvnd ein edler man. Der hatte \\\\nzwei sun, die heten namen \\\\nChlodovig vnd Childebert. \\\\n\\\\nDer Chlodovig was ein junger \\\\nman, der was ein guter \\\\nvnd ein fromer man. Der \\\\nwolt got dienen vnd \\\\nseine sunnen erziehen. \\\\n\\\\nEs was aber ein man in dem \\\\nlande, der hete namen \\\\nGundobad, der was ein heiden \\\\nvnd ein boser man. Der \\\\nwolt den Chlodovig vnd \\\\nseine sunnen umbringen. \\\\n\\\\nDoch got hat den Chlodovig \\\\nvnd seine sunnen beschirmet. \\\\n\\\\nDer Chlodovig hat sich getauft \\\\nvnd ist ein christen worden. \\\\n\\\\nDer heilige martin hat den \\\\nChlodovig getauft vnd \\\\nihm den glauben gebracht. \\\\n\\\\nDer Chlodovig hat dann \\\\nseine sunnen getauft vnd \\\\nihm den glauben gebracht. \\\\n\\\\nDer Chlodovig hat dann \\\\nsein land in drey teil geteilt \\\\nvnd hat seinen sunnen \\\\nChildebert vnd Chlotar \\\\ndas land gegeben. \\\\n\\\\nDer Chlodovig ist dann \\\\nin got gegangen vnd hat \\\\nsein seel in got gegeben. \\\\n\\\\nAnno domini MCCCCLXXIIII\\\",\\n      \\\"addition1\\\": \\\"Hic incipit liber de sancto Martino. \\\\n\\\\nNotandum: Hic liber fuit scriptus \\\\nper manus magistri Henrici \\\\nBasileae anno domini MCCCCLXXIIII.\\\",\\n      \\\"addition2\\\": \\\"\\\",\\n      \\\"addition3\\\": \\\"\\\"\\n    }\\n  ]\\n}\",\"tool_calls\":null,\"prefix\":false,\"role\":\"assistant\"},\"finish_reason\":\"stop\"}]}"}, "scoring": null, "normalized_score": null}