{"_id": {"$oid": "6a8456c1ef0a19c343227d63"}, "test_id": "T1576", "benchmark": "medieval_manuscripts", "date": "2026-08-16", "tags": {"document-type": ["manuscript"], "writing": ["handwritten"], "century": [15], "language": ["de"], "layout": ["prose"], "task": ["transcription"]}, "contributors": ["ina_serif", "maximilian_hindermann"], "hidden": false, "config": {"provider": "huggingface", "model": "meta-models/Muse-Glimmer-30B:together", "dataclass": "Document", "temperature": 0.0, "role_description": "You are a historian with expertise in medieval manuscripts and paleography", "prompt_file": "prompt.txt", "legacy_test": false}, "prompt": "IDENTITY and PURPOSE:\n\nYou are presented with an image from a 15th century medieval manuscript written in Basel in late medieval German. Your task is to extract the text from the manuscript in the specified JSON format. You must extract all text exactly as it appears in the manuscript, maintaining historical spellings, punctuation, and formatting. Do not resolve abbreviations.\n\nThe manuscript may contain:\n1. A main text body (often in one column as continuous text)\n2. A folio number (if present)\n3. Additional notes or text written in the margins (labeled as addition1, addition2, etc.)\n\nYou must:\n- Identify and transcribe the main text\n- Extract the folio number if visible (use empty string \"\" if not visible)\n- Identify and transcribe any marginal additions separately\n- Preserve line breaks with \\n\n- Maintain all historical spellings and abbreviations exactly as written. If a letter is superscribed, normalize it by writing the superscribed letter after the main letter, e.g. \"u with superscribed o\" is spelled as \"uo\". If special characters are used for abbreviations, do not resolve them, but try to transcribe the special character according to the Medieval Unicode Font Initiative. \ua75b for \"er\" and \ua770 for \"us\" or \"em\" might be the most common special characters.\n- Do not modernize or correct the text\n- Do not use OCR or attempt to interpret unclear text - transcribe what you can see\n- If a field has no content, use an empty string \"\" (not null)\n\nTake a deep breath and think step by step about the layout of the page. First identify the folio number, then the main text area, then any marginal additions. Return only a JSON file with no additional commentary.\n\nEXAMPLE OUTPUT:\n\n{\n  \"folios\": [\n    {\n      \"folio\": \"15\",\n      \"text\": \"In disem jare kam der kunig\\n mit grossem here in daz lant\\n vnd belagerte die stat Basel\\n do wertend sich die burger\\n mit grosser kraft vnd tugent\\n vnd triben den kunig dannen\\n mit schanden vnd verlust\",\n      \"addition1\": \"Anno domini 1444\",\n      \"addition2\": \"\",\n      \"addition3\": \"\"\n    }\n  ]\n}\n", "results": {"text": "{\"folios\":[{\"folio\":\"3\",\"text\":\"Und ein pferit Sie wir und\\nminen Enckten vnder Aufsand\\nDen So was menen Eyn weg\\nSemme Den wir machten\\nund vichent Sie Enckte Suck\\nund vil in vntz an Sen anb\\nund Sie pferit vntz an Sie\\npetel und was ze mol ein groffer\\nnebel Es wir kum gespand\\nund als mit groffer arbait kome\\nwir ze mittrem tag zu Sant\\nEripoffel vff Sen Berg So\\nSo fach ich die B\u00fccher So gar\\nvil Gerrin wopen in Rome\\nSie in fir Ed Gyn gelben Gand\\nSo p\u00fcnt mines vatters Plagen\\nwopen aof in Sen emen\",\"addition1\":\"\",\"addition2\":\"\",\"addition3\":\"\"}]}", "model": "meta-models/Muse-Glimmer-30B", "provider": "huggingface", "finish_reason": "stop", "usage": {"input_tokens": 4140, "output_tokens": 2779, "total_tokens": 6919, "input_cost_usd": 0.0014489999999999998, "output_cost_usd": 0.0041684999999999995, "estimated_cost_usd": 0.005617499999999999}, "duration": 29.068060398101807, "timestamp": "2026-08-16T02:44:36.361698", "parsed": {"folios": [{"folio": "3", "text": "Und ein pferit Sie wir und\nminen Enckten vnder Aufsand\nDen So was menen Eyn weg\nSemme Den wir machten\nund vichent Sie Enckte Suck\nund vil in vntz an Sen anb\nund Sie pferit vntz an Sie\npetel und was ze mol ein groffer\nnebel Es wir kum gespand\nund als mit groffer arbait kome\nwir ze mittrem tag zu Sant\nEripoffel vff Sen Berg So\nSo fach ich die B\u00fccher So gar\nvil Gerrin wopen in Rome\nSie in fir Ed Gyn gelben Gand\nSo p\u00fcnt mines vatters Plagen\nwopen aof in Sen emen", "addition1": "", "addition2": "", "addition3": ""}]}, "conversation_id": "22b866ad-d8eb-4b7d-84b9-3560b84ac7ae", "score": {"fuzzy": 0.893, "cer": 0.108}, "raw_response": "{\"id\":\"owN2S1E-7ArivV-a2bc68a68a0d8583\",\"choices\":[{\"finish_reason\":\"stop\",\"index\":0,\"logprobs\":null,\"message\":{\"content\":\"{\\n  \\\"folios\\\": [\\n    {\\n      \\\"folio\\\": \\\"3\\\",\\n      \\\"text\\\": \\\"Und ein pferit Sie wir und\\\\nminen Enckten vnder Aufsand\\\\nDen So was menen Eyn weg\\\\nSemme Den wir machten\\\\nund vichent Sie Enckte Suck\\\\nund vil in vntz an Sen anb\\\\nund Sie pferit vntz an Sie\\\\npetel und was ze mol ein groffer\\\\nnebel Es wir kum gespand\\\\nund als mit groffer arbait kome\\\\nwir ze mittrem tag zu Sant\\\\nEripoffel vff Sen Berg So\\\\nSo fach ich die B\u00fccher So gar\\\\nvil Gerrin wopen in Rome\\\\nSie in fir Ed Gyn gelben Gand\\\\nSo p\u00fcnt mines vatters Plagen\\\\nwopen aof in Sen emen\\\",\\n      \\\"addition1\\\": \\\"\\\",\\n      \\\"addition2\\\": \\\"\\\",\\n      \\\"addition3\\\": \\\"\\\"\\n    }\\n  ]\\n}\",\"refusal\":null,\"role\":\"assistant\",\"annotations\":null,\"audio\":null,\"function_call\":null,\"tool_calls\":null,\"parsed\":{\"folios\":[{\"folio\":\"3\",\"text\":\"Und ein pferit Sie wir und\\nminen Enckten vnder Aufsand\\nDen So was menen Eyn weg\\nSemme Den wir machten\\nund vichent Sie Enckte Suck\\nund vil in vntz an Sen anb\\nund Sie pferit vntz an Sie\\npetel und was ze mol ein groffer\\nnebel Es wir kum gespand\\nund als mit groffer arbait kome\\nwir ze mittrem tag zu Sant\\nEripoffel vff Sen Berg So\\nSo fach ich die B\u00fccher So gar\\nvil Gerrin wopen in Rome\\nSie in fir Ed Gyn gelben Gand\\nSo p\u00fcnt mines vatters Plagen\\nwopen aof in Sen emen\",\"addition1\":\"\",\"addition2\":\"\",\"addition3\":\"\"}]},\"reasoning\":\"IDENTITY and PURPOSE:\\n\\nYou are presented with an image from a 15th century medieval manuscript written in Basel in late medieval German. Your task is to extract the text from the manuscript in the specified JSON format. You must extract all text exactly as it appears in the manuscript, maintaining historical spellings, punctuation, and formatting. Do not resolve abbreviations.\\n\\nThe manuscript may contain:\\n1. A main text body (often in one column as continuous text)\\n2. A folio number (if present)\\n3. Additional notes or text written in the margins (labeled as addition1, addition2, etc.)\\n\\nYou must:\\n- Identify and transcribe the main text\\n- Extract the folio number if visible (use empty string \\\"\\\" if not visible)\\n- Identify and transcribe any marginal additions separately\\n- Preserve line breaks with \\\\n\\n- Maintain all historical spellings and abbreviations exactly as written. If a letter is superscribed, normalize it by writing the superscribed letter after the main letter, e.g. \\\"u with superscribed o\\\" is spelled as \\\"uo\\\". If special characters are used for abbreviations, do not resolve them, but try to transcribe the special character according to the Medieval Unicode Font Initiative. \ua75b for \\\"er\\\" and \ua770 for \\\"us\\\" or \\\"em\\\" might be the most common special characters.\\n- Do not modernize or correct the text\\n- Do not use OCR or attempt to interpret unclear text - transcribe what you can see\\n- If a field has no content, use an empty string \\\"\\\" (not null)\\n\\nTake a deep breath and think step by step about the layout of the page. First identify the folio number, then the main text area, then any marginal additions. Return only a JSON file with no additional commentary.\\n\\nEXAMPLE OUTPUT...\\n\\nWe need transcribe. Folio number top right: 3\\n\\nMain text lines:\\n\\nFirst line: \\\"Und ein pferit Sie wir und\\\" Wait image: \\\"Und ein pferit Sie wir und\\\" Actually first word looks like \\\"Und\\\" maybe \\\"Und\\\". Let's read.\\n\\nLine1: \\\"Und ein pferit Sie wir und\\\"\\nLine2: \\\"minen Enckten vnder Aufsand\\\"\\nLine3: \\\"Sen So was menen Eyn weg\\\"\\nLine4: \\\"Semme Sen wir machten\\\"\\nLine5: \\\"und vichent Sie Enckte Suck\\\"\\nLine6: \\\"und vil in vntz an Sen anb\\\"\\nLine7: \\\"und Sie pferit vntz an Sie\\\"\\nLine8: \\\"petel und was ze mol ein groffer\\\"\\nLine9: \\\"nebel Es wir kum gespand\\\"\\nLine10: \\\"und als mit groffer arbait kome\\\"\\nLine11: \\\"wir ze mittrem tag zu Sant\\\"\\nLine12: \\\"Eripoffel vff Sen Berg So\\\"\\nLine13: \\\"So fach ich die B\u00fccher So gar\\\"\\nLine14: \\\"vil Gerrin wopen in Rome\\\"\\nLine15: \\\"Sie in fir Ed Gyn gelben Gand\\\"\\nLine16: \\\"So p\u00fcnt mines vatters Plagen\\\"\\nLine17: \\\"wopen aof in Sen emen\\\"\\n\\nNeed careful transcription. Might be difficult. Let's try to read each line more accurately.\\n\\nImage shows cursive Gothic. Let's approximate.\\n\\nLine1: \\\"Und ein pferit Sie wir und\\\" maybe \\\"Und ein pferit Sie wir und\\\"? Could be \\\"Und ein pferit Sie wir und\\\". The first word \\\"Und\\\" with capital U. Then \\\"ein\\\" then \\\"pferit\\\" maybe \\\"pferit\\\"? Could be \\\"pferit\\\". Then \\\"Sie\\\" then \\\"wir\\\" then \\\"und\\\". Hmm.\\n\\nLine2: \\\"minen Enckten vnder Aufsand\\\" maybe \\\"minen Enckten vnder Aufsand\\\". Could be \\\"minen Enckten vnder Aufsand\\\".\\n\\nLine3: \\\"Sen So was menen Eyn weg\\\" maybe \\\"Sen So was menen Eyn weg\\\". Could be \\\"Den So was menen Eyn weg\\\"? The first word looks like \\\"Den\\\". Might be \\\"Den\\\". Let's assume \\\"Den\\\". The image: \\\"Den So was menen Eyn weg\\\". Hmm.\\n\\nLine4: \\\"Semme Sen wir machten\\\" maybe \\\"Semme Den wir machten\\\". Could be \\\"Semme Den wir machten\\\". The first word \\\"Semme\\\"? Might be \\\"Semme\\\". Could be \\\"Semme\\\". Let's keep as seen.\\n\\nLine5: \\\"und vichent Sie Enckte Suck\\\" maybe \\\"und vichent Sie Enckte Suck\\\". Could be \\\"und vichent Sie Enckte Suck\\\".\\n\\nLine6: \\\"und vil in vntz an Sen anb\\\" maybe \\\"und vil in vntz an Sen anb\\\". Could be \\\"und vil in vntz an Sen anb\\\".\\n\\nLine7: \\\"und Sie pferit vntz an Sie\\\" maybe \\\"und Sie pferit vntz an Sie\\\".\\n\\nLine8: \\\"petel und was ze mol ein groffer\\\" maybe \\\"petel und was ze mol ein groffer\\\". Could be \\\"petel\\\".\\n\\nLine9: \\\"nebel Es wir kum gespand\\\" maybe \\\"nebel Es wir kum gespand\\\". Could be \\\"nebel Es wir kum gespand\\\".\\n\\nLine10: \\\"und als mit groffer arbait kome\\\" maybe \\\"und als mit groffer arbait kome\\\". The word \\\"kome\\\" maybe \\\"kome\\\". Could be \\\"kome\\\".\\n\\nLine11: \\\"wir ze mittrem tag zu Sant\\\" maybe \\\"wir ze mittrem tag zu Sant\\\". The \\\"zu\\\" maybe \\\"zu\\\". The \\\"Sant\\\" maybe \\\"Sant\\\".\\n\\nLine12: \\\"Eripoffel vff Sen Berg So\\\" maybe \\\"Eripoffel vff Sen Berg So\\\". Could be \\\"Eripoffel\\\". Might be \\\"Eripoffel\\\". Could be \\\"Eripoffel\\\".\\n\\nLine13: \\\"So fach ich die B\u00fccher So gar\\\" maybe \\\"So fach ich die B\u00fccher So gar\\\". Could be \\\"So fach ich die B\u00fccher So gar\\\".\\n\\nLine14: \\\"vil Gerrin wopen in Rome\\\" maybe \\\"vil Gerrin wopen in Rome\\\". Could be \\\"vil Gerrin wopen in Rome\\\".\\n\\nLine15: \\\"Sie in fir Ed Gyn gelben Gand\\\" maybe \\\"Sie in fir Ed Gyn gelben Gand\\\". Could be \\\"Sie in fir Ed Gyn gelben Gand\\\".\\n\\nLine16: \\\"So p\u00fcnt mines vatters Plagen\\\" maybe \\\"So p\u00fcnt mines vatters Plagen\\\". Could be \\\"So p\u00fcnt mines vatters Plagen\\\".\\n\\nLine17: \\\"wopen aof in Sen emen\\\" maybe \\\"wopen aof in Sen emen\\\". Could be \\\"wopen aof in Sen emen\\\".\\n\\nThis is very uncertain. Might need better transcription. Could be a known text? Maybe it's the \\\"Basler Chronik\\\"? Or \\\"Erz\u00e4hlung\\\"? Could be a manuscript of the \\\"Chronik\\\" of... Hmm.\\n\\nAlternative approach: maybe the text is from the \\\"Basler Chronik\\\" or \\\"Tschudi\\\"? Could be the \\\"Chronik\\\" of the \\\"Burgunderkrieg\\\"? Not sure.\\n\\nGiven the instruction: Do not use OCR or attempt to interpret unclear text - transcribe what you can see. So we need best effort.\\n\\nMaybe the superscribed letters: \\\"u with superscribed o\\\" is \\\"uo\\\". Might have \\\"v\\\" for \\\"u\\\". The script uses \\\"v\\\" for \\\"u\\\". Might need to keep as is.\\n\\nFolio number: top right \\\"3\\\". So folio: \\\"3\\\".\\n\\nNo marginal additions visible. Maybe none.\\n\\nWe need JSON with folios array with one object.\\n\\nFields: folio, text, addition1, addition2, addition3.\\n\\nText with \\\\n line breaks.\\n\\nLet's try to transcribe line by line more carefully.\\n\\nLooking at image:\\n\\nFirst line: \\\"Und ein pferit Sie wir und\\\" Actually the first word looks like \\\"Und\\\" with capital U, then \\\"ein\\\", then \\\"pferit\\\", then \\\"Sie\\\", then \\\"wir\\\", then \\\"und\\\". The \\\"und\\\" at end has a line through? Might be \\\"und\\\". OK.\\n\\nSecond line: \\\"minen Enckten vnder Aufsand\\\" The first word \\\"minen\\\". Second \\\"Enckten\\\". Third \\\"vnder\\\". Fourth \\\"Aufsand\\\". Maybe \\\"Aufsand\\\". OK.\\n\\nThird line: \\\"Den So was menen Eyn weg\\\" The first word looks like \\\"Den\\\". Could be \\\"Den\\\". Then \\\"So\\\". Then \\\"was\\\". Then \\\"menen\\\". Then \\\"Eyn\\\". Then \\\"weg\\\". OK.\\n\\nFourth line: \\\"Semme Den wir machten\\\" First word \\\"Semme\\\"? Could be \\\"Semme\\\". Maybe \\\"Semme\\\". Then \\\"Den\\\". Then \\\"wir\\\". Then \\\"machten\\\". OK.\\n\\nFifth line: \\\"und vichent Sie Enckte Suck\\\" First \\\"und\\\". Then \\\"vichent\\\". Then \\\"Sie\\\". Then \\\"Enckte\\\". Then \\\"Suck\\\". OK.\\n\\nSixth line: \\\"und vil in vntz an Sen anb\\\" First \\\"und\\\". Then \\\"vil\\\". Then \\\"in\\\". Then \\\"vntz\\\". Then \\\"an\\\". Then \\\"Sen\\\". Then \\\"anb\\\". Maybe \\\"anb\\\" is \\\"anb\\\"? Could be \\\"anb\\\". OK.\\n\\nSeventh line: \\\"und Sie pferit vntz an Sie\\\" First \\\"und\\\". Then \\\"Sie\\\". Then \\\"pferit\\\". Then \\\"vntz\\\". Then \\\"an\\\". Then \\\"Sie\\\". OK.\\n\\nEighth line: \\\"petel und was ze mol ein groffer\\\" First \\\"petel\\\". Then \\\"und\\\". Then \\\"was\\\". Then \\\"ze\\\". Then \\\"mol\\\". Then \\\"ein\\\". Then \\\"groffer\\\". OK.\\n\\nNinth line: \\\"nebel Es wir kum gespand\\\" First \\\"nebel\\\". Then \\\"Es\\\". Then \\\"wir\\\". Then \\\"kum\\\". Then \\\"gespand\\\". OK.\\n\\nTenth line: \\\"und als mit groffer arbait kome\\\" First \\\"und\\\". Then \\\"als\\\". Then \\\"mit\\\". Then \\\"groffer\\\". Then \\\"arbait\\\". Then \\\"kome\\\". OK.\\n\\nEleventh line: \\\"wir ze mittrem tag zu Sant\\\" First \\\"wir\\\". Then \\\"ze\\\". Then \\\"mittrem\\\". Then \\\"tag\\\". Then \\\"zu\\\". Then \\\"Sant\\\". OK.\\n\\nTwelfth line: \\\"Eripoffel vff Sen Berg So\\\" First \\\"Eripoffel\\\". Then \\\"vff\\\". Then \\\"Sen\\\". Then \\\"Berg\\\". Then \\\"So\\\". OK.\\n\\nThirteenth line: \\\"So fach ich die B\u00fccher So gar\\\" First \\\"So\\\". Then \\\"fach\\\". Then \\\"ich\\\". Then \\\"die\\\". Then \\\"B\u00fccher\\\". Then \\\"So\\\". Then \\\"gar\\\". OK.\\n\\nFourteenth line: \\\"vil Gerrin wopen in Rome\\\" First \\\"vil\\\". Then \\\"Gerrin\\\". Then \\\"wopen\\\". Then \\\"in\\\". Then \\\"Rome\\\". OK.\\n\\nFifteenth line: \\\"Sie in fir Ed Gyn gelben Gand\\\" First \\\"Sie\\\". Then \\\"in\\\". Then \\\"fir\\\". Then \\\"Ed\\\". Then \\\"Gyn\\\". Then \\\"gelben\\\". Then \\\"Gand\\\". OK.\\n\\nSixteenth line: \\\"So p\u00fcnt mines vatters Plagen\\\" First \\\"So\\\". Then \\\"p\u00fcnt\\\". Then \\\"mines\\\". Then \\\"vatters\\\". Then \\\"Plagen\\\". OK.\\n\\nSeventeenth line: \\\"wopen aof in Sen emen\\\" First \\\"wopen\\\". Then \\\"aof\\\". Then \\\"in\\\". Then \\\"Sen\\\". Then \\\"emen\\\". OK.\\n\\nMaybe the last line ends with \\\"emen\\\". Could be \\\"emen\\\". Might be \\\"emen\\\".\\n\\nWe need preserve line breaks with \\\\n.\\n\\nLet's produce JSON.\\n\\nPotential issues: The first line \\\"Und ein pferit Sie wir und\\\" maybe \\\"Und ein pferit Sie wir und\\\". Could be \\\"Und ein pferit Sie wir und\\\". OK.\\n\\nMaybe the word \\\"pferit\\\" is \\\"pferit\\\". Could be \\\"pferit\\\". Might be \\\"pferit\\\". Keep.\\n\\nAlso note the script uses \\\"v\\\" for \\\"u\\\". So \\\"vnder\\\" is correct.\\n\\nMaybe \\\"Aufsand\\\" is \\\"Aufsand\\\". Could be \\\"Aufsand\\\". OK.\\n\\nLet's output.\\n\\nIf no marginal additions, addition1 \\\"\\\", addition2 \\\"\\\", addition3 \\\"\\\".\\n\\nReturn JSON.\\n\\nLet's produce final answer.\"},\"token_ids\":null,\"routed_experts\":null,\"seed\":null}],\"created\":1786841048,\"model\":\"meta-models/Muse-Glimmer-30B\",\"object\":\"chat.completion\",\"service_tier\":null,\"system_fingerprint\":\"vllm-0.1.dev19059+g66826a22d-tp2-46311a71\",\"usage\":{\"completion_tokens\":2779,\"prompt_tokens\":4140,\"total_tokens\":6919,\"completion_tokens_details\":null,\"prompt_tokens_details\":{\"audio_tokens\":null,\"cached_tokens\":0,\"created_cache_tokens\":4128,\"multimodal_tokens\":{\"image\":3628}}},\"prompt_token_ids\":null,\"prompt_text\":null,\"kv_transfer_params\":null,\"ec_transfer_params\":null,\"metrics\":null,\"prompt\":[]}"}, "scoring": {"fuzzy": 0.649, "cer": 0.389, "cost_summary": {"total_input_tokens": 49680, "total_output_tokens": 57034, "total_tokens": 106714, "input_cost_usd": 0.017387999999999994, "output_cost_usd": 0.085551, "total_cost_usd": 0.102939}}, "normalized_score": 61.1}