A test run is a single execution of a benchmark test using a defined model configuration.
Each run represents how a particular large language model (LLM) — such as GPT-4, Claude-3, or Gemini — performed on a given task at a specific time, with specific settings.
A test run includes:
Together, test runs make it possible to compare models, providers, and configurations across benchmarks in a transparent and reproducible way.
manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.5-35b-a3b-20260224 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"vnd ein pferit die wir vnd
minen knechten vber ruffend
sen do was meinen kün weg
deme den wir machten vnd
vnd viliend die knecht sich
vnd vil in vnz an den and
vnd die pferit vnz an die
pettel vnd was ze mol ein grofse
nebel dz wir kum gepaffend
vnd als mit groffer arbeit kome
wir ze mitttem tag zu Pant
krapffel vff den berg do
do sach ich die bücher so gar
vil herren wappen zu stone
die in stür vnd hin geben hand
do stund meines vatters pflegen
wappen och in dem zineg","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
anthropic claude-opus-4-7 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"vnd ein pferit die mir vnd
minen knechten vber hulffend
den do was mengen keyn weg
denne den wir machtend
vnd viehend die knecht dick
vnd vil in vntz an den ars
vnd die pferit vntz an die
settel vnd was ze mol ein grosser
nebel dz wir kum gesachend
vnd als mit grosser arbeit kome
wir ze mittem tag zů sant
kristoffel vff dem berg do
do sach ich die bůcher do gar
vil herren wopen zu stone
die ir stür do hyn geben hand
do stůnd mines vatters seligen
wopen och in dem einen","addition1":null,"addition2":null,"addition3":null}]}manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.5-9b-20260310 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"Vnd ein pferit die mir vnd
minen knechtten vber helfend
sen do was menan ein weg
deme den wir machend
vnd vichend die knecht gut
vnd vil in vntz an den arb
vnd sie pferit vntz an die
pettel vnd was ze mol ein grosser
nebel do wir kum gepadend
vnd als mit grosser arbeit kame
wir ze mittem tag zu pant
empoffel vff den berg do
do sach ich die bucher do gar
vil herren wappen zu rone
die ir stur och im geber hand
do stund minne vattero pfugen
wappen set in dem emeag","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.5-plus-20260216 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"Vnd ein pferit die mir vnd
minen knechten vber Aulfend
Sey Do was menen tag weg
denne das wir machtend
vnd vielend die knechte dik
vnd vil in vntz an den arb
vnd die pferit vns an die
pettel vnd was ze mol ein grosse
nebel dz wir kum gepassend
vnd als mit grosser arbeit kome
wir ze mittem tag zu sant
kristoffel vff den berg do
do sach ich die bucher do gar
vil herren wapey in stone
die ir stur helm geber hand
do stund mines vatters plogen
wapey och in dem einag","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter google/gemma-4-31b-it-20260402 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"Und em pferit Die wir und
minen Knechsten vber Kulsend
sey Do was menen kein Weg
denne den wir machstend
und vliehend Die Knechst Dut
und vil in vng ay sen ard
und Die pferit vng ay an Die
stat und was ze mol ein grosses
nebel Is wir kun tge passend
und als mit grosser arbeit kome
wir ze muttem tag zu sant
Kirstoffel vff den Berg do
Do fley ich Die bücher Do gar
vil herren wopen zu stone
Die in stur dclun geley hand
Do stund nuneb vatter Ruligen
wopen ach in dem emen","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.5-397b-a17b-20260216 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"Vnd ein pferit die mir vnd
minen knechten vber Rulfend
sey do was menig böser weg
deme den wir machtend
vnd viehend die knehte dick
vnd vil in vntz an den arb
vnd die pferit vntz an die
pettel vnd was ze mol ein grosse
nebel dz wir kum gepassend
vnd also mit grosser arbeit kame
wir ze mittem tag zu sant
kristoffel vff den berg do
do sach ich die bücher do gar
vil herren wapey zu ross
die ir stür helm gebey hand
do stünd mines vatters seligen
wapey och in dem einen","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.5-122b-a10b-20260224 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"Und ein pferit die mir und
minen knechten wider gulfend
sey so was menen kein weg
deme den wir machtend
und vieliend die knecht gut
und vil in vntz an den arb
und die pferit vntz an die
pettel und was ze mol ein grosse
nebel dz wir kum gepatend
und als mit grosser arbait kome
wir ze mittern tag zu Sant
kristoffel vff den berg do
do sach ich die bücher do gar
vil herrey wopen zu ston
die ir fürer ochin gebey hand
do pünd minnes vatters pügen
wopen och in dem einen","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter google/gemma-4-26b-a4b-it-20260403 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"und ein pferit die wir vnd
mine knestet wider kulfend
sen do was menen kün weg
jenne den wir machtend
und viehend die knestet dük
und vil in vng an den and
und die pferit vng an die
stuel vnd was ze mol ein grosser
nebel dz wir kun gegepende
und als mit grosser arbeit kome
wir ze nuttem tag zu sant
kerstoffel off den bery do
do hach ich die bücher do gar
vil herren wopen in stene
die in stur delym geley hand
do stünd nunne vatter flugen
wopen acht in dem enem","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.5-flash-20260224 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"3","text":"vnd ein pferit die wir vnd
minen knechten vber hulfend
sen do was meinen kün weg
deme den wir machten vnd
vnd viliend die knecht sich
vnd vil in vnz an den and
vnd die pferit vnz an die
pettel vnd was ze mol ein grofse
nebel dz wir kum gepaffend
vnd als mit groffer arbeit kome
wir ze mittem tag zu pant
krapffel vff den berg do
do sach ich die bücher so gar
vil herren wopen zu stone
die in stür vnd gun geben hand
do stund mines vatter vß flugen
wopen och in dem zineg","addition1":"","addition2":"","addition3":""}]}manuscript transcription handwritten 15 de prose
openrouter qwen/qwen3.6-plus-04-02 · temp 0.0 · dataclass Document
One model response from this run. The per-input comparison needs JavaScript.
{"folios":[{"folio":"73","text":"It zu dem ersten min her graff albrecht vo
nberg
It her ludwig lantgraf von liechtenberg
It graff ott von hemmenberg
It graff Bernhart von Regenstein
It graff gottfrid von hohenloch
It graff gebhart von Mansfeld
It graff ludwig von Arenburg
It her Gottfrid von Stoff
It her hans von tungern
It Jerg Bappanhein
It her Ruprecht vom stein wz vorhin Ritter
It hug vom Rotenhan
It Jerg von waldenfels
It hilprand von thungen
It Jerg von Elicben
It henyn quast","addition1":"bedpanckin","addition2":"","addition3":""}]}