RISE Humanities Data Benchmark, 0.5.5-pre1

Search Test Runs

 

A test run is a single execution of a benchmark test using a defined model configuration.
Each run represents how a particular large language model (LLM) — such as GPT-4, Claude-3, or Gemini — performed on a given task at a specific time, with specific settings.

A test run includes:

  • Prompt and role definition – what the model was asked to do and from what perspective (e.g. “as a historian”).
  • Model configuration – provider, model version, temperature, and other generation parameters.
  • Results – the model’s actual response and its evaluation (scores such as F1 or accuracy).
  • Usage and cost data – token counts and calculated API costs.
  • Metadata – information like the test date, benchmark name, and person who executed it.

Together, test runs make it possible to compare models, providers, and configurations across benchmarks in a transparent and reproducible way.

Search Results

Your search for Benchmark 'fraktur_adverts__true' with Search Hidden 'False' returned 125 results, showing page 11 of 13.
Result 101 of 125

Test T0084 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideropenai
Modelgpt-4.1-mini
  
Temperature0.0
DataclassDocument
  
Normalized Score0.00 %
Test time14.72 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.05 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 9.3K IT + 4.3K OT = 13.6K TTCost: 0.004$0.007$0.011$
Result 102 of 125

Test T0082 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideropenai
Modelgpt-4o-mini
  
Temperature0.0
DataclassDocument
  
Normalized Score22.10 %
Test time8.99 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.27 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 130.7K IT + 4.6K OT = 135.3K TTCost: 0.020$0.003$0.022$
Result 103 of 125

Test T0199 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Providergenai
Modelgemini-2.5-flash
  
Temperature0.0
DataclassDocument
  
Normalized Score90.00 %
Test time55.12 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results

{
  "advertisements": [
    {
      "date": "1731-12-28",
      "tags_section": "Personen so ihre Dienste offeriren!",
      "text": "1. Ein junger Mensch 20. Jahr alt von sehr honne-sten Eltern, wegen dessen Conduite sich in Aug-spurg nach Belieben kan erkundiget werden, su-chet vor Zahlung der ersten Clais bedienten in einem guten Hauß (allwo in Scripturen recht viel zu thun ist) verspricht dem Herrn Patronen in Teutsch-und Italiänisch- auch wo es erfordert wird in Frantzösischer Correspondenz und andern Handels-Verrichtungen gute Dienste zu leisten, und alles Vergnügen zu geben, sintemalen er ebender keinen Heller Salarium begehret, biß er bey dem Hn. Pa-tronen, seiner Capacitet halden, genugsame Pro-ben abgelegt und gezeiget haben wird, offerirt auch auff die Prob zu kommen und die Reiſi-Spesen zu bestreiten, auch wo er nicht beliebt werden solte, seinen Rückweg auff nämliche Condition zu nehmen."
    },
    {
      "date": "1731-12-28",
      "tags_section": "Personen so ihre Dienste offeriren!",
      "text": "2. Mstr. Niclaus Brögli, wohnhafft in der Mindern Stadt an der Obern Rheingauß in dem (sogenand-ten Rußgäßlein, offerirt seine Dienste in Einforderung Schuld- und andern Sachen, es seye im Sundgau, Marggraffenland, Basler-Biſtum, Basel-Gebieth oder anderstwo."
    },
    {
      "date": "1731-12-28",
      "tags_section": "Personen so ihre Dienste offeriren!",
      "text": "3. Herr Georg Müller von Lyon, welcher vor gerau-mer Zeit seine Dienste in Verfertigung Accommodis-und Außbesserung so wohl neuer als alter Seiden-Galletſchen-Baden-Woll-und Baumwollener Manns-Frauen-und Jungfer-Strümpffen, auch in Verfertigung der Bagnolleten und Frauenzimmer-Taschen, offeriret, hat vergangene Woche sein Lo-sament abgeändert, und befindet sich nunmehro zu hinderst in der Neuen-Vorstatt in Frau Zuchlin Behaußung, allwo er noch fürbaß in dieser Arbeith zu Männiglichs beliebigen Diensten stehet."
    },
    {
      "date": "1731-12-28",
      "tags_section": "Ankündigungen",
      "text": "Man thut allen und jeden Ehren-Personen, und Benachbarten Orthen, so von Adelich oder Patriciſchen Geschlechtern herstammen, hiemit kund und zuruffen, daß die von denen Wohl-Ehrwürdigen und Hochgelahrten Herren Patribus Bened. D. L. T. M. W. in Frantzösischer Sprach und 3. Volum. in 4to. aufgesetzet, und von einem Königlich Frantzöſischen Dolmetſcher, übersehen und verbesserte grosse History der alten und krüchtigen Schweitz, oder Eidgenoſchafft, in dem Brand zt, bald durch den Druck an das Liecht zu kommen. Alle gedachte Hoch-Adeliche und Ehren-Personen nun, sie seyen Geist- oder Weltlichen Standes, dero Vor-Elteren sich vor und nach der Schweitzer Freyheit, durch ruhmliche Thaten erkandt gemacht und diktinguirt haben, können die Abzeichnungen derer Bildnussen, sambt der eigentlichen Beschreibung ihrer Helden-Thaten einsenden, umb diesem Buch einverleibt zu werden, jedoch mit diesem Beding, daß man vor jedes Contrefait zu stehen von 6. Königlichen Zöllen hoch, fünffzig Francken Frantzöſisch Gelt erleget. Diejenigen aber, welche ihre Bildnussen lieber anderwärts durch geschickte und vortreffliche Meister auf 4. zölligen Blatten wol-len sehen lassen, und einschicken, thun den Herren Verlegern einen grössern Gefallen, als wann sie die 50. Francken darfür bezahlen. Betreffende die unanständlichen und dißtorischen Berichte über jes des Geschlecht, solche mögen wenig oder viel Platz einnehmen, wird man keinen anderst, als gegen Erlegung 24. Francken gesagten Gelts annehmen. Man bittet übrigens ganz innständig, keine Abriß von denen Contrafaiten einzusenden, sie seyen dann ihren Originalien durchauß gleichförmig, und mit der Feder oder Chinesischen Dinte sehr wohl und sauber gezeichnet. Der Plan dieser Historj wird al-len denen zugestellt, welche zu der Zierde und Vollkommenheit deroselben etwas beytragen wer-den. Man wird das Gelt, die Abriß und Kupffer-stücke, sowohl bey Herrn Jådard, Königlichen Tre-forier zu Hüningen, als bey Herrn Welſcher, Wett-stein allhier in Basel abnehmen, welche Herren sich werden angelegen seyn lassen, daß denen Herren Verlegern alles richtig zukomme."
    },
    {
      "date": "1731-12-28",
      "tags_section": "Allerhand Nachrichten:",
      "text": "Nachdeme die zum Trost und Wieder-Auffbauung der abgerandten und sehr beschädigten Stadt Reutlingen er-richtete sechs Classen Lotterie der kurzer Zeit glücklich zu Ende gegangen und gezogen worden, so hat man auß Anrathen und Außsuchen wohl-gesinnter Ehren-Leuthen (welche zu besserer Herführung der allda ruinirten publiquen Gebäuden, Kirchen und Schulen, zc. gerne ein Mehrer herauftragen wolten) ent-schlossen, deroselben eine zwölffte Klenere Lotterie, unter wider-mäßiger Guarantie des dasig Hochl. Magistrats nachzu ehen; Dero dieße Collecte dann wiedrumb Verlegern dieser Nach-richten Johann Burckhardt in dem Adreße. Contor ist auffge-fragen worden: Es ist dieſelbe sehr favorabel und artig einge-richtet und bestehet in drey Classen und 10000. looſen, davon das Billet in die erste Class 5. Gulden, in die andere 3. fl. und in die dritte 2. fl. kostet, wormit man considerable Gewünste bekommen kan, inmaßen nicht mehr als ein Fehler gegen einem Treffer, wie aus dem herauß-gebenden Plan mit mehrerm zu ersehen ist. Damit man aber hieher enden mehren Nuß ein-zulegen, und weniger Urſach oder Zuſatz einigen Mißgunsti-gen haben möge, so kan die Einlage zur Subſcription geschehen, nach deren man den Einschreibung nur das halbe, nämlich an statt 5. fl. 3. und ein halben Gulden, das andere halbe aber zur Vorziehung der ersten Clais bezahlen thut. Es ist zwar die Ziehung deroselben in dem Plan auff den Monath Aprilis ausgeschrieben worden, man siehet aber bereits zum vorauf-daß selbige (sowohl wegen dero Vortheilhaftigkeit, als auch in Ansehung so vieler Herren Liebhabern, welche darum ein Theil zu nehmen sich anerbiethen haben) noch eeher kommen, le-viel und zum Stande kommen werde, dabero die allhiefige re-ſpective Herren Liebhabere und so viel mehrers mit dero be-liebigen Einlagen zu eylen, ganz freundlich ersucht und ge-bätten werden, rc."
    }
  ]
}

Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.92 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 3.9K IT + 9.7K OT = 13.6K TTCost: 0.001$0.024$0.025$
Result 104 of 125

Test T0132 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Providergenai
Modelgemini-2.5-pro
  
Temperature0.0
DataclassDocument
  
Normalized Score92.90 %
Test time47.40 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results

{
  "advertisements": [
    {
      "date": null,
      "tags_section": null,
      "text": "Kaissers ist die Bewohnung auf dem ersten Stock zu verleihen, bestehend in 3 Stuben, Kuchin, Kammern, Sommerhaus, Keller 2c. nach Belieben zu beziehen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "1. Es sucht jemand einen silbern Schreibzeug mit aller Zugehördt und schöner Faßon, der Liebhaber ist im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "2. Man begehrt eine Chaise mit 4 Rädern zu etwann 2 Pläzen und zu einem Pferd samt gehörigem Geschirr, der Liebhaber ist im Berichthaus ohne Entgeldt zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "3. Wer hier oder auf dem Land noch neuen Träber-Brandtewein Ohmenweis zu verkauffen hat, kan im Berichthaus einen Käuffer darzu vernehmen, wie auch zu einem mittelmäsigen Sponton, so ebenfahls begehrt wird, beydes ohne Entgeldt im Berichthaus ist zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "4. Es sucht jemand eine gute, solide und ungefehr einen Saum haltende Feuersprizen zum tragen oder zum führen, der Liebhaber ist im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "5. Es sucht jemand einen mösinginen Kron-Leuchter mit 8 Lichtstöcken, der Liebhaber ist im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "6. Es verlangt jemand eine nicht gar grosse eiserne Geld-Cassa zu kauffen, der Liebhaber ist im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "7. Es verlangt jemand einen glatten nußbaumern zweythürigen Kasten, der Liebhaber ist im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Hingegen wird zu kauffen begehrt:",
      "text": "8. Man verlangt einen noch guten Kachel-Ofen mittelmäsiger Grösse mit oder ohne Fuß, der Liebhaber ist im Berichthaus zu erfragen; leidet aber keinen Verzug."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "1. Ein Losament mitten im Offenburger-hof, wie der Augenschein zeigen wird, auf nächste Faßnacht, oder Pfingst-Fronfasten zu beziehen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "2. Ein sauberes Losament an der Spalen von einer Stuben und Nebenkammer, oder nach Belieben zwo Kammern samt einem heitern Sommerhaus, alles auf einem Boden, und nach Belieben Stallung und Heubühne, auf Pfingst-Fronfasten zu beziehen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "3. Ein Losament mit einem schönen Laden und Laden-Stüblein nebst einem grossen Sommershaus, Stuben, Kuchin, 2 grosse Kammern, einem besondern Keller, Holtzhaus, ein beschlossenes Bauchhaus, auf der Eisengaß, im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "4. Ein Losament in der Fröschgaß von einer Stuben, 2 Kammern und Plaz zum Holtz, auf Pfingst-Fronfasten zu beziehen, im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "5. Ein Losament für 2 Personen in der Weissen-Gaß, bestehend aus einem Stüblein und Alleskofen, Plaz zum hausrath zu stellen, auf einem Boden, wie auch Plaz zum holtz, Brunsnen un haus, à 15 Pfund Zins des Jahrs, kan gleich bezogen werden, im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "6. Ein schönes Losament ebenes Fusses auf einem Boden von 2 Stuben, einem grossen Saal, Kammern, Kuchin, Keller, Plaz zum holtz, Zutritt zum Bauchhaus, und so beliebig, einem Garten in der Aeschener Vorstadt, im Berichthaus ohne Entgeldt zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "7. Eine grosse doppelte Frucht-Schütte auf E. E. Geselschafft zum hohen Rupf."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "8. Bis den 1sten diß wird eine säugende hündin begehrt, um etliche junge hunde zu auferziehen, gegen einer Erkenntlichkeit; wo sich anzumelden, ist im Berichthaus ohne Entgeldt zu vernehmen."
    },
    {
      "date": null,
      "tags_section": "Es wird zum Ausleihen offeriert:",
      "text": "9. Auf künftige Weyhnacht ist unter der St. Peters-Schul ein geräumiges Magazin zu verleihen, darum sich in dem Schulhaus anzumelden."
    },
    {
      "date": null,
      "tags_section": "Kost, Information und Bedienungen werden angetragen und begehrt:",
      "text": "1. In ein wackeres protestantisches hauß in denen Niederlanden wird ein Candidatus Theologiæ, der neben andern auch die französische Sprach verstünde, zu einem haus-Præceptor begehrt, weshalb sich im Berichthaus zu melden."
    },
    {
      "date": null,
      "tags_section": "Kost, Information und Bedienungen werden angetragen und begehrt:",
      "text": "2. Man verlangt einen Menschen in eine Fabricke, der sich zu allerley haus-Geschäften brauchen liesse, im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Kost, Information und Bedienungen werden angetragen und begehrt:",
      "text": "3. Man sucht einen Stallknecht in ein Wirthshaus, im Berichthaus zu erfragen."
    },
    {
      "date": null,
      "tags_section": "Kost, Information und Bedienungen werden angetragen und begehrt:",
      "text": "4. Ein"
    }
  ]
}

Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.95 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 3.9K IT + 9.7K OT = 13.6K TTCost: 0.005$0.097$0.102$
Result 105 of 125

Test T0120 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideropenai
Modelgpt-5
  
Temperature0.0
DataclassDocument
  
Normalized Score13.60 %
Test time74.13 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.15 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 6.3K IT + 19.6K OT = 25.9K TTCost: 0.008$0.196$0.204$
Result 106 of 125

Test T0122 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideropenai
Modelgpt-5-nano
  
Temperature0.0
DataclassDocument
  
Normalized Score0.30 %
Test time14.16 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.01 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 8.8K IT + 12.3K OT = 21.1K TTCost: 0.000$0.005$0.005$
Result 107 of 125

Test T0123 at 2025-09-30

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideranthropic
Modelclaude-opus-4-1-20250805
  
Temperature0.0
DataclassDocument
  
Normalized Score52.60 %
Test time62.48 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.56 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: 11 months ago2025-09-30Tokens: 10.7K IT + 10.4K OT = 21.0K TTCost: 0.160$0.777$0.937$
Result 108 of 125

Test T0132 at 2025-09-24

book-page transcription printed fraktur 18, 19 de prose

Configuration
Providergenai
Modelgemini-2.5-pro
  
Temperature0.0
DataclassDocument
  
Normalized Score94.90 %
Test time32.89 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.96 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: n/an/aTokens: n/a IT + n/a OT = n/a TTCost: n/a$n/a$n/a$
Result 109 of 125

Test T0120 at 2025-09-24

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideropenai
Modelgpt-5
  
Temperature0.0
DataclassDocument
  
Normalized Score0.00 %
Test time73.09 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.00 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: n/an/aTokens: n/a IT + n/a OT = n/a TTCost: n/a$n/a$n/a$
Result 110 of 125

Test T0137 at 2025-08-27

book-page transcription printed fraktur 18, 19 de prose

Configuration
Provideropenai
Modelo3
  
Temperature0.0
DataclassDocument
  
Normalized Score46.40 %
Test time17.04 seconds
Prompt

## IDENTITY AND PURPOSE

You are an OCR and information extraction system trained to process historical newspaper pages printed in 18th-century German using Fraktur type. The pages contain mostly classified advertisements. Your task is to identify and extract each advertisement *exactly as printed*, including historical spellings, typographic errors, punctuation, and formatting.


## INSTRUCTIONS

- Extract **all advertisements** from the input image, one after the other, following the sequence on the page.
- Maintain the **original spelling**, capitalization, and any **typos or non-standard forms**.
- Follow these transcription rules: 
  - the long s (ſ) is transcribed as "s"
  - "/" is transcribed as ","
- Use the masthead of the newspaper only to extract the date, ignore other content.
- The layout is typically **two-column**; extract ads from both columns, including the ad number.
- Return the result as a **JSON object** in the specified format and **nothing else** (no explanations, summaries, or additional text).
- For each advertisement, include:
  - `"date"`: the publication date of the page in ISO 8061 format (YYYY-MM-DD)
  - `"tags_section"`: the heading under which the advertisement appears
  - `"text"`: the full advertisement text

## EXAMPLE OUTPUT

{
  "advertisements": [
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "5. Ein kleines, jedoch listiges Lehrbuch der Zauberkunst, lange im Gebrauche des jungen Bartolomeus Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zum Verkauff offeriert",
      "text": "6. Ein rarer, mit Edelsteinen besetzter Saxophon-Kasten, aus dem Besitze der Jungfer Lisa Simpson."
    },
    {
      "date": "1731-01-02",
      "tags_section": "Es werden zu Entleihen begehrt",
      "text": "7. Ein gar prachtvoller, jedoch etwas zerlesener Band mit Rezepten von Margaretha Simpsonin."
    }
  ]
}

Results
Scoring
Fuzzy Score F1 micro / macro Micro precision/recall Tue/False Positives
0.50 n/a n/a n/a n/a n/a n/a n/a n/a
      Micro Precision Micro Recall Instances TP FP FN
Costs / Pricing
Pricing Date: n/an/aTokens: n/a IT + n/a OT = n/a TTCost: n/a$n/a$n/a$