Hugging Face と EleutherAI による「FineBooks」プロジェクトが、AI トレーニングデータに隠された大きな問題を明らかにしました。デジタル化された歴史的書籍に含まれる古い OCR（光学文字認識）エラーが、言語モデルの学習効率を大幅に低下させているのです。

問題：古い OCR テキストで学習した LLM の効率は 30%

調査によると、古い OCR プロセスで生成されたテキストを使用して学習したモデルの学習効率は、人間による文字起こしで学習したモデルの わずか 30% しか達成できない ことが判明しました。

Biodiversity Heritage Library だけでも、約 64 百万ページ に相当する 30 万冊 の公開領域書籍が影響を受けています。これは LLM 開発における隠れたコスト—モデルの訓練に必要な計算資源が 3 倍必要になることを意味します。

古い OCR エラーの具体的な実例

各時代の OCR 技術による誤認識の種類は多彩です。

歴史的書体の文字誤認識：古い活字や言語特有の字体がモダンな機械には正しく認識できていません。

古代文字の近代化エラー：長い「ſ」（s の長字）が通常の「s」に変換されるなど、言語学的に重要な区別が失われます。

リガチャと書式情報の喪失：複数文字の合字（リガチャ）や元の書籍の視覚的な書式構造が完全に削除されます。

これらの蓄積により、モデルが歴史的テキストの本質的な言語パターンを学習できず、生成品質が著しく低下してしまいます。

解決策：モダン OCR 技術による大規模再処理

朗報は、現代の OCR 技術が飛躍的に進化したことです。

最新 OCR 精度：97.6% の文字認識率

FineBooks が 14 の最新 OCR モデルをベンチマークしたところ、最高性能モデル「dots.mocr」は 97.6% の文字精度 を達成しました。さらに処理コストは極めて低廉で、わずか $0.34（34 円程度）/ 千ページ での再処理が可能です。

産業への実装：公開リーダーボード立ち上げ

FineBooks の戦略は以下の 3 段階です。

1. 評価フレームワークの公開：14 の OCR モデルをベンチマークしたリーダーボードを公開し、コミュニティによる継続的な最適化を促進します。

2. 大規模再処理計画：Biodiversity Heritage Library の約 20 万冊 の再処理を予定。これにより、LLM の訓練効率が 3 倍改善される見込みです。

3. オープンスタンダード化：修復されたテキストと評価メトリクスを共有し、業界全体の LLM トレーニングデータの品質向上を実現します。

限定的だが重要な影響：学術領域への応用可能性

注目すべきは、FineBooks の発表が「学術・科学的応用にはまだ誤り率が高い」と述べている点です。つまり、LLM トレーニング向けには十分な精度ですが、法律文書や医学論文といった 100% の精度を必要とする用途には、さらなる技術進化が必要です。

とはいえ、膨大なパブリックドメイン書籍のデータ価値が復活することで、LLM 企業の訓練コスト削減と、次世代モデルの言語理解精度向上が期待されています。