PatRe：特許審査全工程をモデル化した新評価指標

13/9/2026

2026年5月5日に公表された「PatRe: A Full-Stage Office Action and Rebuttal Generation Benchmark for Patent Examination （PatRe: 特許審査におけるフルステージのオフィスアクションおよび反論書作成のベンチマーク）」は、複雑な特許審査の全工程をモデル化した新しい評価指標であるPatReを紹介する研究論文です。従来のAI評価が単純な分類に留まっていたのに対し、本論文は審査官による拒絶理由通知（Office Action）と出願人による反論（Rebuttal）のやり取りを、動的な対話プロセスとして再現しています。
GPT-5-mini and GPT-4o-mini, Gemini-2.5-Flash, DeepSeek-V3.2等の大規模言語モデル（LLM）を用いた実験の結果、モデルは既存の議論に応答する能力には長けているものの、自ら不備を発見する能力や法的・技術的な妥当性の判断には依然として課題があることが浮き彫りになりました。このベンチマークは、専門性の高い法的推論におけるAIの限界を明示し、知財分野におけるより高度なモデル開発を促進することを目的としていますので、GPT-6 Astra等の最新のモデルで同じ実験を行えば、成績は改善する可能性が高く、特に「審査官役」と「反論書作成」の差が縮まるのではないかと考えられ、そうした検討結果の報告が期待されます。
本件について、生成AIに深掘り調査させましたので、ご参照ください。なお、生成AIによる調査・分析結果は、公開された情報だけに基づくものであり、必ずしも実情を示したものではなく、誤った情報を含む可能性があることにご留意のうえ、ご参照ください。

PatRe: A Full-Stage Office Action and Rebuttal Generation Benchmark for Patent Examination （PatRe: 特許審査におけるフルステージのオフィスアクションおよび反論書作成のベンチマーク）
https://arxiv.org/abs/2605.03571

PatRe: A New Benchmark Modeling the Entire Patent Examination Process
Published on May 5, 2026, the research paper “PatRe: A Full-Stage Office Action and Rebuttal Generation Benchmark for Patent Examination” introduces PatRe, a new benchmark that models the entire complex patent examination process. Whereas previous AI evaluations were limited to simple classification tasks, this paper recreates the exchanges between office actions issued by patent examiners and rebuttals submitted by applicants as a dynamic dialogue.
Experiments using large language models (LLMs), including GPT-5-mini, GPT-4o-mini, Gemini-2.5-Flash, and DeepSeek-V3.2, revealed that although these models are adept at responding to existing arguments, they still face challenges in independently identifying deficiencies and assessing legal and technical validity. The benchmark aims to highlight the limitations of AI in highly specialized legal reasoning and encourage the development of more advanced models for the intellectual property field.
Repeating the same experiments with the latest models, such as GPT-6 Astra, would likely yield improved results. In particular, the performance gap between acting as a patent examiner and drafting applicants’ rebuttals may narrow. Reports examining these possibilities are therefore eagerly awaited.
I asked generative AI to conduct an in-depth investigation of this topic. Please refer to the findings, bearing in mind that the AI-generated research and analysis are based solely on publicly available information, may not necessarily reflect actual circumstances, and may contain errors.

0 Comments

よろず知財コンサルティングのブログ