Patsnapの特許実務特化AIベンチマーク「PatentBench」

13/1/2026

Patsnapは、2026年1月12日、特許実務特化AIベンチマーク「PatentBench」を発表しました。そして、このベンチマークで、Patsnap Eureka新規性調査エージェント、ChatGPT-o3（ウェブ検索対応）、DeepSeek-R1（ウェブ検索対応）の3モデルを同一条件で比較した結果、Patsnap EurekaはTop100結果におけるX検出率・Xリコール率でそれぞれ81％・36％を記録、汎用モデルに比べてより正確にX文献を特定し、より漏れなく拾い上げられるAIであることを示しているとしています。
こうした生成AIの使い方をしている人はいないと思いますので、ChatGPT-o3（ウェブ検索対応）、DeepSeek-R1（ウェブ検索対応）のTop100結果におけるX検出率・Xリコール率の低さはそんなものだろうと思いますが、Patsnap EurekaがTop100結果におけるX検出率・Xリコール率でそれぞれ81％・36％というのは、研究者や技術者がスクリーニングに使うには十分な水準のようですが、まだ特許担当者が使って満足する水準には達していないのではないかと思ってしまう数字です。
ただ、こうした評価指標が構築されると、生成AIはあっという間に進化しますので、今後に期待したいと思います。
この発表について、生成AIに深堀させました。さらに、結果をNotebookLMでインフォグラフィック、スライド資料にさせました。
なお、生成AIによる調査・分析結果は、公開された情報からだけの分析であり、必ずしも実情を示したものではないこと、誤った情報も含まれていることについてはご留意されたうえで、ご参照ください。

知財の仕事はAIに任せられるのか？- Patsnapは知財専用AI評価のグローバルスタンダードを発表
https://prtimes.jp/main/html/rd/p/000000006.000055070.html

Patsnap’s Patent-Practice-Specific AI Benchmark “PatentBench”
On January 12, 2026, Patsnap announced PatentBench, an AI benchmark specifically designed for patent practice. Using this benchmark, three models were evaluated under identical conditions: the Patsnap Eureka novelty search agent, ChatGPT-o3 (with web search enabled), and DeepSeek-R1 (with web search enabled). According to the results, Patsnap Eureka achieved an X-document detection rate of 81% and an X-document recall rate of 36% within the Top-100 results. Patsnap claims that this demonstrates Eureka’s ability to identify X references more accurately and retrieve them more comprehensively than general-purpose models.
I suspect that very few people are currently using generative AI in this manner, so the relatively low X-document detection and recall rates of ChatGPT-o3 (with web search) and DeepSeek-R1 (with web search) in the Top-100 results are probably unsurprising. That said, while Patsnap Eureka’s figures—81% detection and 36% recall in the Top-100—appear sufficient for researchers and engineers to use as a screening tool, they still feel short of a level that patent professionals would find fully satisfactory.
However, once evaluation metrics like these are established, generative AI tends to evolve extremely rapidly, so expectations for future improvements are high.
I asked a generative AI to conduct a deeper analysis of this announcement, and additionally had the results converted into infographics and slide materials using NotebookLM. Please note that the investigation and analysis produced by the generative AI are based solely on publicly available information, may not fully reflect the actual situation, and may contain inaccuracies. Readers are advised to keep this in mind when referring to the materials.

0 Comments

よろず知財コンサルティングのブログ