報道された記事の中の「化学知識は大学院レベル」というのはどういうことで言っているのだろうか？ということで、東工大の発表をみると、下記のような記載でした。なるほど、うまいキャッチかもしれません。
『〇化学事象の認識
GPT-4 は種々の化合物の物性データや特徴に関する知識データを有しており、大学院レベルの問題にも回答可能であった。物質の分子構造も IUPAC 命名法や SMILES 記法（用語 4）などを通して一部認識できた。典型的な化学反応の種類やメカニズムを認識したり、反応条件や生成物に関する質問にも迅速に対応したりすることができた。一方で複雑な分子構造の認識や、先端レベルの化学反応においては誤答が目立った。』
今後は、『本研究の成果を受け、最先端の化学研究や科学知識にも適合したモデルの開発に取り組み始めている。さらに、自動実験のためのロボットアームの制御など、化学研究を幅広くサポートするための大規模言語モデルシステムの構築も検討中である。』とのことで、期待したいと思います。
また、国立研究開発法人物質・材料研究機構 (NIMS)の研究でも、『GPT-4 exhibited a high understanding of general textbook-level knowledge in the field of organic chemistry. However, it fell short when dealing with specialized content or unique methods of synthesizing specific compounds.　（GPT-4 は有機化学分野における一般的な教科書レベルの知識を高い理解度で示しました。しかし、特殊な内容や特定の化合物を合成する独自の方法を扱う場合には不十分でした。）』ということですので、大規模言語モデルの可能性と限界を見極めたうえで有効活用されることを期待します。
 
化学知識は大学院レベル、東工大が調査整理した「GPT―4」の実力値
10/16
https://news.yahoo.co.jp/articles/5b340a66311c0bf232c186aebca91d5aab509cc1
 
GPT-4を使った化学研究の課題と展望に関する研究
化学研究におけるAIの活用範囲を検討
公開日：2023.10.16　東工大ニュース
https://www.titech.ac.jp/news/2023/067674
 
2023 年 10 月 11 日
東京工業大学Press Release
GPT-4 を使った化学研究の課題と展望に関する研究
－化学研究における AI の活用範囲を検討－
https://www.titech.ac.jp/news/pdf/tokyotechpr1011-hatakeyama.pdf
 
 
最先端材料科学研究：人工知能GPT-4が化学分野で能力を発揮
2023.10.16
https://response.jp/release/kyodonews_kokunai/20231016/124377.html
 
Prompt engineering of GPT-4 for chemical research: what can/cannot be done?
Kan Hatakeyama-Sato, Naoki Yamane, Yasuhiko Igarashi, Yuta Nabae &Teruaki Hayakawa
化学研究のための GPT-4 の迅速なエンジニアリング: 何ができるか、何ができないか?
畠山寛・佐藤ほか
記事 | オンライン公開: 2023 年 10 月 9 日
https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300?src=