DeepMindのDFT論文を読んだメモ
今年はDeepMindの論文祭りなのでしょうか？数学者とのコラボレーションがNatureに発表されたかと思いきや、今度はScienceにDFTに関する文献が出されたそうです。
数学ははなから諦めていますし、理論化学もさっぱりですが、やっぱりDFTの方はちょっと知りたい。
というわけでDFT論文、大体こんな話ですかー？っていう感想文です。
- 1. Science文献が公開されてた！
- 2. 前置き
- 3. 論文の中身
- 4. どうしてDeep Learningがよかったんだろう？
- 5. DFT x Deep Learningって他にもみたことあるけど？
- 6. おわりに
1. Science文献が公開されてた！
Scienceの文献自体はオープンアクセスではありませんが第一著者のJames Kirkpatrick博士がResearchgateにアップロードしてくださっています。
下記、DeepMindのブログからもリンクされているので正当な手続きで公開されているはず。。。*1
またOpen AccessのPDFがこちらから閲覧できます。こっちも上の記事からリンクされてました。
2. 前置き
2-1. 前置き① ~ DFTの未解決問題？ ~
そもそもDFTにおける未解決問題とは何だったのでしょうか？
多分こういう話です。
シュレーディンガー方程式はそのままでは解けないので近似の導入によりハートリー・フォック方程式を解く問題に変換されました。 それでも見積もれない誤差（電子相関 の問題）があるため様々なポスト・ハートリーフォック法が出てきました。
これに対して波動関数ではなく電子密度から出発しても系の状態（物理量）を知ることができるよ！そっち解こうぜ！ってのが密度汎関数法(DFT)のアプローチです。
ポスト・ハートリーフォック法ではさまざまな電子間の相互作用を考慮するため、電子数が多くなる（系が大きくなる）と計算量が膨大になり現実的に解くのが難しくなってしまうそうです。DFTは「より計算量が少なくて済むため現実的な時間で解くことができる」という利点がある様です。
ちょっとDFTに関する専門用語を貼ってそれっぽくします。
電子密度から系の状態がわかるというのはホーヘンベルグ・コーン定理に基づくそうです。この定理から電子密度とエネルギーの関係性を表すエネルギー汎関数というものがでてきます。
DFTではエネルギー汎関数に基づき原理的には「電子相関を考慮した正確な電子状態」を記述することができ、多電子系のシュレーディンガー方程式を解くのと等価になるそうです。
ここで問題となるのが「エネルギー汎関数の正確な形がわからない」ということで、これがDFTの未解決問題にあたるようです。
2-2. 前置き② ~ コーン・シャム近似と交換相関汎関数 ~
さて、エネルギー汎関数は正確な形がわからないため様々な近似モデルが提案されました。 初期のモデルでは精度が悪くて非実用的だったようですが、より改善したコーン・シャム近似が導入されたことでDFTが実用的なものになったそうです。
ざっとこんな感じみたいです。
コーン・シャム近似では、それ以前の近似モデルとは異なる新しい項、交換相関汎関数（exchange-correlation functional）が追加されています。
以前のモデルの精度の悪さは運動エネルギー汎関数の近似の悪さと考え、運動エネルギーを正確・計算可能な形に表したうえで、表現仕切れない残りを交換相関汎関数に押し込めています。また、交換相関汎関数には、電子間相互作用エネルギーのうち電子間クーロンエネルギーで近似できない残りも押し込められています。
よくわかりませんが、うまく表せない部分を押し込めて煮詰めた闇鍋部分が交換相関汎関数ってことですね（？？？）
3. 論文の中身
3-1. DeepMindのDFTモデル（DM21）
また前置きが長くなってしまいました。本題のDeepMindの文献についてです。
この論文ではDM21と名付けたDeepLearningに基づく汎関数（functional）が提案されています。
DFTでは「電子密度とエネルギーとの間に関係がある」ことがわかっていますが、その「エネルギー汎関数の正確な形がわからない」というのが大きな問題でした。
「未解決のブラックボックスな関数がある。。。それならデータから学習した最高精度のモデルで置き換えちゃえばいいじゃん！」って話ですね！・・・たぶん。
より具体的には標準的なコーン・シャム近似（Kohn-Sham DFT）のうち、交換相関項（exchange-correlation term）を学習させて置き換えています。先に見た闇鍋部分ですね！
学習の概要は論文のFig. 1をご参照いただくとして、大体こんな感じです。
多層パーセプトロン(mulitlayer perceptron, MLP)の入力は占有されたコーン・シャム軌道(occupied Kohn-Sham orbitals)の局所的(local)特徴量と非局所的(nonlocal)特徴量です。コーン・シャム軌道はコーン・シャム近似で運動エネルギー項を表すために導入された波動関数に類似した形のものです。
この入力は「local range-separated hybrid」で表現できるそうですが、これが何かよくわかりませんでした。局所的な距離（r1, r2,…, rG）で区切ったものの組み合わせ（hybrid）という意味でしょうか？？？ お分かりの方ご教示いただけると嬉しいです。
また、学習の目的関数としては２つの目的関数の合計を用いています。ひとつは交換相関エネルギー自体を学習するための回帰損失（regression loss）で、もう一つは勾配正規化項（gradient regularization term）です。
前者はわかりやすいですが、後者は学習後の推論フェーズで重要になるようです。勾配正規化項を目的関数としておくことで、汎関数の導関数(derivative)が自己無撞着場の手続き(self-consistent filed (SCF) calculation)で利用できることが保証されるそうです。
DFTの計算ではコーン・シャム方程式を解くことが行われますが、この方程式は行列形式に置き換えられ固有値を求める問題となります。この固有値問題をとくための繰り返しの手続きがSCF計算と呼ばれるもののようです。
3-2. DM21が改善した2つの課題
さて、DeepMindの提唱するDFTモデル、DM21で行われていることがぼんやり見えてきました。ではDM21でどの様な問題が解消されたのか？より具体的にみてみます。
何より名は体を表す！
論文のタイトル「Pushing the frontiers of density functionals by solving the fractional electron problem」が表す通り「fractional electronの問題」です！・・・何のこっちゃ？？？
DeepMindのブログ記事によると、既存のDFT計算には長年解決できなかった2つの課題、①非局所化の誤り（the delocalization error）と②スピン対称性の破れ(spin symmetry breaking)があったそうです。
要するにDFTの既存の汎関数の近似モデルは不完全なので、「物理化学的に考えたら現実的にはこうだよね！」ってのと違う計算結果になってしまう、ってことみたいです。電子が1個、2個ではなく、分数個(fractional)あるとか言われても気持ち悪いですよねー。
ってことで、それぞれもう少し見てみます。
3-2-1. 非局在化の誤り
「① 非局所化の誤り」についてはDeepMindのブログ記事の図（Fig. 2）が分かりやすいので上に引用させていただきました。*2
上図ではDNAの塩基ペア（アデニン(A)-チミン(T)）間における電荷の分布が計算されています。左が従来の手法（B3LYP）、右がDeepMindの手法(DM21)で計算した結果で、ブルーの網がけで電荷密度（charge density）が表現されています。
DNAには遺伝情報を伝えるという役割以外にも、電荷を輸送する（charge transport）という物理化学的にとても面白い性質が報告されています。2011年にはNature Chemistryにこんな論文も出ています。
この性質を理論的に理解しようとするとDFTの出番！となります。DNAの構成要素である塩基ペアの部位で「イオン化した状態で電荷がどの様に分布しているか？」知りたい、というモチベーションです。
A-Tペアについてこの計算を行った結果が先に引用したFig. 2です。
アデニンがプラス電荷を帯びた「A+-T」の方が「A-T+」よりも安定というのが正解の様ですが、B3LYPでは（アデニンへの偏りはあるものの）A,T両方にまたがって電荷が分布しています。一方でDM21では（ほぼ）アデニンのみに電荷密度が偏った結果が得られています。
DFTにおいて「非局在化した計算結果が得られやすい」という課題が改善されていることの良いデモンストレーションになってますね。
3-2-3. スピン対称性の破れ
もう一方のDFTの課題「②スピン対称性の破れ」はそのままの話で「基本的には対称に配置されている方が安定のはずのスピンについて、対称性が崩れた結果をより安定と評価してしまう」ということの様です。
私では論文であげられている例を理解できなかったので、皆様Fig. 3B,3Cをご参照のうえ、ご教示いただけると嬉しいです。
なんかこんな感じの話。
もうひとつあげられている例はビシクロブタンの異性化メカニズムの遷移状態についてでした。（こっちもよくわからなかった）
3-3. DM21のモデルの中身をもう少し ~ fractional chargeとfractional spin ~
DM21が解決しようとしたDFTの課題についても雰囲気がつかめてきました。では「何故、DM21のモデルでうまくいったのか？」。成功理由と関係のありそうなモデルのデザインの中身をもう少しみてみます。
DM21の取り組んだ課題は大きくは「fractional electronの問題」でした。この問題に対するため、DM21はfractional electronを有する系についての２つのタイプの制約条件、①fractional charge（FC）と②fractional spin（FS）に従う様にデザインされたそうです。
FCとFSはそれぞれ「非整数の総電荷（noninteger total charge）の系」と「非整数スピン磁性化（noninteger spin magnetization）の系」です。これらの系は当然、非現実的な架空のもの（fictitious）です。
ですが、「現実の電荷密度もFCやFSの特徴を持つ領域を含みうる」ので、この「理想状態の問題を正確にモデル化」することができれば、「多様な分子や素材についても上手く機能する汎関数」が得られるのではないか？という考えに基づくようです。
現実には無い架空の特性を持つユニットをモデルにくみこむあたりは、AlphaFold2でアミノ酸残基をガスとしてモデル化してフィッティングしていた解き方に通じるところがあって面白いです。
さて、fractional electronの問題を解消するために使われたFCとFSですが、これらの制約条件はデータで表現する事ができるため、これに従って分子系のエネルギーを再現する様に汎関数を学習すれば良い、ということになるらしく、Deep Learningと相性の良い問題に帰着できたことになったようです。
手法とモデル化がうまく合致していてすごい！
3-4. fractional chargeとfractional spinをもう少し
架空のモデル、fractional charge (FC) とfractional spin (FS) ですが、これらはDM21で初めて導入されたものではなく、既存のDFT汎関数でも使われていました。ただし、従来の汎関数ではFCとFSに関連したエラーが解消できず問題となっていた様です。
このエラーは①電荷を帯びた分子と、②閉殻中性分子（closed-shell neutral molecules）において結合の切断の表現が不正確になってしまう、という問題です。
詳細は論文のFig. 2をご参照いただくとして、大体こんな話です。
それぞれ、①の問題はDFTの「電子密度の非局在化」の課題、②はDFTの「スピン対称性の破れ」の課題と関連していることが何となく分かりますね。
これらのFCとFSに関する問題について、DM21は従来の汎関数を上回るパフォーマンスが得られたので、先にみた実課題での検証（A-T, hydrogen chain, etc.）に進んだ、というのが論文の流れです。*3
以上が、DeepMindのデザインしたDFT汎関数DM21の概要と、その解決しようとした課題についてでした。
論文についてはここまでで、あとは雑感です。
4. どうしてDeep Learningがよかったんだろう？
さて、今回もDeepMindはDeep Learningで分野の壁を突き破ったわけですが、何故DFTの課題にDeep Learningを適用するのがよかったのでしょうか？
今回の論文を受けたNatureのNews記事（DeepMind AI tackles one of chemistry’s most valuable techniques）から引用します。
“It’s sort of the ideal problem for machine learning: you know the answer, but not the formula you want to apply,” says Aron Cohen, a theoretical chemist who has long worked on DFT and who is now at DeepMind. (Nature 600, 371 (2021))
「答えがわかっていて、わかっていない式の形を求めるのは機械学習にとって理想的な問題」だそうです。
この考えの背景にあるのはおそらく「普遍近似定理(universal approximation theorem)」ではないでしょうか？
上記は２層についての定理ですが、さらに多層にすることの利点は層の深さに応じて表現力が増す、適応力があがるといったことにある様です。
詳細は上記の書籍や、東京大学大学院 鈴木大慈先生がSlideShareに公開してくださっている資料（深層学習の数理）などをご参照ください。
雑な理解ですが、多層のニューラルネットワークであれば「任意の関数を精度よく近似」できるので、「関数の形がわかっていない問題」にDeep Learningを適応していい感じにすれば「良い近似モデルが得られる！」ってことになりそうです。
5. DFT x Deep Learningって他にもみたことあるけど？
最後に何故この研究にインパクトがあったのか？ちょっと想像してみます。
というのも「DFTに対してDeep Learningを適用して改善した！」という論文・ニュース記事などは偶に目にするので何が違うのかなー？と気になったからです。
例えばこういうのです。
どちらもニューラル・ネットワーク・ポテンシャル（NNP）の研究です。
一つ目はフロリダ大学A.E. Roitberg教授らのグループによるもの（Chem. Sci., 2017,8, 3192-3203）で、２つめはPreferred Computational Chemistry社の提供するプラットフォームMatlantisに関する論文です（arxiv:2106.14583）。
私自身が専門分野外のため、これらの論文を比較対象として引用するのは間違っているかもしれません。ごめんなさい。
DFT計算はシュレーディンガー方程式を扱うよりも計算コストが低いという利点がありますが、それでも系が大きくなるにつれて必要な計算量が増え、非常に時間とコストのかかるようになってしまうようです。「計算のシミュレーションに時間かかるなら、実際に実験した方が速くない？？」って言われそうです。
この課題があるため、Deep Learningで同等の計算結果が出せる様に学習し、計算時間のかかる部分を置き換えることで加速・コストを下げよう！というのがNNPの取り組みの様です。
何となくですが、これらの研究は計算コストの改善に焦点があり、既存のDFTが抱える精度上の課題の解決とはなっていなさそうです（たぶん）。
DM21は汎関数自体を作って、根本的な課題に取り組んだ、と言う点にインパクトがあったのかな？と思います。
6. おわりに
以上、今回はDeepMindのDFTに関するScience文献を読んでみた感想文でした。
量子化学に疎く、DFTの計算もやった事がなかったのでそもそも既存の汎関数に課題があることも知りませんでした。というより、論文を読み終えた今でもいまいち課題を理解しきれていなかったりします。
DFTの課題でスピン対称性の破れが上がっていたのに、Fractional spinのところではスピン非局在化の過剰評価が問題になっていて、結局対称性が破れるのと破れないのどっちが問題なの？？？となってしまいました。私に量子化学は難しすぎます。
なんとなくですが、適切なデータがある問題であれば、Deep Learningでうまく関係性を記述するモデルを作る事ができそうだ、ということが分かったのはよかったです。DeepMindが次にどんな課題に取り組むのか？楽しみですね！
ところで今回の論文のDM21ですが、素晴らしいことにGitHubで公開されています。ぜひぜひ専門家の皆様の使ってみた感想がお聞きしたいところです。
なお、今回の記事の前置き部分などは以前に書いたブログ記事を使いまわしています。
ずっと雰囲気から成長できていなくてすみません。今回も色々と間違いが多そうなのでご指摘いただけると嬉しいです。
ではでは！
