かなり久方ぶりの記事になりますが、
今回はJournal of Clinical Epidemiologyに先日アクセプトになった”A systematic review shows no performance benefit of machine learning over logistic regression for clinical prediction models”について、簡単に内容をまとめたいと思います。論文の内容は、下記リンクよりどうぞ。
【研究の背景】健康アウトカムの予測モデルと機械学習
近年、多数の変数を用いて健康アウトカムを予測するモデルの構築をおこなう研究が増えています。機械学習のアルゴリズムを使用するまでは、従来の統計解析に用いられてきたロジスティック回帰モデルで健康アウトカムを予測していました。最近は、医学をはじめとして多くの分野で、ビッグデータを集めそれを解析することが求められています。つまり、データをもとにして、訓練とテストを繰り返し、アルゴリズムを最適化することで、より性能の正しいモデルを構築する機械学習が注目を集めるシチュエーションであるともいえますね（機械学習のもう少しわかりやすい説明もしたいのですが・・・）。こうした状況で、実際に機械学習を使用した予測モデルの研究は増えているものだと想像できます。
ここから論文の内容を簡単に記載します（カッコ内には私の視点からのコメントです）
1. この論文の重要な知見
- ロジスティック回帰と機械学習による予測モデルの性能を比較した研究では、とりわけ検証の手順において方法論的・記述的な問題があった。
- 予測式が信頼できるものかどうかについてはめったに評価されておらず、ROC曲線によるAUCは多くの研究で報告されていた。
- ロジスティック回帰モデルと機械学習のモデルでフェアな比較がなされた時については、それらのAUCはほぼ類似していた。
2. これまでに知っていたことに加えて分かったこと
- モデルの検証についての方法がしばしば記載されてなかったり、きちんと記載されていないことがあった。これは、リアルワールドデータでのフェアな比較を妨げている（きちんとした方法でやりましょう！！）
3. 変えるべきことは？
- より校正（再現性）に注意を払うことは早急な課題である（汎化性能を高くするためにも重要なことだから機械学習などで見られる「過適合」を回避するためにも重要。そもそも過適合のモデルとか意味ないですからね。しかし、万能なモデルを作るのも非常に難しいのも現実です。実際に、全ての疾患を予測するようなAIは今のところありませんね）
- モデルの構築や検証に関する方法論をもう少し詳細に検討すべきであり、それを報告することで研究を意味のあるものにする必要がある（このままでは、ゴミ論文が生産され続けるばかりである）
- 研究としては、それぞれの予測問題に対してどのアルゴリズムが最適な性能を発揮するかに注目すべきである。（ロジスティック回帰と比較して、一個のMLすげーみたいなことではあまり価値がない）
私が感じたこと
- これまでのMLによる予測モデルの問題は、train、validation、testという汎化能を高くすることについては検討が浅い→ここは怠らないように（データ数とも相談ですが）
- ロジスティック回帰との比較も重要ですが、複数のMLについても性能を比較すると良い（次の視点にも共通している？）
個人的には、「安易に機械学習とかディープラーニングとかそんな方法を使用してはいけないぞ」というメッセージであり、やるときはきちんとやりなさいということだと思いました。
論文のハイライトのみ掲載しておりますので、細かい内容は論文を参照ください。
今後は機械学習の内容もまとめていきたいと思っていますが、今回はこの程度にしておきます
20190214
RF