7-83　研究の進め方と論文出版の大改革

2021年11月17日掲載

白楽の意図：研究の進め方と論文出版に抜本的な見直しが必要だと述べているメルボルン大学・心理学教授のシミーン・ヴァジーア（Simine Vazire）の「2021年2月のiai news」論文を読んだので、紹介しよう。

ーーーーーーー
目次（クリックすると内部リンク先に飛びます）
１．論文概要
２．書誌情報と著者
３．日本語の予備解説
４．論文内容
５．関連情報
６．白楽の感想
８．コメント
ーーーーーーー

【注意】「論文を読んで」は、全文翻訳ではありません。ポイントのみの紹介で、白楽の色に染め直してあります。

●１．【論文概要】

白楽注：本論文は学術論文ではなくウェブ記事である。本ブログでは統一的な名称にするため論文と書いた。

論文に概要がないので、省略。

●２．【書誌情報と著者】

★書誌情報

★著者

  • 単著者：シミーン・ヴァジーア（Simine Vazire）
  • 呼び方：Open Science – Simine Vazire, University of California, Davis on Vimeo で「シミーン・ヴァジーア」と自己紹介。MIDAS Seminar Series Presents: Simine Vazire, Psychology, University of Melbourne – YouTube でも「シミーン・ヴァジーア」と紹介。
  • 紹介： Simine Vazire – Wikipedia
  • 写真：出典
  • ORCID iD：
  • 履歴：https://simine.com/docs/Simine_Vazire_CV.pdf
  • 国：オーストラリア
  • 生年月日：フランスで生まれた。現在の年齢：44 歳?
  • 学歴：米国のカールトン大学（University of Michigan）で2000年に学士号（心理学）、米国のテキサス大学オースティン校（University of Texas at Austin, USA）で2006年に研究博士号（PhD）取得（社会心理学と人格心理学）
  • 分野：心理学
  • 論文出版時の所属・地位：2020年に米国のカリフォルニア大学デービス校・教授(University of California, Davis)から、メルボルン大学（University of Melbourne）・教授に移籍。学術誌「Collabra: Psychology」の編集長

メルボルン大学（University of Melbourne）。写真出典

●３．【日本語の予備解説】

★2018年03月12日：著者名不記載（Gigazine）：多くの心理学入門書には学問的に誤った内容が記載されている

出典 →　ココ、（保存版）　

ユタ・バレー大学の研究者たちは、アメリカで最も有名な心理学入門書のベストセラー29冊について分析しました。その結果、大学の教科書にも使用されているこれらの入門書のうち、実に4分の3にあたる書籍に科学的誤解を招く致命的な誤りが含まれていると結論づけました。

★2019年12月14日：著者名不記載（日本経済新聞）：心理学実験、再現できず信頼揺らぐ　学界に見直す動き

出典 →　ココ、（保存版）　

「つまみ食いを我慢できる子は将来成功する」「目を描いた看板を立てると犯罪が減る」――。有名な心理学の実験を検証してみると、再現できない事態が相次いでいる。望む結果が出るまで実験を繰り返したり、結果が出た後に仮説を作り替えたりする操作が容認されていた背景があるようだ。信頼を失う恐れがあり、改めようとする動きが出ている。

●４．【論文内容】

本論文は学術論文ではなくウェブ記事である。本ブログでは統一的な名称にするため論文と書いた。

方法論の記述はなく、いきなり、本文から入る。

科学や科学者と書いたが理系分野の科学に限定した“科学や科学者”ではない。科学＝研究、科学者＝研究者と解釈してください。

ーーー論文の本文は以下から開始

●《１》否定的な研究論文　

科学者は発見中毒という厄介な病気を抱えている。

科学者は常に発見するよう駆り立てられている。

この推進力を良い方向に生かせば、研究推進の大きな力になる。しかし、研究遂行過程をシッカリ検証できるシステムにしないと、この推進力のために、科学と社会は深刻な損害を受けかねない。

さらに悪いことに、 学術誌は、研究者を保護するふりをするイネイブラーである（enablers：助けてあげるつもりでやったことがかえって相手のためにならないようなことをする人）。　→　2020年6月25日のヴァジーア教授の記事：Peer-Reviewed Scientific Journals Don’t Really Do Their Job | WIRED

問題は本当に深刻である。

科学界は好奇心旺盛な人々を引き寄せ、報酬と動機をたくさん用意し、発見したがる意欲を刺激・増幅する。

しかし、残念ながら、現在のほとんどの研究論文は満足できる質的レベルではない。

癌、人種差別、不平等などの問題の対処法を研究し、その成果を報告した過去の論文を再検討する研究をしたとしよう。

その研究の結果、過去の論文が述べた対処法は上手く機能しないことがわかったので研究論文として出版したとする。

本質的に、この論文は、新しい対処法を報告した論文と同じくらい有益である。

しかし、否定的な結果を報告した研究論文は肯定的な結果を報告した研究論文に比べ、現在の研究界はよい評価を与えない。

それで、学術誌はこのような否定的な研究論文を出版したがらない。

過去の優れた研究論文を厳密に再検討し、間違っている点を指摘した研究に科学賞が授与されることは、めったにない。このような研究に研究助成金は支給されない。

肯定的な研究結果のみを出版し、否定的な結果を出版しない現在の学術出版システムは十分に悪い。そして、現在、その悪さの程度が悪化している。

●《２》心理学論文の間違い　

心理学などの特定の研究分野では、肯定的な研究結果の多くは本当に肯定的な結果ではなく、誤判定（false positive：偽陽性）の結果の可能性が非常に高い。

心理学では、学界の重鎮の多くはまだ否定するが、誤判定している証拠が山積みになっている。

例えば、十分健全な研究結果なので、教科書に使おうと思った重要な研究論文の結果を再現しようとすると、再現できないできないことがよくある。

一般に、研究方法を変える時はバイアスを減らすための対処をする。例えば、「登録論文（Registered Reports）」と呼ぶ仕組みを使って、元論文の著者に事前に研究計画の段階から研究に参加してもらう。

その方式で研究を進めても、研究を進めた結果、元論文の研究結果の約半分は再現できず、消えてしまう。　→　2021年3月11日更新：PsyArXiv Preprints | An excess of positive results: Comparing the standard Psychology literature with Registered Reports

さらに悪いことに、元論文が集めたデータを使って、元論文の研究結果を単純に再現しようとしても、再現できないがしばしばある。　→　2018年8月15日論文：Data availability, reusability, and analytic reproducibility: evaluating the impact of a mandatory open data policy at the journal Cognition | Royal Society Open Science

私たち心理学者は、心理学論文の間違いをたくさん調べてきたので、間違い論文は心理学の大きな問題であることを知っている。しかし、他の研究分野では、論文の間違いをまだ調べ始めていない。

他の分野の科学者もこの問題に対処すべきである。

科学者が間違い論文を精査しないために、学術誌や編集者は、だまされて出版していることもある。

残念ながら、多くの研究分野では、誰も、研究論文の結果が本物かどうかを検証するよう動機付けられていない。

研究者は皆、新発見の喜び、温かさ、輝きを楽しんでいる。

過去の研究論文の精査は楽しくない。

論文を深く掘り下げ、新発見したつもりが、実は間違いだったことに気付くと、意気消沈してしまう。

だから、科学者は間違い論文を精査したくない。

学術誌や編集者がだまされているわけではないけど、間違い論文を出版し続けているという大きな問題が排除されない。

●《３》論文出版の舞台裏　

私は、学術誌の編集に10年間たずさわってきたので、論文出版の舞台裏を見てきた。

その経験を踏まえて言うと、個々の科学者ではなく、学術誌と学術誌を運営する人々（編集者、出版社、学会）が、悪質な科学の大きな原因となっている。

ほとんど誰もこのことを指摘しないが、これはまず間違いない事実である。

学術誌は名声・評判を求めて競争している。

そして、その名声・評判は出版する研究論文の質が優れているかどうかで決まらない。

研究論文の質ではなく、最も注目を集められるかどうか、で決まる。

つまり、最も多くのクリック数、メディアの注目、被引用数を獲得できる論文を出版しようと競争している。

言い換えれば、学術誌は派手で、影響力の大きい、大胆な発見を報告する論文を出版したい。

それらの発見が信頼できるかどうか、研究過程が科学的に厳密だったかどうかなどは問題視しない。

イヤイヤ、まともな学術誌は査読フィルターで選別した良質の論文しか出版していないし、最も権威のある学術誌には最も厳しい査読フィルターがある、と研究者は言う。

実は、「評価の高い学術誌は厳格な査読をパスした優れた論文しか掲載していない」というのは、査読神話という思い込みである。

現実は、査読神話とはまったく次元の異なることが起こっている。

ただ、この査読神話は根強く残っていて、そこから脱却できない研究者はとても多い。

●《４》査読神話　

一流の学術誌の査読システムに対する見当違いの査読神話は、科学に深刻な損害を与えている。

科学者は、自分の生計がしばしばそれに依存していること、そして、一流の学術誌がより高品質の論文を出版するという神話を妄信しているため、一流の学術誌に論文を出版することで、その報酬を求め続ける。そのため、一流の学術誌が望む派手な発見をしようと追い続ける。　→　2016年9月1日の論文：The natural selection of bad science | Royal Society Open Science

しばしば誤った結果を発表しているのに、派手な研究結果を生み出す科学者は報われる。

その誤った結果が意図的であってもだ。彼（女）らは研究職と助成金を得て、次世代の研究者を訓練する。

一方、誠実で正確な研究結果を生み出す科学者は研究界から排除される。

論文に以下の動画「When should we trust or criticise science? | Nancy Cartwright」（英語、23分）が組み込まれている。ナンシー・カートライト（Nancy Cartwright (philosopher) – Wikipedia）は米国の科学哲学者。カリフォルニア大学サンディエゴ校とダラム大学の哲学の教授。

話しを続けよう。

では、科学者、研究費選考者、一般市民など全員がこの査読による品質管理神話を信じ続けるのはなぜなのか？

理由の1つは、科学者は発見に夢中になりすぎているということだ。

科学者は発見が大好きだ。学術誌・編集者と出版社も発見が大好きだ。科学を報道するジャーナリストも発見が大好きで、科学に興味のある一般の人々も発見が大好きだ。

私たちは皆、科学的発見の誘惑（または発見かもしれない誘惑）の影響を受けやすい。

だから、間違いが意図的であろうとなかろうと、新発見を報告する論文は大好きなのだ。

誤った論文を出版しないことにすると、新発見を報告する論文が減るので、科学の進歩が遅くなったと感じるかもしれない。

しかし、間違いが減る分、世界の知の獲得は、実際は、速くなる。

発見の頻度は多いけど間違いの多い発見に満足してはいけない。

発見の頻度は少ないけど真の発見を時間をかけて待つことが望ましい。強い自制心が必要だが・・・。

従って、向き合うべき問題の大部分は私たちの人間性である。

私たち研究者は、出版社が派手な研究結果よりも質の高い論文を出版する方向に出版方針を変えるまで、どんなに権威のある学術誌に対しても、購読・投稿・引用などを拒否しようではありませんか。

●《５》論文の質　

ここまで書いたが、しかし、問題はもっと深刻である。

派手な発見かどうかにかかわらず、研究の質に基づいて科学論文を正しく評価したいと思っても、どうすれば正しく評価できるのかは明確ではない。

まず、研究の「質」をどう定義するかが明確ではない。

長い間、科学界は論文の「影響度（impact）」（論文の被引用数、または注目度）が論文の質を示す指標だという考えを受け入れてきた。

多くの科学者、研究費選考者はまだこれを信じている。

私たちがこれを信じている限り、この問題は解決できない。

では、ここで、論文の「影響度（impact）」が論文の「質」の良い指標ではないことに同意したとしよう。

しかし、では、「影響度（impact）」以外で、論文の「質」をどう測定するのか？

今のところ、この問題に正解がない。未解決のままである。

●《６》質の向上　

幸いなことに、「研究の「質」とは何か」に対する決定的な答えを待つ必要はない。

答えが無くても、出版された論文の質の向上に向けた活動を開始できる。

たとえば、著者に研究方法（材料や手順）、そして、研究データと使用コードを可能な限り要求する。　→　The TOP Guidelines were created by journals, funders, and societies to align scientific ideals with practices.

これらは、査読者と論文読者が研究の質を評価するための重要な情報である。

もし、研究過程を精査できず、論文に記載したデータの再分析ができないなら、論文の「質」は評価できない。著者がこれらの提供を拒否するなら、原稿を不採択にする。

同様に、もう一歩踏み込んで、研究を実施する前に査読を実施することだ。

つまり、「登録論文（Registered Reports）」で行なっているように、解決したい研究上の疑問点、その問題点を解決しよとする研究計画（設計）、研究方法、予定している分析などについて、研究を実施する前に査読を実施することだ。

この事前査読で、派手さを求めている研究なのか、解決したい問題を厳密に解こうとしているのか、判断できる。

また、学術誌は、研究者を雇って、出版した論文を精査することもできる。

たとえば、元データの再分析を行なって結果の再現性をテストしたり、再現研究を新たに行なって元の結果を繰り返すことができるかどうかを確認したり、批評したりできる。

査読者は、研究方法（材料や手順）の質を判定するための情報提供を、論文投稿者に求めることができる。

心理学で査読者は、実際に、測定または研究過程の質、因果推論の健全性、証拠に対する結論の適正さなどを質問している。

編集者は、論文結果の派手さよりも、これらの要素を重視して、原稿の採否を決定すればよい。

重要なことは、学術誌は、査読を透明にすることだ。

査読報告書と編集者の対応文書を出版した論文とともに出版すれば、読者は査読では何が重視されたかを理解できる。　→　2019年9月16日記事：A decade of transparent peer review

査読者と編集者は研究方法の厳密さに注意を払っているか、それとも著者の発見を誇張することに注意を払い、不都合なデータを削除するよう暗示（あるいは奨励）しているか、読者は把握できる。

●《７》おわりに　

学術誌はまた、出版した論文に関する懸念が提起されたら、それを真剣に受け止めるべきだ。

間違いや研究不正の懸念に対する調査は、透明でかつ誠実に対処する必要がある。

出版された論文の問題点を著者である研究者に指摘しても多くの場合、無視されてしまう。

さらに悪いことに、著者だけではなく、懸念論文の担当組織、つまり、当該の学術誌・編集者、出版社、大学に指摘しても、しばしば、無視されてしまう。

なお、論文の質は、今まで上げた指標だけで評価するのは不十分である。論文の質は透明性、再現性（replicability）、追試可能性（reproducibility）以上のものが必要である。

透明性、再現性、追試可能性は、これらを満たせば良いという基準ではなく、これらを満たさなければ論文が成り立たないという最低の基準である。

研究論文の質を評価することの意味は、もっと大きく考える必要がある。

共同研究者と私たちは私たちの研究分野である心理学で、研究論文の質に関する研究をしている。

しかし、分野によって質の捉え方は異なる。

従って、学問の諸分野でそれぞれ、研究論文の質をどう評価するか検討すべきである。

近道はない。

学術誌が論文の質を評価することは、妥当性（validity）や価値（value）などのような難しい概念について深く考えることになる。

それは簡単ではない。ハッキリ言って、難しい。

しかし、この論文で示した手順はすべて簡単に実行できる単純な手順である。

これらは、信頼を求める学術誌の最低限の手順である。権威のある学術誌は、これらの措置をしないという言い訳はあり得ない。すぐに実行して欲しい。

学術誌は論文内容を厳格に品質管理してきたという評判で経営が成り立ってきた。そして彼らはその評判からたくさんのお金を稼いできた。

ここに指摘したことを取り入れて、学術誌の高い評判を維持し続けるのか？

それとも、無視して、評判を失うのか？　

選択の時が迫って来ている。

いつやるか？　「 今でしょ!」（林 修）

●５．【関連情報】

① この論文に対するパブピアのコメント：PubPeer – The natural selection of bad science

② 【動画1】　ヴァジーア教授は著名な学者なので、講演動画がいくつもある。
講演動画：「Simine Vazire – When Should We be Skeptical of Scientific Claims? – YouTube」（英語）21分00秒。
UCI Mediaが2017/06/06に公開

③ 【動画2】
講演動画：「Simine Vazire: Towards a More Self-Correcting Science (Metascience 2019 Symposium) – YouTube」（英語）47分56秒。
Fetzer Franklin Fund が2020/10/14に公開

④ 著者のシミーン・ヴァジーア教授（Simine Vazire）は性的暴行の被害者でもある：「レイプ」等：心理学：トッド・ヘザートン（Todd Heatherton）、ウィリアム・ケリー（William Kelley）、ポール・ウェイレン（Paul Whalen）（米） | 白楽の研究者倫理

●６．【白楽の感想】

《１》オーバーホール　

論文に感動した。

シミーン・ヴァジーア教授（Simine Vazire、写真出典）の指摘は、目からウロコである。

心理学の研究論文は本当にヒドイ！

まともな研究結果とは思えないウソ学説が堂々と流布している。

例えば、日本語の「GIGAZINE」をザッと見るだけで、以下の記事がヒットした。

心理学を罵倒している日本語のサイトをもある　→　日本心理学会はバカぞろい

まともな論文ももちろん多いと思うけど、心理学はヒドイ。

でも、心理学以外の研究分野はチャンと解析していないだけで、同じようにヒドイのではいか？　調べるべきだ。

そして、科学成果の発表システムをオーバーホールした方がいいという著者の主張はトッテモ納得できる。

科学成果の発表システムをオーバーホールすれば、ネカト・クログレイ行為はなくなる？　イヤイヤ、逆に増える？　わからないけど、問題の質は変わるだろう。

メルボルン大学を訪問した時の白楽ロックビル

ーーーーーー
日本がスポーツ、観光、娯楽を過度に追及する現状は日本の衰退を早め、ギリシャ化を促進する。日本は、40年後に現人口の22％が減少し、今後、飛躍的な経済の発展はない。科学技術と教育を基幹にした堅実・健全で成熟した人間社会をめざすべきだ。科学技術と教育の基本は信頼である。信頼の条件は公正・誠実（integrity）である。人はズルをする。人は過ちを犯す。人は間違える。その前提で、公正・誠実（integrity）を高め維持すべきだ。
ーーーーーー
ブログランキング参加しています。
１日１回、押してネ。↓

ーーーーーー
★記事中の画像は、出典を記載していない場合も白楽の作品ではありません。

●８．【コメント】

注意：お名前は記載されたまま表示されます。誹謗中傷的なコメントは削除します

Subscribe
更新通知を受け取る »
guest
0 コメント
Inline Feedbacks
View all comments