2023年3月13日掲載
白楽の意図：米国・会計検査院は、連邦政府の3大研究助成機関である①NIH、②科学庁（NSF）、③航空宇宙局（NASA）が科学研究の信頼性（reliability）を高め・維持するための報告書「2022年7月のGAO-22-104411」（73ページ）を発表した。今回、報告書を解説したジョーダン・スミス（Jordan Smith）の「2022年8月のMeriTalk」論文を解説し、その後、報告書の一部を解説する。
ーーーーーーー
目次（クリックすると内部リンク先に飛びます）
１．日本語の予備解説
２．ジョーダン・スミス（Jordan Smith）の「2022年8月のMeriTalk」論文
３．米国・会計検査院の報告書「2022年7月のGAO-22-104411」
９．白楽の感想
１０．コメント
ーーーーーーー
【注意】
学術論文ではなくウェブ記事なども、本ブログでは統一的な名称にするために、「論文」と書いている。
「論文を読んで」は、全文翻訳ではありません。
記事では、「論文」のポイントのみを紹介し、白楽の色に染め直し、さらに、理解しやすいように白楽が写真・解説を加えるなど、色々と加工している。
研究者レベルの人が本記事に興味を持ち、研究論文で引用するなら、元論文を読んで元論文を引用した方が良いと思います。ただ、白楽が加えた部分を引用するなら、本記事を引用するしかないですね。
●１．【日本語の予備解説】
★2022年7月28日：著者名不記載（JSPS Washington Office）：GAO、NIH・NSF・NASAにおける助成研究の厳格性・透明性向上に向けた対策を調査（7月28日）
政府説明責任局（Government Accountability Office：GAO）は7月28日、連邦助成研究の信頼性向上のための戦略を調査した報告書「研究信頼性：より強力な研究実践促進に向けて連邦政府による対策が必要（Research Reliability: Federal Actions Needed to Promote Stronger Research Practices）」を発表した。GAOは、国立衛生研究所（National Institutes of Health：NIH）、米国科学財団（National Science Foundation：NSF）、及び、米航空宇宙局（National Aeronautics and Space Administration：NASA）から助成を受給する研究に関し、①連邦研究助成プロジェクトの厳格性と透明性を促進するために連邦省庁が取れる対策、②厳格性・透明性向上のために連邦助成提供省庁が講じる対策の程度、を調査した。その結果、①に関しては、専門家から、1）研究計画共有手段として研究着手前に事前登録を研究者に義務付けることにより、研究の厳格性・透明性向上は可能、2）連邦省庁は、研究データを保存するデータリポジトリの基準向上、否定的な研究結果の発表奨励、統計分析・研究計画における訓練などを通した支援が可能、などが提案された。また、②に関しては、NIH、NSF、NASAは、いずれも研究の厳格性・透明性を促進・支援する対策を講じているものの、研究の厳格性確保において、助成申請提案書審査及び論文発表前ピアレビュープロセスに大きく依存しており、改善に向けた戦略特定支援を目的とする助成研究の厳格性・透明性評価は行っていないことが判明した。これらの結果を受けて、GAOは、調査対象となった3省庁に対し、提案事項をそれぞれ2項目ずつ提示した。NIHとNSFは、GAOの提案に同意したのに対し、NASAは一部にのみ同意している。
●２．【ジョーダン・スミス（Jordan Smith）の「2022年8月のMeriTalk」論文】
米国・会計検査院の報告書「2022年7月のGAO-22-104411」は、全文が73ページと長いので、報告書を解説したジョーダン・スミス（Jordan Smith）の「2022年8月のMeriTalk」論文を先に解説する。
★書誌情報と著者情報
- 論文名：GAO: Feds Must Promote Stronger Research Practices
日本語訳：米国・会計検査院：連邦政府はより強力な研究慣行を促進しなければならない - 著者：Jordan Smith
- 掲載誌・巻・ページ：MeriTalk
- 発行年月日：2022年8月5日
- 指定引用方法：
- DOI：
- ウェブ：https://www.meritalk.com/articles/gao-feds-must-promote-stronger-research-practices/
- PDF：
著者の紹介：ジョーダン・スミス（Jordan Smith、写真出典同）は、2014年に米国のエッジウッド大学（Edgewood College）で学士号（刑事司法と心理学）、2019年にネブラスカ大学リンカーン校（University of Nebraska-Lincoln）で修士号（ジャーナリズム学）を取得した。論文出版時の所属・地位は、MeriTalkの上級技術記者（MeriTalk Senior Technology Reporter）。出典：Jordan Smith | LinkedIn
●【論文内容】
本論文は学術論文ではなくウェブ記事である。本ブログでは統一的な名称にするため論文と書いた。
方法論の記述はなく、いきなり、本文から入る。
ーーー論文の本文は以下から開始
★米国・会計検査院（GAO）の新しい報告書
米国政府は2019年に420億ドル（約4兆2千億円）強を科学研究に助成している。
科学研究の信頼性（reliability）が問題視されている現在、米国・会計検査院（GAO）は新しい報告書で、科学研究の信頼性を高め・維持するシステムに改善すべきだと研究助成機関に指摘した。
科学研究に国民の税金を多額に投入している責任上、連邦政府は科学研究の信頼性をを高め・維持することは不可欠である。
政府が実行できることは、研究結果の迅速な開示の促進もあるが、科学研究の信頼性を高め・維持するためには、研究の「厳密」さを徹底させること、研究の「透明性」を高めること、の2点である。
米国・会計検査院（Government Accountability Office：GAO）は、専門家からの意見を聴取し、報告書「2022年7月のGAO-22-104411」を作成した。
その専門家たちは、研究助成機関が、「厳密」で「透明」な研究をする研究者を適切に研究助成・研究表彰することで、助成した研究の「厳密さ」と「透明性」を高めることができると述べた。
また、研究者が研究を共有する手段として、研究を事前登録することを奨励または義務付け、他の研究者が研究方法とデータ解析についてコメントできるようにすることも必要だと述べた。
さらに、研究データを公開・保存するデータリポジトリへのデータ収納基準を改訂すること、否定的研究結果（null research results）の発表を奨励すること、統計分析と研究デザインの教育訓練を支援すること、を提案した。
米国・会計検査院は新しい報告書「2022年7月のGAO-22-104411」で、①NIH、②科学庁（NSF）、③航空宇宙局（NASA）、の3大研究助成機関に次の2事項を推奨した。
- 貴機関の研究結果と研究データが検索可能、アクセス可能、使用可能であるよう改善・確認しつつ、貴機関の現在の諸規則と諸要件が十分な研究透明性を達成できるかどうかの情報を収集すること。
- 貴機関の研究の厳密さを評価する指標を収集し、将来の研究で厳密さを促進する措置を取ること。
①NIH、②科学庁（NSF）は上記の推奨事項に同意したが、③航空宇宙局（NASA）は最初の推奨事項に同意せず、2番目の推奨事項に部分的に同意した。
米国・会計検査院は、③航空宇宙局（NASA）が最初の推奨事項に同意しなかったにもかかわらず、すべての推奨事項が有効であると主張している。
●３．【米国・会計検査院の報告書「2022年7月のGAO-22-104411」】
米国・会計検査院の報告書「2022年7月のGAO-22-104411」は、全文が73ページと長いので、白楽は、つまみ食い的に解説する。
の予定だったが、「ハイライト（Highlights）」の章で要約があったので、「ハイライト（Highlights）」を中心に解説し、73ページの全文から図やデータを抽出した。
★書誌情報と著者情報
- 論文名：Research Reliability: Federal Actions Needed to Promote Stronger Research Practices
日本語訳：研究信頼：より強力な研究遂行を促進するのに必要な連邦政府の行動 - 著者： U.S. GAO
- 掲載誌・巻・ページ：GAO-22-104411
- 発行年月日：2022年7月28日
- 指定引用方法：
- DOI：
- ウェブ：https://www.gao.gov/products/gao-22-104411
- PDF：https://www.gao.gov/assets/730/722013.pdf
著者の紹介：米国・会計検査院（U.S. GAO）のキャンディス・ライト局長（Candice N. Wright、Director, Science, Technology Assessment, and Analytics、写真出典）チーム。他の著者は Robert J. Marek (Assistant Director), Michael Krafve, Kristina Hammon, Cheryl M. Harris, Patricia Miller, and Arvin Wu
●【論文内容】
本論文は学術論文ではなくウェブ記事である。本ブログでは統一的な名称にするため論文と書いた。
方法論の記述はなく、いきなり、本文から入る。
ーーー論文の本文は以下から開始
★米国・会計検査院が見つけたこと
以下は報告書「2022年7月のGAO-22-104411」の冒頭部分（出典：同）。全文（73ページ）は → https://www.gao.gov/assets/730/722013.pdf
米国・連邦政府が基礎研究へ研究助成する3大機関は、①NIH、②科学庁（NSF）、③航空宇宙局（NASA）である。
米国・会計検査院が意見を聴取した専門家は、「これら3大助成機関は、より厳密で透明性の高い研究者に研究助成することで、研究の厳密さと透明性をもっと高められる」、と述べた。
例えば、研究者が研究を実施する前に研究計画を事前登録させる。研究計画の事前共有を助成機関が奨励または義務付けると、事前登録した研究の方法論と分析計画について他の研究者がコメントすることができ、その研究を強化できる。
専門家はさらに、助成機関は研究データが保存・公表されるデータ収納庫（リポジトリ）の標準化の改善を支援、さらに、ヌル研究結果（追試失敗・否定的結果）の公開、統計分析や研究計画の支援をすべきだと提案した。
研究界は研究の信頼性を高めるシステムを開発してきた。しかし、その実施・行為は研究界に普及していない。
現代の多くの研究者は自分自身の利益の最大化に熱心で、そのために、多額の研究費を獲得し、多数の論文を出版するという本末転倒の動機と行為が蔓延している。
★「厳密（Rigor）」と「透明性（Transparency）」
今回の報告書の米国・会計検査院のスローガンは、「基礎研究にもっと厳密（Rigor）と透明性（Transparency）を！」、である。
以下がそのまとめとなる。
上記を日本語化すると、以下のようだ。
左側：
- 厳密（Rigor）：研究設計、実施、データ収集、分析の健全性と精密正確。
- 透明性（Transparency）：研究設計、実施、データ収集、分析、および結論の明確な文書化と、それらの自由な共有の確保。
右側：
- 「厳密」と「透明性」により、信頼できる研究結果が得られる。研究結果は有効で、理解しやすくなる。それで、他の研究者がその研究結果に基づいて知的体系を構築できる。
- 研究者が、使用した材料と方法、発見した結果、方法と結果の不確実だった点、を明確に、具体的に、かつ完全に、説明すれば、他の研究者は研究結果をどう解釈すればよいのかがわかる。
研究者が研究計画を共有する手段として研究計画を事前登録することを奨励または義務付け、他の研究者が方法論と分析計画についてコメントし、強化できるようにすることも必要だと述べた。
さらに、研究助成機関は、研究データを公開・保存するデータ・リポジトリの基準を改善し、否定的研究結果（null research results）の公開を奨励し、統計分析と研究デザインの教育訓練を支援すること、を提案した。
★①NIH、②科学庁（NSF）、③航空宇宙局（NASA）
NIH、科学庁（NSF）、航空宇宙局（NASA）は、研究者に研究成果と関連データを公開させることで、研究の「厳密」と「透明性」を促進・支持してきた。
ただし、これらの研究助成機関は、助成前の研究助成金申請書の審査（査読）で「厳密」をチェックし確保しているだけである。
既に研究助成した研究プロジェクトについては「厳密」と「透明性」をチェックしていないし、チェックしようとも考えていない。
その姿勢のため、研究計画の「厳密」の指標、それに、研究結果の「透明性」の指標を収集していない。
その結果、研究助成機関はどのような場合、どのような判断で研究助成の優先順位を変更するかという情報を持っていない。
2014年に公表した「連邦政府内部統制基準（Standards for Internal Control in the Federal Government）」（Standards for Internal Control in the Federal Government | U.S. GAO）と政府ガイダンスは、連邦政府が研究助成する研究をより厳密にし、政府機関の目的を達成するために、透明性と質の高い情報を使用することを求めている。
参考：「連邦政府内部統制基準（Standards for Internal Control in the Federal Government）」については → 2006年8月、森毅：米国の連邦政府における内部統制について
研究助成した研究に関するこれらの情報なしでは、研究助成機関が研究の信頼性を向上させる効果的な行動を取る能力は限られる。
★研究を行なった理由
2019年、米国政府は幅広い科学分野にわたる基礎研究に420億ドル（約4兆2千億円）以上の研究助成をした。
以下に示すように、高額上位の3助成機関は、①NIHの190億ドル（約1兆9千億円）、②科学庁（NSF）の57億ドル（約5700億円）、③航空宇宙局（NASA）の52億ドル（約5200億円）だった。
しかし、①NIH、②科学庁（NSF）、③航空宇宙局（NASA）、が研究助成した研究結果の多くが再現・複製できないと指摘されている。
科学界は、論文に発表された研究結果を再現・複製できない現実を深刻な問題だと受けとめている。
それで、米国・会計検査院（GAO）は、連邦政府が研究助成した研究の信頼性を向上させるための戦略を検討するよう依頼された。
この報告書では、次の2項目を行なった。
- 連邦政府機関が研究助成した研究の厳格さと透明性を促進するためにどのような行動を取ることができるかを検証する。
- 政府の主要な研究助成機関が、厳格さと透明性を改善するためにどのような行動をしたかを評価する。
上記2項目を行なうにあたり、米国・会計検査院（GAO）は次に手順を踏んだ。
- 文献をレビューした
- ①NIH、②科学庁（NSF）、③航空宇宙局（NASA）の文書をレビューした
- 22人の専門家と4回、円卓会議を実施した
- 研究助成機関の職員だけでなく、学術界、専門学会、出版界、他の科学コミュニティの利害関係者にも聞き取り調査をした。
★複製・再現
白楽が、用語の定義を以下の記事から転用する。 → 7-93 研究再現性の改善策：英議会の科学技術委員会 | 白楽の研究者倫理
2017年のハンス・プレサー教授（Hans・Plesser）の説明を紹介する。プレサー教授は「Reproducibility vs. Replicability: A Brief History of a Confused Terminology 」論文で、「Repeatability」も加えて次のように説明している。
- 「Repeatability」：同じチーム、同じ実験セットで、同じ結果が得られる。 → 繰り返し性
- 「Replicability」：異なるチーム、同じ実験セットで、同じ結果が得られる。 → 複製性
- 「Reproducibility」：異なるチーム、異なる実験セットで、同じ結果が得られる。 → 再現性
ややこしいけど、米国・会計検査院（GAO）の報告書はハンス・プレサー教授の定義と異なる全米アカデミーの以下の定義を使用している。
図１．研究の信頼要素
報告書「2022年7月のGAO-22-104411」の上図を日本語で説明すると以下のようだ。
- 再現性「Reproducibility」は、同じ入力データ、計算手順、および分析方法を使用して同じ結果が得られる。・・・・ハンス・プレサー教授の「Repeatability」や「Replicability」と同じ。
- 複製性「Replicability」は、異なるデータ、同じまたは類似の方法論を使用して以前の結果を確認できる。・・・・ハンス・プレサー教授の「Reproducibility」と同じ。
- 一般化「Generalizability」は、異なるデータ、異なる方法論を使用して、原則的に同じ結果を確認できる。
●９．【白楽の感想】
《１》期待以上
最初は、米国・会計検査院の基礎研究への提言など当たり障りのない事務的文書だと軽く見ていた。
読み始め、読み進めると、素晴らしい。
研究に「厳密（Rigor）」と「透明性（Transparency）」を要求している。
「厳密（Rigor）」は「研究設計、実施、データ収集、分析の健全性と精密正確」ということである。
「透明性（Transparency）」は「研究設計、実施、データ収集、分析、および結論の明確な文書化と、それらの自由な共有の確保」である。
この「厳密（Rigor）」と「透明性（Transparency）」が徹底すれば、世界中の研究が効率化し、研究費の無駄は激減する。
ポール・グラショウ（Paul Glasziou）らが、研究費の85％は「無駄に浪費」されていると報じたが、無駄な研究（費）は激減するだろう。 → 7-107 巨額な研究ロス | 白楽の研究者倫理
データねつ造・改ざんも、恐らく、激減するだろう。もちろん、盗用も。
メルボルン大学・心理学教授のシミーン・ヴァジーア（Simine Vazire）の「2021年2月のiai news」の主張とかなり重なる印象を受けた。 → 7-83 研究の進め方と論文出版の大改革 | 白楽の研究者倫理
白楽は退職し、現在は、日本及び世界の学術集会・学会に参加していない。それで、現在の研究界・生命科学界は、米国・会計検査院のこの「厳密（Rigor）」と「透明性（Transparency）」をどう受け止めているのか掴めない。
しかし、研究界は分野を問わず、米国・会計検査院の提言を真面目に受け止めて欲しいと切に思う。
日本の研究助成機関も米国・会計検査院の提言を真面目に受け止めて欲しいと切に思う。
ただ、研究不正大国が全く改善される気配がない日本なので、「研究の信頼性（reliability）」を議論するのは、とても遠い気がする。
ましてや、日本の会計検査院が今回の米国・会計検査院が行なった報告書「2022年7月のGAO-22-104411」のような提言をするだろうか？
「厳密（Rigor）」と「透明性（Transparency）」は、研究不正「大」国を「小」国にするにも、とても有効である。
国費の無駄を省く観点から会計検査院は「文部科学省の不作為」を糾弾して欲しい。会計検査院本来の仕事だと思う。
ーーーーーー
日本がスポーツ、観光、娯楽を過度に追及する現状は日本の衰退を早め、ギリシャ化を促進する。日本は、40年後に現人口の22％が減少し、今後、飛躍的な経済の発展はない。科学技術と教育を基幹にした堅実・健全で成熟した人間社会をめざすべきだ。科学技術と教育の基本は信頼である。信頼の条件は公正・誠実（integrity）である。人はズルをする。人は過ちを犯す。人は間違える。その前提で、公正・誠実（integrity）を高め維持すべきだ。
ーーーーーー
ブログランキング参加しています。
１日１回、押してネ。↓
ーーーーーー
★記事中の画像は、出典を記載していない場合も白楽の作品ではありません。
●１０．【コメント】
注意：お名前は記載されたまま表示されます。誹謗中傷的なコメントは削除します