膵癌診療ガイドライン外部評価の結果
本診療ガイドライン作成過程の妥当性や臨床現場への適用可能性などを客観的に評価するために，本ガイドラインの作成後，作成に直接かかわっていない膵癌専門医2名（外科系），膵癌を専門としないが臨床ガイドラインに精通している医師1名（非専門医），生物統計学専門家1名，患者代表1名の計5名から構成される外部評価委員によって，独立した評価が行われた（表1）。評価は，診療ガイドラインを評価するツールとして世界的に用いられているAGREE（Appraisal of Guidelines for Research and Evaluation）プロジェクトによる評価法（附録1）1），Shaneyfeltらによる評価法（附録2）2），COGS（Conference on Guideline Standardization）による評価法（附録3）3）を用いて行われた（各調査票を附録1〜3につけた）。結果の概要を以下に示す。なお，評価全体のサンプルサイズが5名と少ないため，結果の解釈には十分注意する必要がある。外部評価委員の人数が少ないため膵癌専門医，膵癌非専門医，患者代表での比較を今回は行わなかった。
【AGREEによる評価】
AGREEによる評価は6領域（「対象と目的」（1〜3），「利害関係者の参加」（4〜7），「作成の厳密さ」（8〜14），「明確さと提示の仕方」（15〜18），「適用可能性」（19〜21），「編集の独立性」（22〜23））23項目および全体評価1項目（24）の計24項目から成る（附録1）。各項目について，4点：「強く当てはまる」から1点：「全く当てはまらない」の4段階で評価される。また，各項目にはコメントを記載するための欄が設けられている。領域ごとの平均点（最低1点〜最高4点）および標準化スコア（最高評点に対するパーセンテージとして標準化したスコア，最低0％〜最高100％）4）5） は，「対象と目的」については98％，「利害関係者の参加」 87％，「作成の厳密さ」 94％，「明確さと提示の仕方」92％，「適用可能性」 92％，「編集の独立性」 94％であり，「対象と目的」「作成の厳密さ」「明確さと提示の仕方」「適用可能性」および「編集の独立性」については優れているものの，「利害関係者の参加」，については改善の余地があることが示唆された（表2，図1）。
各項目に関しては，評価が高いものとしては，項目1：「ガイドライン全体の目的が具体的に記載されている」，項目2：「ガイドラインで取り扱う臨床上の問題が具体的に記載されている」，項目 9：「エビデンスの選択基準が明確に記載されている」，項目 13：「ガイドラインの公表に先立って，外部審査がなされている」，項目 14：「ガイドラインの改訂手続きが予定されている」などであり（表2），一方で，評価が低かった項目は，項目 5：「患者の価値観や好みが十分に考慮されている」，項目 16：「患者の状態に応じて，可能な他の選択肢が明確に示されている」などであった。項目 5 については，患者がガイドライン作成にかかわっていないことが原因と考えられる。項目 16 については，治療法に選択肢が少ないので，仕方のないことかと思われた。
全体評価については，「あなたはこれらのガイドラインを診療に用いることを推奨しますか？」という質問に対し，4 人が「強く推奨する」と回答し，残り 1 人のみ「推奨する」と回答していた（表 3）。
コメントとしては推奨度 C1 や C2 が多いためか，選ぶべき選択肢が明確でないとの意見があったが，膵癌では前向き臨床試験が少なく，現状では致し方ないかと考えられる。
| 項目 | 膵癌専門医 | 膵癌専門医以外 | 平均値 | |||
|---|---|---|---|---|---|---|
| AGREE 1 | 4 | 4 | 4 | 4 | 4 | 4.00 |
2 |
4 | 4 | 4 | 4 | 4 | 4.00 |
3 |
4 | 4 | 4 | 4 | 3 | 3.80 |
4 |
4 | 4 | 4 | — | 3 | 3.75 |
5 |
3 | 2 | 3 | — | 4 | 3.00 |
6 |
4 | 3 | 4 | 4 | 4 | 3.80 |
7 |
3 | 4 | 4 | 4 | 4 | 3.80 |
8 |
4 | 4 | 4 | 2 | 3 | 3.40 |
9 |
4 | 4 | 4 | 4 | 4 | 4.00 |
10 |
4 | 4 | 4 | 4 | 3 | 3.80 |
11 |
4 | 3 | 4 | 4 | 4 | 3.80 |
12 |
4 | 3 | 4 | 4 | — | 3.75 |
13 |
4 | 4 | 4 | 4 | 4 | 4.00 |
14 |
4 | 4 | 4 | 4 | 4 | 4.00 |
15 |
4 | 3 | 4 | 4 | 4 | 3.80 |
16 |
3 | 2 | 4 | 4 | 4 | 3.40 |
17 |
3 | 3 | 4 | 4 | 4 | 3.60 |
18 |
4 | 3 | 4 | 3 | 3 | 3.60 |
19 |
3 | 4 | 4 | 4 | — | 3.50 |
20 |
3 | 4 | 4 | 4 | — | 3.75 |
21 |
4 | 4 | 4 | 4 | — | 4.00 |
22 |
4 | 4 | 4 | — | — | 4.00 |
23 |
3 | 4 | 4 | — | — | 3.67 |
24 |
4 | 4 | 3 | 4 | 4 | 3.80 |
図1 AGREE 6領域の領域別標準化スコア
【Shaneyfeltらによる評価】
Shaneyfelt らによる評価は 25 項目から成り，全て Yes ／ No で回答する（附録 2）。Yesと回答した割合が 100％ であった項目は，項目 1：「ガイドラインの目的が明確に述べられている」など 12 項目であった（表 4）。一方，項目 18：「利得と害が定量的に記載されている」，項目 19：「診療行為のコストへの影響が記載されている」，項目 20：「コストが定量的に示されている」については Yes と回答した評価者は少なかった。
【COGSによる評価】
COGS による評価は 18 項目から成り，Shaneyfelt らの評価と同様に全て Yes ／ No で回答する（附録 3）。Yes と回答した割合が 100％ であった項目は，項目 1：「概観資料（ガイドラインの公開の日付，構造化抄録の提示など）」や項目 2：「焦点（扱う主な疾患，介入についての記載など）」など 11 項目であった（表 5）。
【ガイドライン評価方法に関する有用性】
各評価には，それぞれの方法が有用かどうかを問う項目がついている。AGREEShaneyfelt，COGS のいずれについても，評価者全員が「極めて有用である」あるいは「有用である」と回答していた（表 6）。
| 評価票 | 膵癌専門医 | 膵癌専門医以外 | |||
|---|---|---|---|---|---|
| AGREE | 4 | 4 | 3 | 3 | 4 |
| Shaneyfelt | 4 | 4 | 3 | 3 | 3 |
| COGS | 4 | 4 | 3 | 3 | 3 |
【考察】
ガイドラインの対象や目的，作成プロセス，推奨（勧告）の明確さなどについては，いずれの評価方法を用いても高い評価が得られていたものの，利害関係者の参加，適用可能性（実際の適用にあたっての考慮）などについては評価が低かった。ある程度予想された結果ではあるが，これらをどう考慮していくかは今後の課題と思われた。また，今回は作成者は医師のみであり，患者，コメデイカルは参加していないが，将来的には作成者にこれらの方々にも参加してもらう必要があるようだ。評価者が5名と限定されており，また，膵癌専門医，非専門医，医師以外の比較についての検討は行わなかった。今後は，特に，本ガイドラインを実際の臨床現場で用いることにより，多くの医師，コメディカルあるいは患者などからの評価を受け，意見を求めることが重要である。また，どのような評価方法を用いるかについても，さらなる検討の余地があると思われる。
AGREEにおける全体評価では，評価者全員が「極めて有用である」，「有用である」と回答している。一方，ShaneyfeltやCOGSでは医学部全体評価はないものの，全項目をまとめて全体でのYesと回答した割合を試行的に求めてみたとろこ，83.9％，87.4％でいくつか課題は残るものの，本ガイドラインの評価は総じて高いと考えられる。
【文献など】
1） Appraisal of Guideline for Research and Evaluation（AGREE） collaboration. http://www.agreecollaboration.org/
2） Shaneyfelt TM, Mayo─Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer─reviewed medical literature. JAMA 1999；281：1900─1905.
3）Shiffman RN, Shekelle P, Overhage JM, Slutsky J, Crimshaw J, Deshpande AM. Standardized reporting of clinical practice guideline：a proposal from the Conference on Guideline Standardization. Ann Intern Med 2003；139：493─498.
4） 長谷川友紀ほか訳．ガイドラインの研究・評価用チエックリスト Appraisal of Guidelines for Research and Evaluation（AGREE） instrument. AGREE共同計画 2001年9月．
5） Minds診療ガイドライン選定部会監修，福井次矢，吉田雅博，山口直人編集 診療ガイド ライン作成の手引き2007 医学書院 2007年9月．
（産業医科大学医学部第一外科 山口幸二）
| 評価項目 | 点数 | コメント | |
|---|---|---|---|
| 対象と目的 | |||
| 1 | ガイドライン全体の目的が具体的に記載されている。 | 4 3 2 1 | |
| 2 | ガイドラインで取り扱う臨床上の問題が具体的に記載されている。 | 4 3 2 1 | |
| 3 | どのような患者を対象としたガイドラインであるかが具体的に記載されている。 | 4 3 2 1 | |
| 利害関係者の参加 | |||
| 4 | ガイドライン作成グループには、関係する全ての専門家グループの代表者が加わっている。 | 4 3 2 1 | |
| 5 | 患者の価値観や好みが十分に考慮されている。 | 4 3 2 1 | |
| 6 | ガイドラインの利用者が明確に定義されている。 | 4 3 2 1 | |
| 7 | ガイドラインの想定する利用者で既に試行されたことがある。 | 4 3 2 1 | |
| 作成の厳密さ | |||
| 8 | エビデンスを検索するために系統的な方法が用いられている。 | 4 3 2 1 | |
| 9 | エビデンスの選択基準が明確に記載されている。 | 4 3 2 1 | |
| 10 | 推奨を決定する方法が明確に記載されている。 | 4 3 2 1 | |
| 11 | 推奨の決定にあたって、健康上の利益、副作用、リスクが考慮されている。 | 4 3 2 1 | |
| 12 | 推奨とそれを支持するエビデンスとの対応関係が明確である。 | 4 3 2 1 | |
| 13 | ガイドラインの公表に先立って、外部審査がなされている。 | 4 3 2 1 | |
| 14 | ガイドラインの改訂手続きが予定されている。 | 4 3 2 1 | |
| 明確さと提示の仕方 | |||
| 15 | 推奨が具体的であり、曖昧でない。 | 4 3 2 1 | |
| 16 | 患者の状態に応じて、可能な他の選択肢が明確に示されている。 | 4 3 2 1 | |
| 17 | どれが重要な推奨か容易に見分けられる。 | 4 3 2 1 | |
| 18 | 利用のためのツールが用意されている。 | 4 3 2 1 | |
| 適用可能性 | |||
| 19 | 推奨の適用にあたって予想される制度・組織上の障碍が論じられている。 | 4 3 2 1 | |
| 20 | 推奨の適用に伴う付加的な費用（資源）が考慮されている。 | 4 3 2 1 | |
| 21 | ガイドラインにモニタリング・監査のための主要な基準が示されている。 | 4 3 2 1 | |
| 編集の独立性 | |||
| 22 | ガイドラインは編集に関して資金源から独立している。 | 4 3 2 1 | |
| 23 | ガイドライン作成グループの利害の衝突が記載されている。 | 4 3 2 1 | |
↑ ↑ |
↑ ↑ |
||
いずれかに○を付けて下さい。 |
必要ならばコメントして下さい |
||
| 24 | あなたはこれらのガイドラインを診療に用いることを推奨しますか？ | 4 3 2 1 | |
|---|---|---|---|
↑ ↑ |
↑ ↑ |
||
いずれかに○を付けて下さい。 |
必要ならばコメントして下さい |
||
| あなたはこの AGREE ガイドライン評価票が有用だと思われますか？ | 4 3 2 1 | ||
↑ ↑ |
↑ ↑ |
||
いずれかに○を付けて下さい。 |
必要ならばコメントして下さい |
||
Appraisal of Guidelines for Research & Evaluation（AGREE ）instrument.〔平成 14 年度厚生労働科学研究費医療技術評価総合研究事業「診療ガイドラインの評価に関する研究」研究班（主任研究者長谷川友紀）翻訳「ガイドラインの研究・評価用チエックリスト AGREE 共同計画」より一部改変〕
| 評価項目 | Yes／NO | |
|---|---|---|
| ガイドラインの作成方法と様式について | ||
| 1 | ガイドラインの目的が明確に述べられている。 | Y／N |
| 2 | ガイドラインの作成理由と基本原理、重要性が記載されている。 | Y／N |
| 3 | ガイドライン作成委員とその専門分野が記載されている。 | Y／N |
| 4 | 対象となるテーマ（健康問題, 医療技術など）が明確に定義されている。 | Y／N |
| 5 | 対象となる患者集団が特定されている。 | Y／N |
| 6 | 想定している読者, 使用者が特定されている。 | Y／N |
| 7 | 診断や治療、予防に関する選択肢が利用可能で主要なものを網羅している。 | Y／N |
| 8 | 予期される健康上のアウトカムが記載されている。 | Y／N |
| 9 | 作成したガイドラインの外部評価の結果が記載されている。 | Y／N |
| 10 | 有効期限若しくは改訂の予定を記載している。 | Y／N |
| エビデンスの検索・要約について | ||
| 11 | エビデンスの検索方法を明示している。 | Y／N |
| 12 | どの時期（期間）のエビデンスを検索したのかを記載している。 | Y／N |
| 13 | エビデンスを引用し、参考文献として列挙している。 | Y／N |
| 14 | データを抽出した方法を示している。 | Y／N |
| 15 | エビデンスのグレードのつけ方、分類方法を記載している。 | Y／N |
| 16 | エビデンスや専門家の意見をフォーマルな方法で統合し、その方法を記載している。 | Y／N |
| 17 | 診療行為の利得と害を記載している。 | Y／N |
| 18 | 利得と害が定量的に記載されている。 | Y／N |
| 19 | 診療行為のコストへの影響が記載されている。 | Y／N |
| 20 | コストが定量的に示されている。 | Y／N |
| 勧告の作成方法について | ||
| 21 | 勧告を作成する際の価値判断が明示されている。 | Y／N |
| 22 | 患者の意向が考慮されている。 | Y／N |
| 23 | 勧告が具体的で、ガイドラインの目的に沿っている。 | Y／N |
| 24 | 勧告がエビデンスの質に応じてグレード付けされている。 | Y／N |
| 25 | 勧告が柔軟性のある内容となっている。 | Y／N |
↑ ↑ |
|||
注）勧告=推奨 |
Y／Nのいずれかに○を付けて下さい |
||
| あなたはこの Shaneyfelt ガイドライン評価票が有用だと思われますか？ | 4 3 2 1 | ||
|
↑ ↑ |
||
いずれかに○を付けて下さい。（4:強く当てはまる 3:当てはまる 2:当てはまらない 1:全く当てはまらない） |
|||
↑ ↑ |
|||
必要ならばコメントして下さい |
|||
福井次矢, 丹後俊郎：厚生労働省「診療ガイドライン作成研究班合同会議」資料「診療ガイドラインの作成の手順」ver4.3（2001/11/7）より一部改変
| 評価項目 | Yes／NO | ||
|---|---|---|---|
| 1 | 概観資料 | ガイドラインの公開の日付、状態（初公開、改訂、更新）、印刷・電子媒体についての情報を含む構造化抄録の提示。 | Y／N |
| 2 | 焦点 | ガイドラインを扱う主な疾患／病気, 介入／サービス／技術についての記載。開発中に考慮したあらゆる代替となる予防的・診断的・治療的介入を示すこと。 | Y／N |
| 3 | 目標 | そのトピックについてガイドラインを作成する理由を含む, ガイドラインの到達目標についての記載。 | Y／N |
| 4 | ユーザー／環境 | ガイドラインの対象とするユーザー（医療提供者の種類, 患者など）とガイドラインが使用されることを企図している環境についての記載。 | Y／N |
| 5 | 標的とする集団 | ガイドラインの勧告に的確な患者集団の記載と, 除外基準の羅列。 | Y／N |
| 6 | 作成者 | ガイドライン作成の責任を持つ組織, ガイドライン作成に関わる個人の名前／身分／潜在的な利益相反を明らかにすること。 | Y／N |
| 7 | 資源／スポンサー | 資源／スポンサーを明らかにし. ガイドラインの作成および／もしくは報告におけるそれらの役割の記載, 潜在的な利益相反についての開示。 | Y／N |
| 8 | エビデンスの集積 | 検索の範囲とした期間, 検索を行ったデータベース名, 検索されたエビデンスを篩に掛けるのに用いた基準を含む, 科学的文献を検索するために用いた方法についての記載。 | Y／N |
| 9 | 勧告のグレーディングの基準 | 勧告を支持するエビデンスの質を評価するのに用いられた基準と, 勧告の強さを記載するのに用いられたシステムについての記載。勧告の強さは, 勧告を遵守することの重要性と関連しており, エビデンスの質と予想される利益や害の大きさの両方に基づいている。 | Y／N |
| 10 | エビデンスの合成の方法 | 勧告を作成するためにエビデンスがどのように用いられたか（エビデンス・テーブル, メタ分析, 判断分析など）についての記載。 | Y／N |
| 11 | 正式公開に先立ってのレビュー | 公開に先立って, ガイドラインの作成者がどのようにそのガイドラインを検討し, テストしたのかについての記載。 | Y／N |
| 12 | 更新の予定 | ガイドラインを扱う主な疾患／病気, 介入／サービス／技術についての記載。開発中に考慮したあらゆる代替となる予防的・診断的・治療的介入を示すこと。更新する予定の有無についての言明。必要に応じて, 現在のバージョンのガイドラインの有効期限の記載があること。 | Y／N |
| 13 | 明確化 | 馴染みのない言葉を明確にし, 誤解を招く可能性のあるガイドラインの適用を修正するために決定的に重要なものを明らかにすること。 | Y／N |
| 14 | 勧告とその理由付け | それが実施される特定の状況を示すこと, 勧告とそれを支持するエビデンスとの関連性を示すことにより, 各勧告の正当性を示すこと 。項目９で示した基準に従って, エビデンスの質と勧告の強さを示すこと。 | Y／N |
| 15 | 潜在的な利益と害 | ガイドラインの勧告を実施することに伴って予測される利益と潜在的なリスクの記載。 | Y／N |
| 16 | 患者の選好 | 勧告が個人的な選択や価値の要素を実質的に含む場合は, 患者の選好の役割についての記載。 | Y／N |
| 17 | アルゴリズム | （必要に応じ）ガイドラインに記載された診療上の段階・判断を図示すること。 | Y／N |
| 18 | 実施に当たっての考慮 | 勧告の適用に当たって予想される障害についての記載。実施を促すための, 医療提供者もしくは患者向けのあらゆる補助的な文書について述べること。ガイドラインを実施する際のケアの変化を測定するための審査基準の提案。 | Y／N |
↑ ↑ |
|||
注）勧告=推奨 |
Y／Nのいずれかに○を付けて下さい |
||
| あなたはこの COGS ガイドライン評価票が有用だと思われますか？ | 4 3 2 1 | ||
|
↑ ↑ |
||
いずれかに○を付けて下さい。（4:強く当てはまる 3:当てはまる 2:当てはまらない 1:全く当てはまらない） |
|||
↑ ↑ |
|||
必要ならばコメントして下さい |
|||
Shiffman RN, et al. Standardized reporting of clinical practice guidelines：A proposal from the Conference on Guideline Standardization. Ann Intern Med 2003：139：493-8［斉尾武郎, 光石忠敬訳 診療ガイドラインの報告様式の標準化 ガイドラインの標準化に関する会議からの提案 Clin Eval 2003：31：157-168］より一部改変