山田　初めまして。大阪大学医学部附属病院で初期研修をしている山田達也と申します。学部4年生の時から株式会社GramEyeという、感染症の問題に取り組む会社を立ち上げています。会社では、微生物検査の1つ“グラム染色”をAIとロボティクスを用いてアップデートする医療機器を開発しています。

永代　永代友理と申します。現在、東京大学で特任研究員として研究をしております。

医学部を卒業して初期研修医を2年行いました。そのときに現在の研究テーマである手術手技の教育支援に興味が湧きました。自分が外科医になることも考えましたが、外科医を支援する立場にまわりたい、そのような研究がしたいと思い、初期研修修了後に大学院に進学して研究を始めました。大学院を卒業してポスドクとして研究を続けているところです。

髙橋　私は放射線技師の免許を取りましたが、東北大学大学院で医科学を専攻して研究をしています。おふたりとの共通点は、先駆的な技術と人間のつながりを模索されているところなのかなと思います。

研究テーマは、AIを使い放射線画像の診断支援システムを作ることです。AIに興味を持ったきっかけは、学部時代に配属された研究室にありました。当時、指導教員が「医療とAIを融合させた研究を始めたい」と熱意を持っておられ、その新しい挑戦に共感した私は、医療者でありながら未知の分野に飛び込んでみようと決意しました。その結果、AIを医療に応用する研究の魅力に気づいたというところです。

髙橋　そういう手技の教育は、熱心にコア技術や技の部分まで教える指導者もいれば、必要最低限の内容に留める指導者もいて、結構ばらつきがありそうですよね。そこでそういうプロフェッショナルな知見をガイドライン化して、手技をまねるようなもので研修医を指導する。単なる教科書的なものではなくて、医療現場で活かせる「感覚」や「直感」に基づいた指導がもっと増えれば、より実践的な学びが得られそうですよね。医者としてプロフェッショナルなことをしているという意識やプライドが刺激されることで、知識や技術の吸収にも繋がってくるのかなと聞いていて感じました。

永代　そこでの説明可能性って、キーワードなんじゃないかなと思うのですが。

髙橋　キーワードだと思います。

永代　そこが特に医療には大事ですよね。

髙橋　そうですね。説明つまり言語化できないと、医師や現場のユーザーがほんとに使えるものなのかということにも関わってきますし、誤解があるとインシデントにもつながってしまうので、そこはある程度明確な判断ができる情報を提示してあげないといけないと思っています。それは私が研究しているAIにも同じことが言えると思います。山田さんがAIを使い始めたきっかけはなんですか。

山田　私がAIを使い始めたきっかけは、検査技師の先生方のいわゆる“匠の技”を見たことがきっかけでした。感染症の原因菌の1つに、大腸菌と緑膿菌と言われる菌がいます。同じ『グラム陰性桿菌』という分類で色素で染めるとピンク色に染まる菌なのですが、ベテランの技師から見ると、緑膿菌はちょっと長細くて大腸菌は太いそうです。私にはわからないのですが、長年菌を見続けていると、そういった言葉で表しづらい特徴を捉えられるそうです。実は、AIにはそういった言葉にしがたい特徴でも学習して判別できると知っていたので、AIを使い始めました。実際に研究ではベテラン技師に近い精度が得られています。

髙橋　AIを現場の人に実際に使ってもらったときに、AIが何をいっているか分からないみたいな、そういうブラックボックス的なコメントもありましたか。

山田　ブラックボックスと思う事もあります。いま言った通り、AIは人間の言葉では表現しにくい特徴を捉え、学習し、判断に使う事もできます。たとえば、COVIDの抗原反応であれば、物質的な反応性を見ているという仕組みを医療者が知っているので結果に納得できるのですが、画像解析のAIの場合、なぜAIがその判断をしたのか知ることができません。

そこを、どう伝えればユーザーが安心・納得して使ってもらえるのかは、まだ悩んでいるところです。

髙橋　たぶんみんな探り探り、自分たちの独自の解析も織り交ぜつつ説明可能性を定義していることが多いのかなと思います。代表的なものはパラメータの勾配をヒートマップで可視化して、色ごとにAIの注目度合いを人間が判定していたりします。また、私の場合は、外部検証をすることも説明可能性を研究する上で必要になったりすることがあります。病院Aで学んだモデルを病院Bで応用したときに使えるかどうかという検証が外部検証と言われるものですが、実際やってみると所見や構造よりも、病院間の撮影条件が違うところからはじまります。

放射線画像は病院によって撮影機械や撮影条件も違う。技師さんの経験による撮影の違いも出ます。それからコンピュータービジョン系だと学習する際に難しいのが、放射線画像で黒く写る空気などです。そこが値としてはゼロになるので、勾配と呼ばれるパラメータが消失してしまい、学習が進まなくなることが起こります。

永代　それって駄目なんですね。

髙橋　黒いところに引っ張られてしまって全然人体の構造を見ていないという話があるのですが、面白いことにそれでも精度が高いものがあったりします。

論文を見てみると、きれいにここを見ているので信憑性がありますと書いてあったりするのですが、たぶん全部の画像で同じヒートマップを出してみると、疾患と関係ない臓器や空気の部分を見て判断していたりすることが、私の経験上確実にあります。そうなったときに、医療者に提示したときに空気の部分を見て、これは所見がありますと言って信頼しますかと。それなら、AIが判断したことに無理に診断が左右されるのではなくて、AIはこう思っているのね、くらいの感覚で医療者は捉えたほうが共創できる社会になるのかなと思っています。

永代　難しいですね。

山田　逆にAIのほうが人間より精度が高くなってしまったり、人間には分からないところをAIだったら分析できましたというように、AIが人間を超えてきた場合は……。

髙橋　ここ最近僕もそれを考えているのでよく分かります。

山田　言語化できないけれど、AIはこう言ってるからみたいな。

髙橋　人知をAIが精度的にも超えたときに、医療者の在り方はどうなるかみたいなこととか。

山田　それはそういう検査手法の一つだよねと受け入れられていく世の中にいつなっていくのかなと思います。

髙橋　実際に現場で働いている方は、AIの精度が高かったり、人知を超えてきたようなときにどういう反応をする人が多いんですか。

山田　内視鏡でAIが大腸癌があると言っているけれど、カメラで近くに寄っても人の目では分からないというようなことになれば、さすがにそれは医者としてはモヤモヤが残りますよね。難しいです。

永代　そうですよね。どうするんだろう。

山田　でも内視鏡の場合は、AIが言ったら組織を取ってきて病理で見ることができます。

髙橋　病理検査で。

山田　それで答え合わせができる。

髙橋　確かに。

山田　だから、AIはスクリーニングにおいては医者側からすると役に立つけど、確定診断をAIがやってしまうのはまだ難しいのかなと。

髙橋　AIが医師に代わって確定診断まで行うのはリスクがありますし、やはり最終的な判断は人間に委ねられるべきだと思います。AIはあくまで医師をサポートするツールとして機能するのが理想だと思いますね。