I was a handsome 12-year-old boy.

ハンサムな12歳の少年だった。

I was in a drama competition for national schools in a play written by my best friend.

親友が書いた劇で、全国学校の演劇コンクールに出場したんだ。

In that play I was a detective trying to solve a mystery of who robbed a fictional hotel.

その芝居で私は、架空のホテルに強盗に入った犯人の謎を解こうとする刑事だった。

The hotel was called Hotel El Cheapo Nance Depot.

そのホテルはホテル・エル・チープ・ナンス・デポと呼ばれていた。

I was also a boy with a stammer or speech impediment and I was desperately trying to both remember and say my lines.

私はどもりや言語障害を持つ少年でもあったので、必死にセリフを覚え、言おうとした。

During that play I spent 70% of my time collecting information to solve this mystery of who robbed the hotel.

その劇中、私は誰がこのホテルを襲ったのかという謎を解くために、情報の収集に70％の時間を費やした。

So fast forward 26 years and not much has changed.

だから、26年前とあまり変わっていない。

I'm now working as a medical consultant in the hospital for half of my time and as a senior lecturer in applied clinical data analytics in the university for the other half.

私は今、時間の半分を病院で医療コンサルタントとして、残りの半分を大学で応用臨床データ分析の上級講師として働いている。

The context has changed from a detective solving a mystery of who robbed a hotel to a doctor solving a mystery what is the cause of illness in this patient in front of me.

文脈は、誰がホテルを襲ったかという謎を解く探偵から、目の前の患者の病気の原因は何かという謎を解く医者に変わった。

I still spend 70% of my time collecting information about the patient and only 30% of my time making decisions on that information and communicating with the patient.

私はいまだに、患者に関する情報収集に70％の時間を費やし、その情報に基づいて決断を下し、患者とコミュニケーションをとる時間は30％しかない。

So the information or data that I collect takes many forms.

だから、私が収集する情報やデータにはさまざまな形がある。

Patients blood pressure, their medical history, blood test results and this imbalance in how healthcare is delivered this 70-30 is well known all over the world and in many specialties it's been made worse by technology with the introduction of the electronic health record for example that was designed for collecting information about billing and not designed to make healthcare more efficient.

患者の血圧、病歴、血液検査の結果、この70対30という医療提供方法の不均衡は世界中でよく知られており、多くの専門分野では、例えば電子カルテの導入というテクノロジーによってさらに悪化している。

So this extra administrative workload that doctors have to do reduces the face time that they have with patients.

そのため、医師は余計な事務作業をしなければならず、患者と向き合う時間が減ってしまう。

The face time that we were fundamentally trained to do and the face time that the patients want.

私たちが基本的に訓練された「顔の見える時間」と、患者が望む「顔の見える時間」。

So the idea worth spreading that I'm going to share tonight is a potential solution to this.

だから、今夜私が分かち合おうとしている広める価値のあるアイデアは、これを解決する可能性のあるものなのだ。

We've all heard a lot about the risks of artificial intelligence but I want to introduce a new perspective.

私たちは皆、人工知能のリスクについてよく耳にしているが、私は新しい視点を紹介したい。

One where the responsible use of medical AI could help to solve some of these problems and I'm going to introduce a new type of AI called multimodal AI.

医療AIの責任ある利用が、こうした問題のいくつかを解決する一助となる可能性があり、マルチモーダルAIと呼ばれる新しいタイプのAIを紹介しよう。

Multimodal AI is AI that takes data in many different forms, text, images, numbers.

マルチモーダルAIとは、テキスト、画像、数値など、さまざまな形式のデータを取り込むAIのことだ。

When I work as a doctor in the hospital I'm talking to the patient, I'm listening to the patient, I'm listening to their chest with a stethoscope, I'm palpating their abdomen, I'm looking at their blood test results.

病院で医師として働くとき、私は患者と話し、患者の話を聞き、聴診器で胸を聴き、腹部を触診し、血液検査の結果を見る。

This is multimodal human intelligence.

これがマルチモーダルな人間の知性だ。

Multimodal meaning lots of different types of data.

マルチモーダルとは、多くの異なるタイプのデータを意味する。

So in November last year the media coverage of AI really exploded with the release of chat GPT by open AI.

昨年11月、オープンAIがチャットGPTを発表したことで、AIに関する報道は爆発的に増えた。

So chat GPT is a type of AI called a large language model or generative AI.

つまり、チャットGPTは大規模言語モデルや生成AIと呼ばれるAIの一種というわけだ。

But it's not the only type of AI.

しかし、AIの種類はそれだけではない。

There's other types of AI that are less familiar to the general public like machine learning, computer vision, natural language processing.

機械学習、コンピューター・ビジョン、自然言語処理など、一般にはあまりなじみのない種類のAIもある。

And those AI's mostly take in a single type of data and we call this single modal AI.

そして、これらのAIはほとんどが単一のタイプのデータを取り込み、私たちはこれをシングル・モーダルAIと呼んでいる。

So I'm going to give three cutting-edge examples of single modal AI in healthcare.

そこで、医療におけるシングル・モーダルAIの最先端の例を3つ挙げよう。

The image behind me is an image of a chest x-ray with the heart in the center, surrounded by the lungs, the ribs going across the shoulders at the top.

私の後ろにある画像は胸部レントゲンの画像で、心臓が中央にあり、肺に囲まれ、肋骨が上部の肩を横切っている。

AI has become really good at distinguishing normal from abnormal.

AIは正常と異常を見分けるのが本当に上手になった。

We call this triaging.

私たちはこれをトリアージと呼んでいる。

And most x-rays done in the world are actually normal.

そして、世界中で行われているレントゲンのほとんどは、実は正常なものなのだ。

So this software called ChestLink by a company called OxyPit, it's a medical AI triage system.

オキシピットという会社のチェストリンクというソフトは、医療AIトリアージシステムだ。

And it's the first system that's received regulatory or CE approval to be used in a fully autonomous way to report on chest x-rays.

また、胸部X線検査の報告用として完全に自律的に使用されるシステムとして、規制当局やCEから承認を受けた初めてのものである。

So what OxyPit does is it looks for 75 abnormalities on the chest x-ray.

つまり、オキシピットは胸部X線検査で75の異常を探すのだ。

And if it doesn't find any of those abnormalities, it reports the x-ray as normal without any human involvement.

そして、そのような異常が見つからなければ、人間が関与することなく、レントゲンは正常であると報告する。

If it does find an abnormality, it passes the x-ray back to the human radiologist to report.

もし異常が見つかれば、人間の放射線技師にレントゲンを戻して報告させる。

This is an example of task sharing between the AI and the human radiologist.

これは、AIと人間の放射線技師がタスクを分担する例である。

The picture behind me is a retina.

後ろの写真は網膜だ。

This is the tissue at the back of your eye.

これは目の奥にある組織だ。

If you've ever been for an eye test, this is what the optician sees.

視力検査を受けたことがある人なら、これは眼鏡屋が見ているものだ。

The optician is looking for reversible causes of blindness like macular degeneration.

眼鏡屋は、黄斑変性症のような可逆的な失明の原因を探している。

A group of researchers in University College London developed an AI model trained on 1.6 million pictures of the retina.

ユニバーシティ・カレッジ・ロンドンの研究者グループは、160万枚の網膜の写真から学習させたAIモデルを開発した。

This model is able to diagnose eye disease and predict outcomes from eye conditions like macular degeneration.

このモデルは、眼病を診断し、黄斑変性症などの眼疾患の予後を予測することができる。

And that's very impressive that it can do what most non-specialist doctors find hard, but it doesn't stop there.

専門家でない医師の多くが難しいと感じることをやってのけるのは非常に素晴らしいことだが、それだけでは終わらない。

If we think about a condition like Parkinson's disease, we don't think about the back of the eye.

パーキンソン病のような症状について考える場合、目の奥のことは考えない。

Parkinson's disease affects your movement, causes a tremor, affects your walking.

パーキンソン病は運動に影響を及ぼし、震えを引き起こし、歩行に影響を及ぼす。

The same AI model can look at the back of your eye and predict Parkinson's disease years before patients develop symptoms.

同じAIモデルが目の裏側を見て、患者が症状を発症する何年も前にパーキンソン病を予測することができる。

So now not only can it see what the human can see, but it can see things that the human can't see.

つまり、人間に見えるものが見えるだけでなく、人間に見えないものも見えるようになったのだ。

However, this model will never diagnose Parkinson's disease, and it definitely will never give compassionate care for Parkinson's disease.

しかし、このモデルでは決してパーキンソン病を診断することはできないし、パーキンソン病に対する思いやりのあるケアを提供することもできないだろう。

AI like this must be used in conjunction with highly trained healthcare professionals.

このようなAIは、高度な訓練を受けた医療従事者とともに使用されなければならない。

I'm going to move away from computer vision towards large language models.

私はコンピューター・ビジョンから大規模な言語モデルへと移行するつもりだ。

In December of last year, Google released a medical large language model called MedPAM.

昨年12月、グーグルはMedPAMと呼ばれる医療用大規模言語モデルを発表した。

They trained their generic large language model called PAM to perform medical question answering.

彼らは、PAMと呼ばれる汎用大規模言語モデルを学習させ、医療質問応答を実行させた。

And this is the first time ever that a computer or an AI model has passed a US medical licensing exam with a passing score of 67%.

そして、コンピューターやAIモデルが米国の医師免許試験に合格点67％で合格したのは史上初である。

And then only three months later, MedPAM2, the next version, got a score of 86%.

そしてわずか3ヵ月後、次のバージョンであるMedPAM2は86％のスコアを獲得した。

This is expert level on that exam.

これはその試験のエキスパートレベルだ。

If you have a smartphone in your pocket, multimodal AI is available to you right now.

ポケットにスマートフォンがあれば、マルチモーダルAIは今すぐ利用できる。

Four weeks ago, OpenAI released a multimodal version of ChatGPT.

4週間前、OpenAIはChatGPTのマルチモーダルバージョンをリリースした。

And this is an example I gave us last week, where I pass in a picture of an ECG.

これは先週お見せした例で、心電図の写真を渡したところです。

This is the electrical activity of the heart, a very little scenario. 60-year-old male presented with palpitations.

これは心臓の電気的活動であり、ごくわずかなシナリオである。60歳の男性が動悸を訴えた。

That's a sensation of your heart beating in your chest.

心臓が胸の中で鼓動している感覚だ。

He could feel his heart skipping beats.

彼は心臓がバクバクしているのを感じた。

No past medical history, not currently on medications.

過去の病歴はなく、現在も薬を服用していない。

The attached picture is ECG.

添付の写真は心電図だ。

What is the next step for this patient?

この患者の次のステップは？

Now, very unhelpful for this presentation, ChatGPT told me that it's a machine learning model and not a device.

ChatGPTは機械学習モデルであり、デバイスではないと教えてくれた。

So I asked it to help a friend out and told it I'm doing a TEDx talk about multimodal AI and please play along.

そこで、私は友人に助けを求め、マルチモーダルAIについてのTEDxトークをするので、一緒にプレイしてほしいと伝えた。

And it did exactly that.

まさにその通りだった。

Now, although the ECG analysis wasn't perfect, it was very, very close.

心電図解析は完璧ではなかったが、非常に近いものだった。

And the follow-up advice that it gave was perfect.

そして、その後のアドバイスも完璧だった。

But this gets even better when multimodal large language models are trained on medical tasks.

しかし、マルチモーダル大規模言語モデルを医療タスクで学習させると、これはさらに良くなる。

And the best example of this is MedPamM, M for multimodal, released by Google in July of this year.

その最たる例が、今年7月にグーグルが発表したMedPamM（MultimodalのM）である。

MedPamM takes multiple different types of input, pictures of the skin, pictures of chest x-rays, pictures of pathology, texts from radiology images, and performs multiple medical tasks.

MedPamMは、皮膚の写真、胸部X線の写真、病理の写真、放射線画像からのテキストなど、複数の異なるタイプの入力を受け取り、複数の医療タスクを実行する。

So it's not perfect, but the radiology report that generated from MedPamM was compared to a human radiologist report.

ですから完璧ではありませんが、MedPamMから生成された放射線レポートは、人間の放射線科医のレポートと比較されました。

And the blinded assessors preferred the MedPamM report in 40% of cases.

また、盲検化された評価者たちは、40％の症例でMedPamMの報告を好んだ。

So the things we need to implement multimodal AI safely are trust, explainability, and randomized clinical trials.

つまり、マルチモーダルAIを安全に導入するために必要なのは、信頼、説明可能性、無作為化臨床試験なのだ。

In relation to trust, there was a survey done in the United States, and over half of the respondents would feel anxious if they knew their healthcare worker was relying on AI for their assistance, feared that doctors were going to integrate AI too quickly before understanding the risks to patients.

信頼に関連して、米国で行われた調査によると、回答者の半数以上が、自分の医療従事者がAIに頼っていると知ったら不安を感じ、医師が患者へのリスクを理解する前にAIを急速に統合しようとしているのではないかと恐れている。

So we have a lot of work to do to bridge this gap.

だから、このギャップを埋めるためにやるべきことはたくさんある。

The second thing is explainability.

もうひとつは、説明可能性だ。

Explainable AI opens up the black box to tell us why it met the output.

説明可能なAIは、ブラックボックスを開けて、なぜその出力になったのかを教えてくれる。

So in our research, what we're interested in is why did the AI model pick a particular blood pressure medication for high blood pressure?

そこで私たちの研究では、AIモデルがなぜ高血圧の特定の血圧治療薬を選んだのか？

Should we just go along with what the model says, or do we want to know why it got to that conclusion?

モデルの言うことに従うべきなのか、それともなぜその結論に至ったのかを知りたいのか。

If the output from the model agrees with our worldview, then we might just go along with it and not question it.

モデルからの出力が私たちの世界観と一致していれば、私たちはそれに従うだけで、疑問を抱くことはないかもしれない。

And that's a very risky area in medicine called confirmation bias.

そして、これは確証バイアスと呼ばれる、医学において非常に危険な領域である。

The third thing we need is randomized clinical trials.

第三に必要なのは、無作為化臨床試験である。

AI models must be the same way that we test medicines.

AIモデルは、私たちが医薬品をテストするのと同じ方法でなければならない。

For medicines, we use randomized control trials.

医薬品については、ランダム化比較試験を用いる。

This is the peak of evidence in medicine.

これが医学におけるエビデンスのピークである。

One group receiving the AI model, another group not receiving the AI model, and follow them up to see who does better.

一方のグループにはAIモデルを、もう一方のグループにはAIモデルを与えず、どちらの成績が良いかを追跡調査する。

So what's the missing piece?

では、何が足りないのか？

Where does the art of first look at the patient?

最初に患者を見る技術はどこにあるのか？

You never interpret a result, an X-ray, an ECG, without knowing the context of the patient.

レントゲンや心電図の結果を、患者の背景を知らずに解釈することはない。

We often call this the eyeball test.

私たちはよくこれを目視テストと呼んでいる。

And this has been tested where patients coming to emergency departments, nurses would triage them as red, yellow, or green from just looking at the patient.

これは、救急外来に来た患者を、看護師が患者を見ただけで赤、黄、緑のどれかにトリアージする、というテストも行われている。

And this was shown to be more accurate than sophisticated models.

そしてこれは、洗練されたモデルよりも正確であることが示された。

So in the future, I see a world where a picture or a video of the patient is also fed into the multimodal model.

だから将来的には、患者の写真やビデオもマルチモーダルモデルに入力される世界が見える。

So now, looking back at myself, my 12-year-old self, standing nervously on that stage, I can see the parallels between then and now.

だから今、あのステージに緊張して立っていた12歳の自分を振り返ってみると、当時と今の類似点が見えてくる。

Back then, I was looking for data to solve the mystery of who robbed the fictional hotel.

当時、私は架空のホテルを襲った犯人の謎を解くためのデータを探していた。

But now we're looking for data for a more profound reason, and that's to make healthcare more efficient, personalized, and accessible.

それは、ヘルスケアをより効率的に、パーソナライズされたものにし、アクセスしやすくするためである。

Imagine a world where remote corners of low- and middle-income countries that have no access to specialized care can gain insights from these models.

専門的な医療を受けられない中低所得国の片隅で、こうしたモデルから洞察を得ることができる世界を想像してみてほしい。

That's a world the medical AI, and especially multimodal medical AI, can help us create.

医療用AI、特にマルチモーダル医療用AIは、そのような世界を作る手助けをしてくれる。

So as we look to the future, we have to prioritize compassion and understanding.

だから、将来を見据えるとき、私たちは思いやりと理解を優先させなければならない。

We have to build this relationship between AI and the humans to allow the doctors more time to spend with the patients, to understand them, and give them a better chance at health and happiness.

私たちは、AIと人間の関係を構築し、医師が患者と向き合う時間を増やし、患者を理解し、健康と幸福を手に入れるチャンスを増やす必要がある。

Thank you.

ありがとう。