Name: ChatGPT などの人工知能（AI）の安全性と危険を防ぐ方法とは？
Uploaded: 2023-05-18T21:01:20.000Z
Duration: 5 min 24 s

The AI arms race is on, and it seems nothing can slow it down.

AIの軍拡競争は続いており、それを遅らせることはできないようです。

Google says it's launching its own artificial-intelligence-powered chatbot to rival ChatGPT.

Googleは、ChatGPTに匹敵する人工知能を活用した独自のチャットボットを発表すると発表しました。

程度の副詞

AIが多すぎて速すぎるんです。

It feels like every week, some new AI product is coming onto the scene and doing things never remotely thought possible.

毎週、新しいAI製品が登場し、これまで考えられなかったようなことを実現しているように感じます。

We're in a really unprecedented period in the history of artificial intelligence.

人工知能の歴史上、本当に前例のない時期に来ています。

It's really important to note that it's unpredictable how capable these models are as we scale them up.

本当に重要なのは、これらのモデルがスケールアップしたときにどれだけの能力を発揮するかは予測不可能だということです。

And that's led to a fierce debate about the safety of this technology.

そして、この技術の安全性をめぐって激しい論争が起きています。

ここに警鐘を鳴らす必要があります。

We have a perfect storm of corporate irresponsibility, widespread adoption of these new tools, a lack of regulation, and a huge number of unknowns.

企業の無責任さ、新しいツールの普及、規制の欠如、そして膨大な数の未知数というパーフェクトストームが起きているのです。

Some researchers are concerned that, as these models get bigger and better, they might, one day, pose catastrophic risks to society.

研究者の中には、これらのモデルがより大きく、より良くなるにつれて、ある日突然、社会に壊滅的なリスクをもたらすかもしれないと懸念している人もいます。

So, how could AI go wrong, and what can we do to avoid disaster?

では、AIはどのように失敗する可能性があり、災害を避けるために何をすればいいのでしょうか？

So, there are several risks posed by these large language models.

つまり、こうした大規模な言語モデルがもたらすリスクはいくつかあるのです。

[Large language model: An artificial intelligence tool which uses large data sets to process and generate new content.]

[大規模言語モデル： 大規模なデータセットを使って、新しいコンテンツを処理・生成する人工知能ツール]

One class of risk is not all that different from the risk posed by previous technologies like the internet, social media, for example.

あるクラスのリスクは、例えばインターネットやソーシャルメディアなど、これまでのテクノロジーがもたらすリスクとさほど変わりません。

There's a risk of misinformation, 'cause you could ask the model to say something that's not true, but in a very sophisticated way and posted all over social media.

モデルさんにお願いして、事実と異なることを、非常に洗練された方法で、ソーシャルメディアに投稿される可能性もありますから、誤報のリスクもありますね。

There's a risk of bias, so they might spew harmful content about people of certain classes.

バイアスがかかる恐れがあるので、特定の階級の人について有害な内容を吹き込むかもしれませんね。

For example, you might ask a model to produce something from a factory setting that it requires a lot of energy for.

例えば、工場の設定で、多くのエネルギーを必要とするものを生産するようモデルに依頼することがあります。

And, in service of that goal of helping your factory production, it might not realize that it's bad to hack into energy systems that are connected to the internet.

そして、工場の生産を助けるというその目的のために、インターネットに接続されたエネルギーシステムにハッキングすることが悪いことだということに気づかないかもしれません。

And because it's super smart, it can get around our security defenses, hacks into all these energy systems, and that could cause, you know, serious problems.

そして、超スマートなので、セキュリティの防御をかいくぐり、すべてのエネルギーシステムに侵入することができ、深刻な問題を引き起こす可能性があります。

Perhaps a bigger source of concern might be the fact that bad actors just misuse these models.

もっと大きな懸念材料は、悪質な業者がこれらのモデルを悪用することかもしれません。

For example, terrorist organizations might use large language models to, you know, hack into government websites

例えば、テロ組織は大規模な言語モデルを使用して、政府のウェブサイトをハッキングすることができるかもしれません。

or produce biochemicals by using the models to, kind of, discover or design new drugs.

また、新薬の発見や設計のためにモデルを使用して、生化学物質を生産することもできます。

You might think most of the catastrophic risks we've discussed are a bit unrealistic, and, for the most part, that's probably true.

これまで述べてきた破滅的なリスクのほとんどは、少し非現実的だと思うかもしれませんが、ほとんどの場合、それは事実でしょう。

But one way we could get into a very strange world is if the next generation of big models learned how to self-improve.

しかし、非常に奇妙な世界に入ることができる一つの方法は、次世代のビッグモデルが自己改良の方法を学んだ場合です。

One way this could happen is if we told, you know, a really advanced machine learning model to develop, you know, an even better, more efficient machine learning model.

このようなことが起こる可能性があるのは、本当に高度な機械学習モデルを、さらに優れた、より効率的な機械学習モデルを開発するために、私たちが伝えた場合です。

If that were to occur, you might get into some kind of loop where models continue to get more efficient and better,

もしそうなれば、モデルがより効率的に、より良くなり続けるというある種のループに陥り、

and then that could lead to even more unpredictable consequences.

さらに予測不可能な結果を招くかもしれないのです。

There are several techniques that labs use to, you know, make their models safer.

ラボでは、モデルをより安全にするために、いくつかのテクニックを使っています。

The most notable is called "reinforcement learning from human feedback", or RLHFs.

最も注目されているのは、「人間のフィードバックからの強化学習」、つまりRLHFと呼ばれるものです。

The way this works is, labelers are asked to prompt models with various questions, and if the output is unsafe, they tell the model,

この仕組みは、ラベラーがモデルに様々な質問を促し、その出力が安全でないものであれば、それをモデルに伝え、

and the model is then updated so that it won't do something bad like that in the future.

今後そのような悪いことをしないようにモデルが更新されます。

Another technique is called "red teaming", throwing the model into a bunch of tests and then seeing if you can find weaknesses in it.

また、「レッドチーム」と呼ばれる、モデルをたくさんのテストに放り込み、その中から弱点を見つけ出せるかどうかを確認する手法もあります。

These types of techniques have worked reasonably well so far,

これまではそれなりにうまくいっていたのですが、

but, in the future, it's not guaranteed these techniques will always work.

今後は必ずうまくいくとは限りません。

Some researchers worry that models may eventually recognize that they're being red-teamed,

研究者の中には、モデルがいずれレッドチームであることを認識するようになるのではないかと心配する人もいます、

and they, of course, want to produce output that satisfies their prompts, so they will do so,

そして、彼らはもちろん、自分のプロンプトを満足させるアウトプットを出したいと思っているので、そうすることになります、

but then, once they're in a different environment, they could behave unpredictably.

しかし、ひとたび異なる環境に入ると、予期せぬ行動をする可能性があります。

So, there is a role for society to play here.

だから、ここには社会が果たすべき役割があるのです。

One proposal is to have some kind of standards body that sets, you know, tests that the various labs need to pass before they receive some kind of certification that, hey, this lab is safe.

ある種の標準化団体を設立して、さまざまな研究所が「この研究所は安全です」という認証を受ける前に、合格しなければならないテストを設定する、という案です。

Another priority for governments is to invest a lot more money into research on how to understand these models under the hood and make them even safer.

政府にとってもう一つの優先事項は、これらのモデルをボンネットの中で理解し、さらに安全なものにするための研究に多くの資金を投入することです。

You can imagine a body like,  you know, a CERN that, that lives currently in Geneva, Switzerland for physics research,

現在、スイスのジュネーブにある物理学研究のためのCERNのような組織を想像していただければと思います、

something like that being created for AI safety research, so, we can try to understand them better.

AIの安全性を研究するために、そのようなものが作られているのですから、もっと理解してもいいのではないでしょうか。

For all these risks, artificial intelligence also comes with tremendous promise.

こうしたリスクがある分、人工知能には大きな期待も込められています。

Any task that requires a lot of intelligence could potentially be helped by these types of models.

多くの知性を必要とする作業は、このようなモデルによって助けられる可能性があるのです。

For example, developing new drugs, personalized education, or even coming up with new types of climate change technologies.

例えば、新薬の開発、個別化された教育、あるいは新しいタイプの気候変動技術の考案などです。

So, the possibilities here truly are endless.

だから、その可能性は無限大なのです。

So, if you'd like to read more about the risks of artificial intelligence and how to think about them,

それでは、人工知能のリスクとその考え方について、もっと読みたい方は、

please click the link and don't forget to subscribe.

リンクをクリックして、チャンネル登録を忘れないでください。