デジタルリスク総研は、デジタルリスクに関する研究を行い、その成果を社会に還元することによって、デジタルリスクを低減させることを目的とした研究機関です。MORE

【AIリスクトレンド】音声認識AIが欺かれる脅威

2018年11月08日

Amazon ehcoに、google home。ここ数年、一気に市民権を得たスマートスピーカー。その根幹を握っているのは、音声認識AIです。現在、スマートスピーカーの普及に伴って音声認識AIの恩恵は身近なものとなっています。そこで使われている音声認識AIが欺かれると何が起こるのでしょうか。

もっとも分かりやすいのは、スマートスピーカー経由で意図しない動作を引き起こす脅威です。
もちろん、音声認識AIが使われているのはスマートスピーカーだけではありません。同時通訳アプリや文字起こしアプリも登場しており、誤った翻訳結果を話したり、意図しない単語を文字起こし中に入力されたりする被害が想定されます。もう少し未来の話をすれば、自動運転自動車に音声によって制御が行われる機能が搭載されたら、生命に関わる事故に繋がる可能性も秘めています。

そこで本稿では、音声認識と画像認識の2つのAIについて最近のトレンドをご紹介しましょう。音声の前に、まず画像から。


敵対的サンプル(Adversarial examples)の研究が活性化

顔認証は画像認識AIの適用例として有名ですが、自動運転自動車のように道路の状況を確認したり、通行者の状況を確認したりするのも画像認識AIが用いられており、様々な組織が研究開発を進めています。

画像認識AIでは、様々な画像を認識・分析し、認識した対象が何であるかを判別した上で処理を行うようになっています。この認識時に、画像から物体の特徴点を抽出して分析することで物体の識別を行っている訳ですが、画像認識AIに対して、この抽出する特徴点を意図的に誤らせ、物体を誤認識させるような攻撃研究が盛んに行われています。このような攻撃に用いるデータのことを画像認識AIのエンジンに対する敵対的なデータということで、敵対的サンプルと呼ばれています。

画像認識AIの研究はいまだ研究途上の部分が多くあり、Google Photosで黒人とゴリラの区別が付かない問題が2015年に報告され、当時も大きく話題になりましたが、2018年1月には未だにこの問題が解決できていないことが判明し、再度注目を浴びました。この事例のようにそもそもの認識精度を高めるという課題と、敵対的サンプルが作成され、悪用されないようにするという両方の側面に対して、認識系AIの研究者・開発者は向き合うことが求められています。

一方、音声認識AI。音声は画像と異なり、時系列に連続するデータという特徴があります。また、音は画像と異なり、音波の形や強弱などのアナログデータを扱い、可聴域のような人間が識別可能な音域を意識するかどうかで処理が変わってきます。そのため、敵対的サンプルを構成する要素はコンピュータ上で処理するか、外側でスピーカーとマイクを用いて入力&処理するかで大きく変わります。現実世界においては環境音というノイズが常に存在していることも、認識性能に大きく影響しています。そのため、音声認識AI自体の研究は行われるものの、敵対的サンプルの研究目的で利用可能な指標となる音声認識AIエンジンがなかったため、画像認識AIのような状況は発生していませんでした。

しかし、Mozillaが2017年11月29日にDeepSpeechという音声認識AIエンジンを公開したことで、状況は一変しました。このDeepSpeechを欺こうとする研究が活発になったのです。2018年1月には環境音が存在する状況で敵対的サンプル作成を試みて失敗した研究発表があり、3月にはカリフォルニア大学バークレー校の研究者らが環境音のない状況であれば、DeepSpeechを欺く敵対的サンプルの作成に成功したことを発表しました。

この状況を変えたのが1人の日本の学生。過去に天才プログラマーとも言われた若手ハッカーでした。

今年10月に長野で行われたコンピュータセキュリティシンポジウム2018という学術系の研究発表の場で彼が発表した「実世界でも攻撃可能なAudio Adversarial Example」で、環境音が存在する中でDeepSpeechに誤認識させる音声の作成に成功したことや、人間の耳にはその誤認識させた音声を聞き取ることができないことを実証してみせました。また、現時点で有効な対策がないことも明示的に示したことに注目が集まっています。数ある論文の中で彼の論文が最優秀論文賞に選ばれたことが、その証左でもあります。

現在、彼の論文を超えるための研究へと世界中の音声認識AIに対する敵対的サンプルの研究者たちが競い合うフェーズへと移行しています。こうした研究が進むと、敵対的サンプルを埋め込んでも自然な音声に聞こえる音声データが作成される日も遠くないかも知れません。


03-6550-9281

お問い合わせ

  • 大阪06-6210-5017

デジタルリスク総研について

日本におけるSNSの利用率はここ数年増加の一途をたどり、2015年3月の調査では実に77%に至りました。企業もこれに比例してSNSをマーケティングに活用しようという動きが高まり、今日では既に一般的なこととなっています。ソーシャルメディアマーケティングは、話題の拡散、属性によるターゲティングや双方向のコミュニケーションといったマーケティングの多様性を生み出し、この成否が顧客エンゲージメントの獲得を左右するようになりました。

しかし、その一方で、ネット炎上件数もまた年々増加し、昨年は遂に1,000件を超え、企業としては、炎上させないSNSコミュニケーション術や、万が一炎上の火種が生じた際にどのように対応するかというリスク管理体制の整備が求められています。これは、ソーシャルメディアの活用を控えるという意味ではなく、ソーシャルメディアを有効に活用するための手段でもあります。

デジタルリスク総研は、2007年からソーシャルリスクマネジメントに着目し事業を行っている株式会社エルテスによって、ソーシャルリスク総研として、2016年2月に設立され、ソーシャルリスクを低減させることを目的とした研究機関として、ネット炎上等のソーシャルリスクに関する研究を行い、その成果を社会に還元してまいりました。そして、2016年11月にデジタルリスク総研と改称し、ソーシャルリスク分野に加えて、企業内部の不正や金融犯罪の検知をはじめとしたリスクインテリジェンス分野における研究を開始しました。このサイト上では、企業に役立つ実践的なデジタルリスクマネジメントについて、定期的に情報発信を行いますので、企業等のデジタルリスクマネジメントに是非ご活用ください。

※ 13歳以上の男女。(出典)総務省「社会課題解決のための新たなICTサービス・技術への人々の意識に関する調査研究」(平成27年)

運営者について

デジタルリスク総研は株式会社エルテス内にございます。
株式会社エルテスでは、次のような事業を行っております。お気軽にご相談ください。