中国の人気漫才師の郭徳綱（グオ・ダーガン）と于謙（ユー・チエン）が外国語で漫才を披露する動画が大きな話題を集めている。実はこの動画は人工知能（AI）が合成したもので、2人の芸人の声と口調をそっくりまねているだけでなく、口の形も声にぴったり合っていて、多くの視聴者が驚いている。

AIは今や、絵画、吹き替え、シナリオ作成など各方面で幅広く応用され、「AI外国語漫才」「通訳吹き替え」などのショート動画が次々登場し、AIが言葉の壁を低くし、伝統文化の交流・発信を促進することに期待が寄せられている。

この動画は中国で作成されたAIソフト「HeyGen」を利用し、言語処理における識別モデル「Whisper」、音声合成ソフト「Tortoise-TTS」によるモデルになった人の口調を取り込んだ音声、リップシンクツール「Wav2lip」などを通じて、「AI通訳吹き替え」を実現したものだ。

これまでにAIはジェイ・チョウ（周杰倫）やスン・イェンツー（孫燕姿）などの歌手の声を模倣したカバーソングでネットにブームを引き起こした。今ではAI技術は漫才芸人の声・口調をそっくりまねできるようになり、よく知られた芸人が舞台で英語、日本語、韓国語の漫才を披露するところを見られるようになった。ちょっと見た感じでは、口の動きも非常に滑らかだ。

上海市曲芸家協会漫才専門委員会の副主任を務める漫才芸人の趙松涛（ジャオ・ソンタオ）氏は、「これまでの認知の状況から判断すると、AIが現実の生活に完全に溶け込むのは、インターネットやスマートフォンと同じように押しとどめることのできない流れだ。AI技術の発展に伴い、意識するかしないにかかわらず、民間のネットコミュニケーションが構築・促進され、漫才芸人やその他の文化芸術分野の役者と作品がAI化し、通訳が正確で誤りがないことが確保されれば、中国文化の海外への発信を後押しできるかもしれない」と述べた。

動画サイト「bilibili（ビリビリ）」の投稿者「化身伊陸」さんによると、ネットで話題の通訳吹き替え動画はスピーチ、インタビュー、フリートークなどの動画が多く、日常的な情景や素材に偏っている。感情にあふれ表現力に富んだ動画をAIに「与えれば」、生成された外国語動画は役者の表現とはかけ離れたものになる。さらに一見したところ非常に自然なインタビュー動画は、実は十分に練り上げられたものではない。AIを動画の中に落とし込む程度でも、作業量は肉眼で見えるほど多いものだ。このように考えると、通訳吹き替えをAIに任せるのはまだ先のことのようだが、AIの進歩するペースは驚異的であることも見逃せないという。（提供/人民網日本語版・編集/KS）

中国の人気漫才師が日本語や英語で漫才！「魔法」をかけたのは…https://t.co/9u3fxDJ9Wp pic.twitter.com/d1rJHwaEsC

— 中国動画 (@RC00547555) November 2, 2023