手話の豊かな表現力をヒントに、視覚表現の新たな可能性を探っていく──Visual Creoleインタビュー

Visual Creole

和田 夏実・南雲 麻衣

手話の豊かな表現力をヒントに、視覚表現の新たな可能性を探っていく。

和田さん、南雲さんのこれまでの経歴を教えてください。

和田:私は両親がどちらもろう者で耳が聞こえなかったので、子どもの頃から手話を第一言語として育ちました。家では手話で会話をして、外では音声で会話をするという環境だったんです。そんな暮らしを続けている中で、音声言語である言葉と視覚言語である手話の違いの面白さに改めて気づき、もっと本格的に勉強したいと思い、慶應義塾大学へ進学しました。大学でろう教育を学ぶうちに、耳の聞こえない子どもたちに視覚でいろいろなことを学べる機会がもっとあったらと思うようになり、テクノロジーを使って手話の可能性を広げる研究を始めました。2016年には経済産業省が主催している未踏事業に参加して、今年の5月に「スーパークリエータ」として認定していただきました。

南雲:私は、3歳くらいの時に耳が聞こえなくなりました。実は、手話でコミュニケーションを取るようになったのは、大学生になってからです。それまでは声でコミュニケーションを取っていたんですが、手話ができる耳の聞こえない方に出会って面白さに気づき、勉強を始めました。彼女と出会ったのは、5年前に参加した耳の聞こえない子ども向けのボランティアイベントです。初めて会ったその日に、すぐに意気投合してしまいました。私は以前からコンテンポラリー・ダンスをやっていて、ダンスを通じて表現をするという活動をしてきたんですが、彼女の場合も視覚言語というもので表現をしようとしていて、そういう意味でお互いに共通点を感じたんです。そうして彼女はデザイナーとして、私は表現者として一緒に視覚言語の可能性を探る活動をしているうちに、この『Visual Creole』の開発に行き着きました。

『Visual Creole』を開発するきっかけは、何だったのでしょうか?

和田:手話はすごく面白いものなのに、どうしてもっと世界に広まっていかないんだろうと二人でよく話をしていたんです。社会的なイメージと私たちが考える手話というものは、全く違っています。私たちは、世界中の人に手話を覚えてほしいというわけではないんです。ただ、手話という視覚言語を通じて耳の聞こえない人も聞こえる人も、一緒に楽しく視覚的に表現することで会話をしたり、一緒に遊べたらいいのに。そんな思いがきっかけで、『Visual Creole』の開発はスタートしました。

お二人が考える手話の面白さは、どんなところだと思いますか?

和田:手話は、位置やかたち、動きや量、質感や変化、時間の流れまで表すことができる四次元的な言語です。「こんにちは」という言葉を手話で伝える時には、人と人がお辞儀をしているところを指で表現するんですが、実際のできごとを手で模倣して、直感的かつ映像的に再現することができる。これが、手話の面白いところだと私たちは思っています。例えば、「食べる」という状態を音声で伝える場合、「食べる」という言葉だけでは全て同じ「食べる」になってしまいますが、実際には誰が食べるのか、何を食べるのかによって「食べる」という表現は何通りもありますよね。手話なら、そのいくつもある表現の中から、どんな風に食べるのかということを、その場で映像的に描写しながら表現することができるんです。

南雲:その言葉が生まれた時代の背景が見えるところも、手話の面白さの一つだと思っています。例えば「大正」という言葉を手話で表す時、親指と人差し指で鼻の下から横に向かってすっと伸びた髭のようなジェスチャーをするんですが、これは大正時代にこのような髭が流行っていたからだと言われています。そんな風に、手話を学ぶことでその言葉の意味だけではなくて、想像もできなかった背景や文化を学ぶことができるんです。

改めてお聞きします。現在開発中の『Visual Creole』とは、どのようなプロダクトなのでしょうか?

和田:手話は見たものをそのまま表現することができるので、例えその言葉自体は知らなくてもその場で表現することができるという意味で、視覚的に豊かな表現方法だと思っています。『Visual Creole』はそんな手話の特性を活かして、自分の画像に重ねるようにイラストを描き、手の創造性や表現力を引き出すツールとなっています。例えば、「悩む」という状態や「失恋する」というような体験、「おいしい」という感情などをイラストを重ねることで、視覚的なイメージを相手に伝え表現しています。今年の3月までは、どちらかというと耳の聞こえない人がどんな手話を使っているのかを下調べし、情報を収集するツールとしてこの『Visual Creole』の開発を進めてきました。

『Visual Creole』はその後、どのように変化してきたのでしょうか?

和田:最初は、「Leap Motion」というカメラで手のジェスチャーだけを取得していたんですが、手話はやっぱり顔の表情が大事だからということで、何度もプロダクトの改善を重ねてきました。そして6月にはようやく、公開されたばかりの「openpose」というジェスチャー認識システムを取り入れたことで、顔の表情も、腕も、肘の位置も、同時に取得できるようにになりました。手話というものは、音声言語と同じように時代によって表現が異なりますし、新しいものやサービスが世の中に出る度に新しく増えるもの。「openpose」を取り入れるまでは、その莫大な数の手話を私たちがひとつひとつ撮影してデータ化しなければならなかったんですが、今は過去の映像から解析できるようになりました。今現在の『Visual Creole』は、この解析したデータをもとに手の形や動きのルールに合わせた学習モデルを製作している段階です。

『Visual Creole』の今後の展望を教えてください。

和田:まるで映画の字幕のようにイラストを加えて、耳の聞こえない人と聞こえる人同士はもちろん、外国人同士でも気軽にコミュニケーションを取ることができる、世界視覚身体言語ツールを目指していきたいと思っています。今、世の中ではミックスド・リアリティー、通称MRが注目されています。これは複合現実のことですが、手話を使っている人たちの間では200年くらい前から、ほぼMRのような独特の世界観が醸成されていたと言っても過言ではありません。「車が欲しい」という会話をするにしても、「こんな車が欲しい」「あんな車が欲しい」「かたちはこうで…オープンカーで…」というようなビジュアル表現を、会話をしながらその場で作り上げ、視覚的に豊かなコミュニケーション文化を築いてきました。そんな風に音声言語だけに頼らない、手を使った豊かな表現方法やコミュニケーションの可能性を『Visual Creole』を通して、世の中に広めていけたらと考えています。具体的には、言葉では伝えきれないイメージや自分が思い描いたことをVisualcreoleを通して表現することで、お互いに映像的なイメージをより具体的に共有するツールを目指しています。

TECH LAB PAAKについてお聞きします。PAAKに応募するきっかけは、何だったのでしょうか?

和田:私が大学3年生の時、インターン生としてリクルートさんにお世話になっていたんです。その時にPAAKの存在を知って、「渋谷にこんなにいいところがあるなんて」と思いました。その後、未踏事業のプロジェクトに参加することになったんですが、ユーザーテストをしたりする場所や映像を撮ったりする場所としてお借りできたらと考えて、思い切って応募しました。

お二人が思う、PAAKの良いところを教えてください。

南雲: PAAKに入居する前は、二人で会って議論をする時にだいたいカフェを利用していたんです。でも、カフェだとお金がかかるし、思う存分議論をすることができないなといつも思っていました。なので、彼女から「PAAKに入居すれば飲み物がタダだよ」という話を聞いた時は、すごくうれしかったですね(笑)。

和田:彼女はちょっとよこしまな理由ですけど(笑)、やっぱりPAAKは立地がいいですよね。『Visual Creole』はたくさんの方に協力してもらい、ユーザーテストを繰り返した上で開発してきたプロダクトなんですが、協力者の方にも来てもらいやすい場所なので、その点ですごく助かりました。それから、このPAAKにはVRやMRを研究されている方がたくさんいるので、そういった方たちからアドバイスや助言をしてもらってプロダクト開発の参考にすることもできましたし、本当にたくさんのいい出会いがありました。あとは、発表の場をいただけたこともありがたかったですね。手話というものは新規性があまりないので、公の場で発表する機会があまりなかったんです。PAAKの成果発表会で私たちがやってきたことを発表できたこと、それをみなさんに知ってもらえたことが、何よりもうれしかったかもしれません。

PAAKには女性のいらっしゃるチームは少ない印象もありますが、その点はいかがでしたか?

和田:女性が少ないことは、私も最初はちょっと気になりました。でも、受付の方やコミュニティーマネージャーの方が他のチームとつないでくださったりしたので、すごく心強かったです。そうやって溶け込むうちに、男性女性問わずどんどん話しかけてもらえるようになったので、ありがたかったですね。PAAKだけでなく、テクノロジー系のクリエイターには女性が少ない印象があるかもしれません。でも、PAAKならみなさんすごく親切に、優しくしてくださるので、もっとたくさんの女性の方にPAAKに来ていただきたいです。

最後に、『Visual Creole』に興味を持ってくださっている方にメッセージをどうぞ。

和田:私たちは、目で見て手で作り出す視覚言語の面白さや表現の豊かさを伝えたいという思いを大切に、このプロダクトに取り組んできました。『Visual Creole』は、まだまだやらなければならないことばかりで、様々なの方の協力が必要なプロジェクトです。もしも、私たちのこのプロジェクトに興味のある方がいらっしゃれば、耳の聞こえる、聞こえないということに関係なく、ぜひ気軽に声をかけていただきたいと思っています。オープンなプロダクトとしてたくさんの人に知ってもらい、そして、コニュニケーションを豊かにする新たなツールとして、幅広いシーンで活用していただけるものになったらと思っています。

他の記事も読む