[iOS][制作実績][デバイス連携][Bluetooth]真鍋大度さんとの初仕事 ”music for the deaf” 振り返り

昨日「ヨコハマ・パラトリエンナーレ2014」の特別イベントとして、 SOUL FAMILY × 真鍋大度 + 石橋素 + 照岡正樹 + 堤修一名義で、『music for the deaf プレゼンテーション』を行いました。

先日書いた記事『音楽に合わせて電気を流すiOSアプリ - Over&Out その後』で紹介した、「耳の聴こえないダンサーが、音楽を「感じ」ながらダンスをするためのデバイス＆アプリ」を使って、聴覚障害のダンサーチームが実際にその場で電気刺激だけでダンスをする、というものです。

電気刺激デバイス（通称ピリピリデバイス）

申し込み制のイベントだったのですが、定員に対して倍以上の応募があったそうで、大盛況のうちに終わりました。

現在、当日の動画やインタビュー、各種技術説明等を含むアーカイブサイトが制作されているそうで、詳細はそちらに期待しつつ、ここでは個人的な目線から振り返っておきたいと思います。

参加の経緯

電気刺激を用いたさまざまな試みは真鍋さん、石橋さん、照岡さんが従来からやってきたことで、今回の新規開発のテーマは 「ポータブル化」 （ダンサーが身につけられるようにする）でした。

で、iOS & BLE でポータブルにしたいということで、真鍋さんよりメールをいただいたのが、今年の4月。

耳が聞こえないダンサーのために
電気刺激のデバイスを制作したいなと考えております。
PC版は出来ているのですが、iOS BLE版を作成したいです。

もともと iOS × デバイス with BLE は僕がいま一番興味がある技術分野だし、このプロジェクト自体は「情熱大陸」で見て知っていて、すごくインパクトのあった部分だったので、超二つ返事でお受けしました。

で、その後しばらく動きはなく、6月後半になって「ピリピリデバイスBLE版」（詳細後述）が完成し、ライゾマオフィスに行ってそれを受け取ってからアプリの制作を開始した、というのが大まかな参加の経緯です。

（余談：もっと昔の経緯）

真鍋さんは超々有名クリエイターなので、同業な方々から、一緒にお仕事させてもらえるようになった「そもそもの経緯」を聞かれることがあります。

きっかけは非常にシンプルで、「僕がライゾマの求人に応募した」というのが最初です。

昨年末、日本に帰国して今後の身の振り方に迷っていたころにちょうど「スマートフォンエンジニア」という枠で Rhizomatiks が募集をかけていて、真鍋さん／ライゾマに興味があったので、応募。

その後TVで「情熱大陸」を見て、（影響を受けやすい僕は）ものすごくテンションがあがり、翌朝にはまだ何も決まってないのに当時所属していた会社のCEOに退職したい意志をメール、その1ヵ月後ぐらいの面接で初めて石橋さんと真鍋さんにお会いし、10分しかない面接の中で、「採用には至らないとしても、iOS 絡みでは確実にお役に立てると思うので、ぜひぜひぜひお声がけください」とアピールし、その後実際に採用には至らなかったものの（笑）、iOS が絡みそうな際になんとなく思い出してもらえるポジションを得た、というのが経緯です。

僕は iOS しかできないシングルスタックエンジニア（※スタックしてない）ですが、ひとつの技術に張り続け、発信し続けることでこういう役得もあるんだなーと。

ちなみに僕が真鍋さん／ライゾマさんに惹かれるポイントは、アート的なかっこいい側面よりも、まだ論文や研究開発の世界でしか知られていない尖った技術を発掘してきて、それを一般の人にもわかるキャッチーさで応用するというあたりです。今回の music for the deaf 然り、「表情を人工的につくれるか？／コピーできるか？」とかも然り。

つくったアプリ

ダンサー用アプリ、お客さんが疑似体験する用のアプリの2つを制作しました。

どちらもデモ用ということでデザイン面では凝ったことをせず、UIKitの標準コンポーネントをそのまま並べてUIを構成しています。

ダンサー用アプリ

音楽に合わせて電気を流すアプリ。MIDIファイルを解析し、再生に合わせてピリピリデバイス制御コマンドを生成、 BLE 経由で送信します。

ダンサーそれぞれのiPhoneにインストールして使用します。

（本番で使用したiPhone3台）

iPhoneとデバイスの距離が開いてBLE接続が切れる可能性があるので、今回はポケットに入れて踊ってもらいました。

観客用アプリ

ダンサーの感じている電気刺激を、iPhoneのバイブで擬似的に体感するためのアプリ。ダンサー用アプリと同じMIDIファイルを持っていて、曲に合わせてバイブを作動させます。

台数、会場インフラ、距離を考慮して、再生タイミングの同期には「音響透かし」という、非可聴域の音波を利用して、音に情報を埋め込む技術を利用しており、アプリを起動しておけば、自動的に会場BGMに同期して再生が開始されるようになっています。

音響透かしは、日本エヴィクサー社より技術提供いただきました。

iOS用のSDKが用意されていて簡単に導入できるので、こういうライブパフォーマンスでの多人数向け用途には非常にオススメです。

ピリピリデバイス

電気刺激デバイス（ピリピリデバイス）は照岡さんという、真鍋さんと古くから一緒にやっている方が制作されたもので、4chの電極を持ち、シリアル通信でそれらのon/offや電流の強度、周波数などを制御できるようになっています。

（ピリピリデバイス完全体）

上の写真の通り、BLE の部分は Konashi を使用していて、シリアル通信（UART）でコマンドを送るようになっています。

ダンサーはこれをケースにしまったうえで、伸縮性があって体に巻けるベルトのポケットに入れて身につけています。（ケースとベルトは石橋さん制作）

ピリピリデバイスのコマンド体系

ピリピリデバイスを制御するためのコマンドは次の4種類。UARTで送る1バイトのうち先頭2ビットがコマンド種別を示しています。

0,0,T7,T6,T5,T4,T3,T2
1,0,I7,I6,I5,I4,I3,I2
0,1,T1,T0,L3,L2,L1,L0
1,1,C1,C0,R3,R2,R1,R0

T7-T0：パルス周期

f=1/((T+1)*128*10^-6*2*2)

かなり細かく設定でき、アプリでも一応可変にしてあったのですが、今回のパフォーマンスでは最大周波数（一番刺激が鋭い）に固定して使用していました。

I7-I2：出力電流値

I(mA)=(((I/255)*(5-0.5))/100)*1000

これは人によって好みが全然違うので、ダンサーごとにそれぞれ設定していました。

C1,C0：出力電圧方向のコントロール

C1=1,C0=1 -> 出力全OFF

C1=1,C0=0 -> L(+) -> R(-)固定

C1=0,C0=1 -> L(-) <- R(+)固定

C1=0,C0=0 -> ±モード（通常モード）

今回は通常モード固定で使用。他のモードはこれから別の試みで使用する予定です。

L3-L0,R3-R0：出力電極ch選択

4組の電極と、MIDIの各トラックとの対応は、

ch0: キック
ch1: スネア
ch2: ハイハット
ch3: メロディ

となっていのですが、これもダンサーごとそれぞれ設定。すべてONにする人、キック＆スネアの大まかなリズムだけを好む人等、それぞれ好みはバラバラでした。

あとch0（キック）については4拍目・8拍目だけ強くしてほしい、全部の拍を均一で、といった好みの違いもありました）

イベント全体のシステム構成

前回の記事にも書きましたが、システム構成はこんな感じになってました。

ダンサー用 app は母艦の MBP から OSC でコントロール
お客さん用 app は母艦が会場に流す BGM に埋め込まれた音響透かしにより、自動的に再生開始

あと、トラブル検知用に、ダンサーappからBLE接続状態を送信するようにしました。

母艦からのシステム全体の制御は真鍋さん作のMaxパッチで行っていて、照明の制御はDMXってやつらしいです。こちらも真鍋さんがコード書いてます。

（制御用パッチ。本番中の2曲目の最中に撮ったもの）

当日の様子

いままで自分がやってきた仕事と毛色が違って、その場限りの一発勝負なので、自分が出るわけでもないのに、それはそれは緊張しました。。練習やリハではBLE接続が切れたり、バッテリーが切れたりといろいろあったので。。

（オペレーション席）

結果的にはトラブルもなく、素晴らしいデモンストレーション *1 となりました。

ラストの、会場のBGMを完全に消して、ダンサーたちのステップと息づかいだけが聴こえる部分は神秘的ですらありました。

残りの時間は、キュレーターの難波さん＋ダンサー佐山さん＋制作の4人でのトーク。

壇上にいましたが、知らない技術や研究の話とかあって普通に聞いてておもしろかったです。

※観に来ていた友人が撮ってくれた写真なのですが、彼が座ってた席の都合上ステージ真横からの写真しかないので、真正面の写真をお持ちの方、ぜひご提供いただけると嬉しいです。

（撤収作業の後、そのまま会場にて打ち上げ）

真鍋さんについて

間近でお仕事させていただいて、いろいろと学びがありました。真鍋さんの仕事の特徴、印象に残ったエピソードなど。

切り替えが異常に早い

技術的にチャレンジングな案件を同時に何本もかかえながら、インタビューやTV取材、打ち合わせもひっきりなしにあって、いったいどうやってこなしているのか、不思議でしょうがなかったのですが、ライゾマオフィスでの動きを見ていて、ハッとしたことがありました。

何かのインタビューが終わり、「ありがとうございましたー」・・・席を立ち、自分の机に向かい、何かの箱をかつぐ・・・大きいテーブルの方へ・・・機材セットアップ開始・・・

インタビュー終わって、1秒の余韻にひたることもなく、席を立ったその足で次の実験へ移行してて、「これかー！」と思いました。僕ならコンビニにコーヒー買いに行って、立ち読みして、戻ってFacebookやTwitterみて、そのままインターネットの世界に吸い込まれ、数時間後にやっと仕事に戻る、ぐらいなのに。。

クレジットを大事にする

メディアとかは、とにかく有名な真鍋さんだけをフィーチャーしたがるわけですが（その方が楽だし、コンテンツ力高い）、そうならないよう注意喚起し、関わったメンバーをしっかり引き上げようとしてくれる印象があります。

今回の件も、iOS部分を手伝っただけの僕を、同列にクレジットしてくれたり、イベントのトークのときも元々真鍋さん、照岡さん、ダンサーの佐山さんだけがステージにあがる予定だったのを僕も上がるよう提案してくれたりしました。

そういう配慮は、あまり表舞台に出ることがないエンジニアとしてはとても嬉しいし、ぜひまたお仕事ご一緒したいと思うので、それが真鍋さんのまわりに各分野の一流クリエイターが集まっている理由のひとつかもしれません。

手を動かす

帰り道が一緒なので、会場でのリハ等のときはだいたい最終電車で一緒だったわけですが、そこから家に帰る真鍋さんを見たことがありません。だいたいそのあと打ち合わせが入ってて、スタジオとか、別の会場に向かわれます。あと、ギリギリまで練習に立ち会ってくれて、空港までタクシーで向かわれたりとか。

で、そんな超多忙な中でも、自分でコード書いたり、新しい技術の実験をしたり、ってことは絶対に欠かさない。

清水幹太さんとの対談で、

真鍋　さっき、幹太さんがわたしをうらやましいと言ってましたが、実はわたしにも同じような悩みがあるんですよ。担当する案件が増えて、自分で手を動かさない時間が長くなってきてるんです。また、優秀なメンバーが増えて来たので、わたしが直接作らなくても済むようになった。最初の設計以外はマネジメントばかりですね。このまま行ったらまずいかなと思ったので、わたし一人だけで動かすプロジェクトを作っていろいろと感触を確認しています。現場から離れて「上流」に行くと、クリエイターとしてダメになるんじゃないかという怖さは常にありますよね。

というくだりがありましたが、まさにこれを実践されている感じです。

現場で決まる

「直前に仕様変更が・・・」というレベルではなく、真鍋さんとの仕事の場合、ほとんどのことが現場でリアルタイムに決まっていくので、その場でパパッと要求に応える速さと引き出しの多さが要求されます。その場でできないなら、せめて代替案だけでもサッと出せる必要がある。

そういうスピード感、当日になって何が急に降ってくるかわからないスリル感もご一緒してて楽しい点のひとつでした。（現場仕事はどれもそういうものなのかもしれませんが。。）

まとめ

とにかく無事に終わってよかったです。SOUL FAMILYの皆様、真鍋さん、照岡さん、石橋さん、手話通訳の和田さん、象の鼻および運営の皆様、見に来てくださった方々、どうもありがとうございました!!!!

*1：ちなみに「ライブパフォーマンス」とかではなく、「デモンストレーション」「プレゼンテーション」と銘打っているのは、まだプロジェクトとしては途上段階であり、今回は中間報告的な位置づけであるためです。