UI/UX領域における音の重要性が高まりつつある一方、見た目や動きに関する研究や実践と比べ、音については、この領域にサウンドデザイナーの数がまだ少ないこともあり、十分な議論がされていない状態にあります。そこで、UI/UX開発者が音によるインタラクションデザインを気軽に模索できるよう、無料で利用可能なUIサウンド・アセットを開発しました。ノンプログラマーでも比較的簡単にサウンドアセットを実装しやすいようJavascriptライブラリも提供しています。

「necomimi」は人間の身体や能力を拡張する、まったく新しいコミュニケーションツールです。ネコの耳の形をしたこの機械は、脳波を利用して、あなたが言葉に出すよりも早くあなたの状態を表現します。集中すると、耳はピンと上に立ち上がり、リラックスすると、耳はくたりと寝た状態になります。 集中とリラックスが同時に訪れると、耳は立ち上がり、ピクピクと動きます。この状態はプロのスポーツ選手などがその力を最も発揮する状態と言われています。

フィッシングギアAPIAの新ブランド「GRANDAGE」の映像とプロモーションサイト。世界で活躍するブレイクダンサー Taisuke氏をゲストに迎え、HIFANAのJuicy氏による釣りの音をサンプリングした楽曲を使用したプロモーションムービーを制作しました。webサイトでは釣りの音と映像を使ったサンプラー&シーケンサーの実装を行なっています。

ライブカメラを利用したエンターテイメントは数多くのスポーツイベントなどで活用されていますが、海外でポピュラーな「キスカム」や「ダンスカム」のような演出は、シャイな日本人にとってはハードルが高く、なかなか観客が参加してくれないという課題がありました。そこで機械学習技術を用い、観客の拍手の音や動きを検知することで、観客全員の参加を可能とするゲームシステムを開発。日本人でもより参加しやすく、会場全体が盛り上がるインタラクティブなシステムを開発しました。

ユーザの脳波を計測し、音楽に集中している時にだけ音楽を再生する、「音楽と向き合う」体験を取り戻すためのミュージックプレイヤー。音楽に集中すると音楽が再生され、話しかけられたり、別のことを考えたりすると音楽が停止するため、被験者は音楽を聴くために自然に「全身で耳を傾ける」ように自らを整えていくことになります。

「良いDJはフロアの空気を読む」。フロアで踊るオーディエンスに脳波センサーを装着してもらい、どのくらい音楽に集中しているかを測定・ビジュアライズするシステムを開発。さらに、オーディエンスの集中度の平均値が基準値を下回った状態が一定時間以上続くと、DJのスコアが下がっていきDJは強制的に交代させられてしまうイベントを開催。Qosmo社とのコラボレーションプロジェクト。

「mico」は、デバイスを装着するだけで、ユーザの脳波の状態にフィットする音楽を選曲するシステムです。システムは脳波の状態を解析後、独自のアルゴリズムによって選別された脳波の状態にフィットする音楽を自動で再生します。2014年のSXSWで初公開されました。この選曲アルゴリズムは、慶応義塾大学満倉研究室の満倉靖恵准教授と荻野幹人研究員によって過去15年分の脳波計測データを活用して共同開発されました。

2022年8月20日、21日に行われた「SUMMER SONIC 2022 TOKYO」のエントランスに壁面床面ディスプレーを使ったビジュアルシーケンサーを開発。LEDの床面エリア内に足を踏み入れると、一人ひとりに楽器の音が割り当てられると共に有機的なグラデーションが足下に発生します。ベースとなるBGMに合わせて、割り当てられた楽器がリズムを刻み、グラデーションが生まれては消える。音楽の一部になったような体験が可能に。

2017年6月10日、11日に行われた京都岡崎音楽祭2017 OKAZAKI LOOPSの、企画展「音をとらえる」にて展示したプロジェクト。光と音しかない空間。 LEDディスプレイとハーフミラーを使用した合わせ鏡の部屋の中で、音楽とともに浮かび上がる光が無限に繰り返され、音と光の「中」に入るような感覚を体験することができる。

マイクに向かって声を発すると、音の波形を解析し、さまざまな色や形の魚が水槽を泳ぎだすデジタルインスタレーション。声の大きさや長さ、 音の高低の組み合わせで魚のかたちが変化するため、一人一人の異なる声によってたくさんの種類の魚が誕生する。さらに、生み出された魚に触れると、マイクに向かって発した言葉を魚が話し出す。