Fernet-Branca 体験型ポップアップ

2024.7

ブランドアクティベーション向けのUnreal Engineインタラクティブ体験

Unreal Engine/マーカーレスモーションキャプチャ/Captury/Python/LEDウォール

インターンシップ中、リキュール（混成酒の一種）ブランドの Fernet-Branca がアメリカ・ニューオーリンズで展開する体験型ポップアップストアの制作に携わりました。

マーカーレス・モーションキャプチャと高精細LEDウォールを活用し、ブランドマスコットであるワニの「Fernando」とファンが出会える没入型インタラクティブ体験を構築しました。最大2名の参加者が同時に、自分の身体の動きでマスコットを操作し、互いにインタラクションできる仕組みになっています。

また、参加者が体験を振り返れるようにし、Fernando の認知拡大にもつなげるため、体験の様子を自動でSNSで共有しやすい形式で録画し、参加者のメール宛に送信するシステムを開発しました。

役割・担当範囲

本プロジェクトはチームでの制作です。

モーションキャプチャシステムのセットアップ全般を主担当（リード）しました。具体的には、カメラ配置の決定、カメラ設定、キャリブレーション、Unreal Engine との連携などを行いました。
ほか1名のエンジニアとともに、2視点での録画機能の提案と、OBS および Gmail API を用いた技術スタックを決定し、開発しました。
Unreal Engine シーンの開発にも参加しました。

Captury マーカーレス・モーションキャプチャシステム

マーカーレス・モーションキャプチャシステムは、参加者が専用の機材を身に着ける必要がないため、インタラクティブインスタレーションに適しています。

本プロジェクトでは、RGBカメラを複数台用いる、「マルチカメラ」式システムの Captury を採用した理由は、検証の結果、トラッキング精度を確保できるだけでなく、Kinect のような単一の3Dカメラシステムより、狭い室内空間でもより広い範囲をカバーできるためです。

また、Capturyは複数人のトラッキングを支援しており、参加者同士のインタラクションを可能にすることで、体験の没入感をさらに高めています。

職種間コラボレーションで制約を乗り越える

体験スペースは、築100年以上のピザ窯（オーブン）を改装した空間でした。現地到着後、レンガ壁が非常に脆く、カメラマウントを直接ドリルで固定できないことが判明しました。

この課題を解決するため、職人さんの意見を聞き、カメラを安全に設置できる場所を分析・検討しました。その結果、パイプから合板を結束バンドで吊り下げ、その合板にカメラを取り付ける方式を考案しました。

さらに、私は空間の分析と検証を通じて、設置できない箇所を避け、必要なカメラ台数を最小限に抑える配置計画を立てました。その結果、当初予定していた8台のカメラを6台に抑えつつ、体験エリア全体をカバーすることができました。

体験の共有

クライアントは、マスコットの Fernando の認知度を高め、そして体験を通じてコミュニティとの接点を生み出すことを目指したため、私たちは参加者がSNSで体験を共有できるよう、体験の様子を自動録画するシステムを提案して実装しました。

Unreal Engine のレンダリング映像と参加者の実写映像の2視点を同時に録画し、OBS 上でリアルタイムに合成し、Python から WebSocket 経由で制御しています。参加者は体験前にメールアドレスを入力し、Gmail API を用いて動画を自動送信する仕組みを構築しました。取得したデータは、クライアントが後続のターゲティング広告にも活用できます。

Enlin Li

Kanagawa, Japan