Mealody plate -食事を通して音楽を生成するデバイス-

完成 2024.12.18 公開（2025.01.16 更新） © CC BY 4+ visibility36

完成 © CC BY 4+

2024.12.18 公開（2025.01.16 更新） visibility36

食事を通して音楽を生み出し，料理を食べ進めることで音楽を消費して行く作品．

sell 食事, ESP-NOW, M5Stack, processing, 音楽

動画

開発素材: デバイス

M5Stack

Arduino

ツール

Puredata

ESPNOW

API

Processing

システム構成

構成要素

ハードウェア

M5stack Basic　5台
カラーセンサー（TCS34725）　4台
MacBook Pro（M1 Pro）
MDF木材(3mm厚 300×600mm)　２枚
アクリル板 (3mm厚 300×300mm)１枚

ソフトウェア

Processing
Arduino
PureData

ストーリー: 　本作品は、「食事と音楽を結びつけたら面白いのではないか」という発想から生まれた、食事を通じて音楽を生成するインタラクティブデバイスです.鑑賞者は料理を楽しみながら、同時にその料理から生まれる音楽を体験し、最終的に「音を食べる」という新しい感覚を味わうことができると考えています.

システムの仕組み

本作品のデバイスには4つのカラーセンサーが搭載されており、それぞれが料理の皿に反応します.各センサーはRGBの色情報を取得し、4台のM5Stackデバイスがそれを受信専用のM5Stackデバイスに送信します.この情報をProcessingを介してPureDataに伝えられ、音の生成に活用されます.

音の生成

各カラーセンサーには異なる音色が割り当てられており、例えば金属的な音やハイハット的な音が再生されます.さらに、4つのセンサーから取得した色情報を周波数に変換し、和音として出力する仕組みも備えています.これにより、複数の皿を配置することで、より完成度の高い音楽が奏でられる設計になっています.（音楽はpatchstageに公開されているargarak氏の作品を参考にパッチを組みました）

鑑賞体験

鑑賞者が料理を食べると、その皿に対応する音が消え、徐々に音楽が減少していきます.4つの皿をすべて配置した状態が「完成された音楽」として提示され、食べる行為を通じて音楽が消費されていくという体験を提供します.

料理ごとに異なる色情報を取得するため、生成される音楽は毎回異なります.このため、鑑賞者は「その場限りの音楽」を楽しむことができ、さらに料理を食べることで音楽を消費するという新しい音楽体験が生まれると考えられます.

アイデアが欲しいです

色情報と音色のマッチングについて苦心しているので知恵が欲しいなと思っています．食品の色をどういうコンセプトで音色と対応付けるかに悩みがあります．単純に音楽の3要素を色情報の何かしらとマッチングさせるのが早いかなと思う反面，汎用的な曲になってもつまらないので何かを尖らせていきたいです．また，聞き心地のいい曲などの作曲方法があれば知りたいです．