- 本實驗室成員黃國彬同學參與之機械手臂無人實驗劇場表演《U+617E.∞》（程式設計/黃國斌）（2019）
- 本實驗室成員黃國斌同學所參與結合機械手臂之舞蹈表演「島嶼時光」（程式設計/黃國斌）（2018）
- 本實驗室成員余康政同學之互動燈光表演系統（2019）
- 本實驗室成員林冠儀同學之結合無線姿態偵測穿戴式裝置與衍生影像之互動舞蹈表演系統（2018)
- 行動裝置音樂即興表演系統 (2013) :
- 體感互動舞蹈表演音樂系統 (2011- 2013): 此系統以Kinect 結合Max/Msp/Jitter，運用動作捕捉，將人體的骨架之各節點座標用來觸發聲音事件。藉由節點運動的座標、加速度、方向等，來控制即時音訊合成。以下為此系統結合舞蹈表演者的表演片段。
本實驗室與台灣藝術大學多媒體與動畫藝術學系、舞蹈系跨校合作之互動舞蹈表演
（2012-2013)
（2012-2013)
本實驗室成員邱麗芬之互動聲音結合舞蹈之排練與測試 (2013)
（正式表演：「三十科技沙龍舞蹈創作劇場」舞團之「新舞風 - 未來式」）
本實驗室與台灣師範大學音樂系之跨校合作互動音樂舞蹈表演 (2011)
（正式表演：「三十科技沙龍舞蹈創作劇場」舞團之「新舞風 - 未來式」）
本實驗室與台灣師範大學音樂系之跨校合作互動音樂舞蹈表演 (2011)
給舞者的體感互動聲音系統 (2013) (程式設計：汪戊全)
- 互動 VJ 系統 (2010): 此系統是為了與台灣藝術大學「林珮淳 + 數位藝術實驗室」所合作的跨領域表演計畫「Nexus」(聯結）所設計。該計畫結合了舞蹈、錄像、即時影像、聲音藝術，並將影像透過三台投影機投影至三個延伸的螢幕。此系統主要採用 Max/MSP/Jitter 的 GPU 相關物件與 OpenGL 的功能，以便使用更高的效率來執行即時影像效果器，並解決高解析度的錄影檔案播放時，影像掉格的缺陷。此外，為便利演出的進行，也設計了特殊的全螢幕切換方式，使得正式演出時，可以使用延伸螢幕投影，而電腦本身仍能夠看到原本的操作介面，以便於即時操控。此系統亦加入 Event List 的設計，使得與時序相關的表演得以更順利而流暢的進行。此系統中也使用即時音量偵測，來控制各種效果器的參數。相關使用到的效果器包括：影像延遲、旋轉、扭曲、顏色校正等。此表演計畫雖然已經暫告一個段落，但此VJ 系統將可再依照未來不同的表演需求持續更新與發展。（以下展示的片段，使用我自己的聲音藝術作品「The Journey」來即時操控各種影像參數。臨時演員：我、我的小狗）
- Nexus 互動 VJ 系統 (2010): 以下是 Nexus 實際演出錄影片段與介紹，採用三個投影機及一台攝影機，由一台電腦上的 Max/MSP/Jitter VJ 系統，來控制即時影像、錄像、影音即時互動。即時影像的部分主要在於聲音控制影像扭曲、即時影像延遲特效、即時影像旋轉特效、等之應用，另外也包含影片之即時分割成三個畫面與倒影特效，以配和三個投影機的播放，使得影像特效、錄像、射像、音樂可以直接在 Max/MSP/Jitter 所建立的一個系統中流暢的進行。以下為演出彩排及互動殘影特效的實驗片段。
- 「無絃彩箏」互動聲音裝置 (2009): 無絃彩箏互動聲音裝置，是使用畫格色差偵測，來觸發五聲音階的準則。為了便利數位音訊效果器的使用，程式設計上使用 soundfont 的聲音取樣，來取代電腦內建的 MIDI 音色，並設計五聲音階的篩選機制，將非屬於五聲音階的音高過濾掉，並以亂數控制音區的高低。當畫格色差偵測的結果反應出使用者較快速的肢體移動時，則使五聲音階音高產生的速度加快。此外，為了模擬古箏的語法，因此也加入隨機控制的滑音。前述聲音訊號又被用來影響隨機產生的彩圖之像素的位置，而使得抽象的彩圖，得以反應畫格色差偵測的結果，亦即使用者的肢體位移變化程度。
- 「隻手之聲」互動影音表演系統 (2008-2009)：利用算出每個即時影像中，前一個畫格與當下的畫格之間，紅、綠、藍三元色的數值差異，藉此來瞭解偵測對象的移動的程度，並辨識數值突增的片刻，以觸發虛擬合成樂器、數位音訊特效等回饋機制。為了豐富其互動聲音變化的層次，使該系統可以有更多的互動方式，也加入另一種影像偵測的機制：先將輸入的即時影像轉為灰階影像，再依照自行設定的臨界值，將原本灰階的影像，區分為超過臨界值與低於臨界值兩類，並計算超過臨界值的像素數量，藉此觸發特定聲音的播放，以強化音樂形式的建立。該系統目前設計結構如下圖所示：
- 「漣漪」互動影音裝置 (2008) (程式設計 - 鄭建文；裝置架設與概念發想 - 黃英修）: 此互動裝置由鄭建文與明道大學數位設計系助理教授黃英修老師所合作設計，使用者在該互動裝置前移動或發出聲音，皆會激起即時影像特效處理投射生成的水波。該作品利用麥克風、攝影機來取得使用者的即時聲音、影像，並以即時的音量數據、畫格的影像變動情形，來控制映射著使用者影像的模擬水波（Andrew Besson 的水波程式碼)，使其隨音量、或身體移動產生漣漪或波浪擾動。《漣漪》獲選於台南科技大學所主辦的 「2008 全國遊戲產業人才培育論壇暨互動創作研討會」發表。其設計結構如下圖所示：
- 多重樂器「互動音樂表演系統」(2007): 2007年間除了進行給《飛蛾與火》作品之單一樂器互動音樂系統的研究之外，也為了博士論文的四重奏互動音樂作品《雪咒》設計一套給多重樂器的互動音樂表演系統，亦即演出時需要由多個麥克風分別同時收錄不同樂器的聲音，並即時針對來自不同獨立通道的樂器聲音做音訊分析及效果器處理。該系統中，仍採用一個電腦操作者，來控制各段落的不同參數預設值的切換，但每個段落間兼採音訊偵測、分析、與互動控制的方式，來控制效果器、虛擬樂器與預置聲音的播放，藉此增加音樂的趣味與變化性，並避免電腦操作者需執行過多的參數切換而導致失誤。除了前述關於《飛蛾與火》作品的互動系統相關更新之外，尚有專為多重樂器互動音樂系統所設計的更新，包括：(1) 多聲道的相關設置 (2) 矩陣式的效果器串接設計 (3) 系統資源節能設計 (效果器的獨立音訊開關、多聲部特效與虛擬樂器之自動聲部分配、矩陣式效果器串接）(4) 效果器模組的自動化淡入淡出設計（用來簡化 Event List 的撰寫之繁瑣）
- 單一樂器「互動音樂表演系統」(2007): 2006至2007年間的主要研究，承續2005年建立互動音樂表演系統之構想，針對在演出與創作上遇到的相關難題，力求提出可能的解決之道。此外，系統中也陸續加入新的音訊偵測模組與更多的音訊特效模組，並用來作為給長笛與互動音樂系統之《飛蛾與火》作品所使用的互動表演系統，曾以此獲得北德州大學音樂院2007年 Richard and Candace Faulk Scholar獎助，也參與2007年許常惠文化藝術基金會製樂小集系列音樂會「秋韻雅集」之發表、2009年「第五屆國際電腦音樂與音訊技術研討會暨台灣電聲音樂會」之作品演出發表。其各項功能與設計上的更新包括：(1) 「音樂事件」偵測系統之獨立 (2) 「演奏模式」、「預演模式」、「音訊關閉模式」之設置 (3) 整體殘響的獨立控制 (4) 複音循環播放（poly-looper）模組設計。其程式介面與結構如下圖所示：
- 單一樂器「互動音樂表演系統」(2005): 此互動音樂系統，是為了給薩克斯風的互動電腦音樂作品《風的素描》而設計。此作品獲得北德州大學音樂院2005年Richard and Candace Faulk Scholar獎助、此作品也獲選參展於2006年於奧瑞岡大學音樂院所舉辦的美國電腦音樂學會（SEAMUS）年會、並參與2007年台灣電腦音樂創作巡迴展。重要的設計與功能包括：(1) 音樂事件起訖點偵測 (2) 參數切換機制之設計 — 手動 vs. 踏板觸發 （包含時序控制設計、防止錯誤重複觸發之設計等） (3) 回饋系統設計 – 循環播放器 (亦可用來作為延音效果之用）
- Snow Spell （beta 版）VSTi 軟體音源器: 利用鋸齒波和不斷改變參數的的低通濾波器配合延遲效果所所製作之24發音數軟體音源器，使用者可以透過 beat_rate 改變低通濾波器參數的變化速度，藉以製造出特殊音效。此外調整brightness也可以明顯改變音色的的亮 度（其實是改變低通濾波器的頻率值）。此外，每一個單音都被設定以隨機方式出現在不同的音場位置。(download for Win XP only) (需先安裝 pluggo runtime 才能使用此插件） (June 8, 2006)
- Algorithmic Autopanner VST 效果器: 此工具可用來製作 auto-panning 的效果，可以分數個區段，調整 autopanning 漸變的速度。使用者可以選擇 circular mode 和 non-circular mode 。前者會不斷依照使用者設定的漸變速度參數而運作，參數達到目的之後，則繼續重複循環之；後者則在漸變參數到達目的之後不再改變，而維持最後的參數值保持不變的 autopanning 的速度。(download for Win XP only) (需先安裝 cycling74公司的 pluggo runtime 以及支援 VST 之影音主程式，才能使用此插件）(程式設計 / 鄭建文) (May 27, 2006)
沒有留言:
張貼留言