Umetničkim eksperimentalnim projektima razvija se i tržište digitalnih medija, i to razvojem tehnologije koja je spoj kreativnog i tehnološkog uma.

U Šon Kjubitovom /Sean Cubitt/ Efektu kinematografije /Cinema Effect/ (2005) piše da će možda jednog dana, možda uskoro postojati umetnost pokretnih tela i pokretnih slika. Potraga za ovom umetničkom formom je ono na čemu sam radio, sa različitim saradnicima, na Interactionslabor-u od 2003. godine. U tradiciji stvaralaca novih instrumenata mi smo tražili način da stvorimo audio-vizuelni instrument kojim bi izvođač ili muzičar mogao improvizovati.

Video koji postaje fluidan

Fundamentalni princip iza ove potrage je bio da se pronađe put kojim video, obično posmatran kao statičan u smislu trajanja, brzine i obrade može postati fluidan pomoću ruku i tela igrača ili izvođača. Dok slaganje videa i plesa može stvoriti interesantne pozorišne efekte, proces jednostavnog emitovanja videa iza izvođača je limitiran. Mi smo tražili proces pomoću koga plesač može imati izbor snimaka, brzinu reprodukcije, precizno zaustavljanje slike u odredjenom momentu, pretapanje iz jedne slike u drugu i kontrolu trajanja u toku samog plesa. Tim putem video je potpuno pod kontrolom izvođača.  Ukoliko on ili ona ne rade ništa, ni na ekranu se ništa neće dogoditi.

Izvođač može biti u interakciji sa svojim prethodno snimljenim pokretima

U projektu L’instant Decisif, Katsura Isobe pleše uz seriju projekcija video snimaka na kojima je ona snimljena kako pleše. Ona tako kontroliše njenu sopstvenu virtuelnu sliku na ekranu. Video snimci plesa su koreografski tako udešeni da ona može imati interakciju sa njenim sopstvenim prethodno snimljenim pokretima tokom performansa. U videu su korišćene sumorne, ali ipak predivne lokacije u okolini napuštenog rudnika u Getelbornu. Kamerom je namerno malo rukovano tako da bi publici bilo jasno da je slika pod kontrolom plesača. Komplikovano rukovanje kamerom ili promene fokusa bi razbile ovu konekciju i zbunile publiku zato smo mi odabrali statične kadrove snimljene na fiksiranom stativu. Cilj je bio proizvesti skoro ambijentalnu fotografiju tako da ne bi bilo opasnosti da video zaseni plesača na bini.

Metod rada na kontroli nastao je iz razgovora sa Mihelom Vajsvišem /Michel Waisvisz/ iz STEIM-a (pionirski centar kućno-pravljenih elektronskih instrumenata, sa sedištem u Amsterdamu) tokom koga je on izjavio da je proizvedeno toliko kompleksnih instrumenata na kojima niko nije u mogućnosti da svira – zar ne bi trebalo napraviti jednostavan instrument koji mnogo ljudi može koristiti? Šta se, na primer, može uraditi sa jednim akcelerometrom?

Eksperiment akcelerometrom, foto ćelijom i prekidačima

Tako smo počeli, sa jednim akcelerometrom na Isobinom ramenu. Takav senzor moze očitavati brzinu i pokazivati udar iznenadnih pokreta. Kasnije smo dodali drugi akcelerometar, foto ćeliju, koja očitava jačinu svetla, i jednostavan prekidač koji služi za prebacivanje sa jednog video klipa na drugi. Senzori su povezani sa radio odašiljačem, skrivenim u njenom kostimu koji konvertuje analogne podatke u MIDI i šalje ih direktno računaru preko bluetooth-a. Podaci se zatim na računaru konvertuju nazad u MIDI koji kontroliše klipove u quicktime formatu.

Rezidencijalni boravak u Interaktionslabor-u dao nam je dovoljno vremena da eksperimentišemo sa kalibrisanjem senzora. Proces učenja nije bio čisto vezan za tehničke probleme vezane za stabilnost interfejsa tokom performansa – iako to nije jednostavno – bio je u vezi sa kreiranjem procesa koji iako nije potpuno predvidiv i repetativan, ipak je bio instrument koji je Isobe mogla da koristi do tačke kreiranja smislene konekcije izmedju slika na ekranu i njenog plesa. Cilj – a mi smo u ranoj fazi na putu da ga dostignemo – da ples uživo i računar zadužen za vizuelni materijal postanu jedno, i da se značenje videa i pokreti živog performansa uklope jedan u drugi. Nadamo se da ce Isobe jednog dana praktično “oblačiti” slike.

Fuzija slike, plesa i muzike

Od početka projekat je imao za cilj da fuzioniše slike, ples i muziku na takav način koji poštuje veštinu originalne umetničke forme. Sjedinjujući faktor u okviru tima je da svaki član unese tradicionalne veštine koje prethode mogućnostima digitalne interaktivnosti. Isobe je izučavala ples zajedno u Tokiju i u Laban centru u Londonu. Martin Dipra /Martin Dupras/ ima iskustva sa izvođenjem i pisanjem tradicionalne muzike. Džeremi Hatoš Nemet /Jeremy Hattosh-Nemeth/ obučen je kao vajar i slikar. Tim Stefans /Tim Stephens/ i ja smo izučavali zajedno tradicionalnu fotografiju i izradu filmova. Pitanje posvećenosti intenzivnom i samostalnom uvežbavanju plesača, muzičara i filmskog umetnika od fundamentalne je važnosti za trans-disciplinarnu prirodu posla. Koji kompromisi su validni? Kojih pred-koncepcija je potrebno osloboditi se bez žrtvovanja esencije i kvaliteta veštine i talenta koji su pretočeni u strast na prvom mestu?

Svaki član tima je doneo sa sobom grubi nacrt svog rada. Stvaralac filma ili videa je ranije provodio sate u pronalaženju tačnog uporednog snimka ili sekvence koja stvara interesantan ritam, sve to vodi “perfektnoj” montaži. Šta se dešava kada je ovo predato plesaču? Sa ciljem i nadom da će kombinacija pokreta i videa biti sinhronizovana u smisleni momenat? Jednako kao sto muzičar izvodi muziku spontano ili sa ispisanih nota? Šta se dešava, dakle, kada je ono što dolazi od instrumenta kontrolisano – kako je to jedan od naših eksperimenata pokazao – intenzitetom disanja plesača? Kako je plesač navikao na dobro uvežbanu koreografiju utemeljenu u godinama vežbanja, potrebno je odgovoriti na dodatni zadatak korišćenja njegovog/njenog tela za puštanje video slika. Njegovi pokreti ne samo da moraju biti uspešni i angažovani u toku plesa već isto pokretni u okviru delikatnog dometa koji šalje smislene podatke od akcelerometra do kompjutera.

Virtuelni i živi plesač

Jedan od prvih problema je bio da regularno snimljen video od 25 frejmova u sekundi, kada biva oslobodjen normalne brzine reprodukcije, počinje da stvara čudnu haotičnu isprekidanost koja podseća na rane neme filmove. Iako je jasna demonstracija da je predstavljeni video jasno kontrolisan od strane plesača kod nekih gledalaca opisan je kao iritantan. Svakako može sadržati odredjenu tenziju i fascinaciju da je virtuelni plesač samo sporadično sinhronizuje sa živim plesačem i da je sposoban za pokrete i skokove koji nisu mogući u stvarnom životu. Shvatili smo da sa ciljem da nam budu što efektniji, neki snimci moraju biti snimljeni ekstremno usporeno tako da plesač može izabrati da li želi da ih pomera usporeno, normalnom brzinom ili ubrzano. To nas je dovelo do paradoksalnog zaključka. Za interakciju sinhronizovanja živog i virtuelnog sa jasnoćom, ponekad je efektnije koristiti slike  koje su negledljive pod normalnim okolnostima. Isto važi i za naredne eksperimente za koje je Stefans stvorio 3D model koji postoji čisto kao virtuelni parametar formi, svetla, boje, podataka transparentnosti i pozicije kamere koji oživljavaju samo kada je Isobe u interakciji sa njima. Proces kreiranja elemenata za neodređeni kraj je srodniji kreaciji sistema kategorizacije ili bazi podataka nego konvencionalnom pravljenju slike. Ako je film stvoren sopstvenim jezikom i pre-determinisanim skupom značenja, veoma je teško plesačima da ih redefinišu u kontekstu performansa. U našem slučaju i plesač i slika stvaraju zajednički rad preko kreacije vizuelnog sadržaja gde su različita značenja prenesena u različite performanse.

Metodologija rada grupe

Radna metodologija grupe je, tako, ciklična. Mi stvaramo delo, radimo sa njim, izvodimo ga pred publikom i onda sve počinjemo iz početka. Kao što smo naučili iz upotrebe slika – budućnost kinematografije će biti unapred vizuelizovana, neće se koristiti kao završni video već kao podaci u računaru. Obično bi kinematograf radio do jasno definisanog kraja – da će napravljenji video biti emitovan u normalnoj brzini. U ovom slučaju moramo da sagledamo napravljeni video sa većim brojem varijacija kraja ne  koristeći sve što može biti predvidljivo. Naslov projekta L’Instant Decisif (srp. trenutak odluke) je izveden iz termina koji je skovao fotograf Anri Kartije Breson /Henri Cartier Bresson/ kako bi opisao proces fotografisanja u kome se čeka da se uhvati kadar gde su svi elementi svetla, kompozicije, ljudi objedinjeni u „savršenom trenutku“. Naš posao zavisi od kreiranja baze podataka svih mogućih kombinacija koja će možda ili neće dovesti do savršenog trenutka sačinjenog od slike, muzike i plesa. Isobe će planirati sekvence svog plesa ne kao celovitu koreografiju već kao delove fragmenta koje je ona planirala da koristi u budućim improvizacijama.

Interakcija je suština dela

Jednako je fundamentalno bilo zapažanje da interakcija mora biti izgrađena u okviru projekta od njegovog nastanka. Ako će postojati kohezivna veza između slike, muzike i igre onda svi elementi moraju biti izgrađeni zajedno od temelja pre nego što treba raditi na jednom elementu i dodavati druge. Usled toga nikada nije ni postojala namera da celokupna produkcija bude „događaj“ (show) ni programirani performans. Dva performansa nikada ne bi trebalo da budu slični. U kontekstu toga Isobino igranje sa audio-vizuelnim instrumentom može se takođe uporediti sa igranjem kompjuterskih igrica gde je sve unapred određeno – ciljevi i varijacije; gde se različiti nivoi mogućnosti i sposobnosti igranja najčešće poboljšavaju vežbom. Naš ugao gledanja je srodan tradiciji džez improvizacije gde postoji rečnik i gramatika iza strukture, kao i niz očekivanja od izvođača ipak dozvoljavajući male momente magije koje su okružene sveprisutnom mogućnošću neuspeha.

U „Haunted weather“ Dejvid Tup /David Toop/ koristi kvekerski sastanak kao analogiju za improvizovano okruženje. Išao sam u kvekerski internat dve godine i moja sećanja na te sastanke su još uvek jaka. Tamo ne postoji sveštenik ni vikar pa samim tim nema ni glavnog. Ne postoji set unapred određenih rituala – prema tome ni određenog scenarija – ljudi jednostavno sede u krugu okruženi tišinom sve dok neko od kongregata ne oseti potrebu da nešto kaže. To uvek mora biti iz srca bez ikakvih ustručavanja jer ne postoji dogma, prema tome nema utvrđenih očekivanja. Uglavnom su okruženi tišinom i kongregati su ostavljeni sa svojim mislima. Međutim, u okviru grupe i svakako tokom grupnih odluka postoji „osećaj“ zajedništva cele grupe pre nego brojanje svakog individualnog mišljenja.

Upotreba senzora i odnos prema publici

Jednako važan je stepen do kojeg upotreba senzora deluje koherentno publici. Dok je zabranjeno u avangardnoj tradiciji da umetnik mora da izazove očekivanja publike, ipak postoji veoma mali broj onih koji imaju dovoljan nivo znanja da očekuju nešto od ove nadolazeće forme. L’Instant Decisif je izvođen pred uticajnom publikom na akademskim konferencijama u Notingemu i Donkasteru, i takođe pred širim auditorijumom gde je česta reakcija nerazumevanja. Kako će publika biti upućena u to da izvođač kontroliše slike umesto skrivenog tehničara koji je iza scene? Čak iako razumeju to, zašto je to važno? Kojoj nameni služi?

Tim do kraja razvija dramaturgiju ili kroz jezik kontekstualizuje za publiku svrhu interaktivne  tehnologije. Jedna od predloženih metafora je način na koji se orkestar naštimava za koncert. Iako oni u tom trenutku ne stvaraju muziku, jasno je da sviraju instrumente. Još jedan dramski instrument je cirkuska tačka zvana namerna pogreška. Slično je žongleru kome „ispada“ lopta, trapezantu koji se okliznuo i do kraja drži publiku u potpunoj neizvesnosti, a koja je potpuno ubeđena u opasnost i težinu tačke. Pojedinac ne može očekivati od publike da instiktivno razume vezu između izvođača i interfejs sistema. Bez obzira koliko je sofisticirana, tehnologija rada sa senzorima će skoro sigurno biti ograničena na manje događaje gde je publika relativno blizu izvođaču u nameri da vidi konekciju gestova i videa. Ciljamo ka stvaranju ranih segmenata za komad koji „pokazuje“ da je izvođač takođe marioneta i sugerišemo da rad žica budu sklonjeni u potpunosti.

Moć semplova u kreiranju poruke

Sve nas ovo i dalje ostavlja sa pitanjem zašto ovo radimo. Prva inovacija je upotreba semplova koji mogu biti viđeni kao jedna od zaista originalnih izuma koji su proizišli iz digitalne tehnologije. Sempl daje digitalni artefakt – audio ili vizuelni – bilo da li je uživo ili usnimljen. Privremeno je sačuvan u kompjuterskoj RAM memoriji dok ne bude aktiviran nekim događajem. U toj tački može biti transformisan, preuređen, razvučen ili smanjen. Razvoj brzine kompjutera i memorije nam je omogućio da radimo sa video semplovima koji su po celoj površini ekrana i pušteni sa čak većom rezolucijom frejma od 25 frejmova u sekundi, te možemo da manipulišemo njima uživo i u realnom vremenu. Sempl je kulturni referent koji reflektuje duh vremena ne samo u muzici već i u advertajzingu sa ponovljenim sloganima i politikom zvučnih isečaka. Džordž Buš je svojevremeno napravio konferenciju vezanu za terorističke pretnje avio linijama ponavljajući istu ideju ponovo i ponovo u pomalo dužim rečenicama. Gledano uživo, delovalo je potpuno suludo. Međutim, u roku od sat vremena je isečen u sređene male segmente i adaptiran za potrebe novinskih urednika. Buš nije napravio govor. On je stvorio datoteku zvučnih delova dizajniranih da budu rekontekstualizovani od strane televizijskih kompanija širom sveta.

To je u direktnoj interakciji sa semplovima i videa gde se Isobin rad odigrava. Ona može postati nezadovoljna sa onim što vidi na ekranu i promeniti ga, može disati i vikati na slike i one će reagovati. Može i polako prići ekranu i uz niz gestova izbaciti sliku na njemu. I stajati mirno ili ležati i jednostavno dozvoliti videu da sam teče dok ga ona posmatra kao deo publike. Sa ponovljenim probama ona je polako dostigla nivo gde retko gleda ka ekranu jer je veoma upoznata sa memorisanim slikama. Neke akcije su prepuštene slučaju – uz funkciju nasumično dodatu podacima koji stižu od senzora, mogu dovesti do segmenta koji je može „uhvatiti nespremnu“ uzrokujući da ona napravi nepredvidljive i nepredviđene gestove. Ona je takođe u mogućnosti da aktivira povratak na taj tačni momenat videa dovodeći do ponavljajućeg gesta, koji ona može vizuelno imitirati. Ovi gestovi jednako mogu aktivirati muzičke semplove koji reflektuju raspoloženje pokreta.

Međutim, naša namera nije da Isobini pokreti jednostavno budu aktivirani od strane slike i zvuka. Cilj je da se kreira postavka u kojoj postoji hibridna forma scenografije razvijena iz kreacije audio-vizuelnog okruženja koje ona ponekad nasledi, u drugom vremenu kontroliše i uvek odgovori na to. Istraživali smo upotrebu oba senzora koji mogu da zabeleže veoma male gestove i pokrete praćene putem kamera koje odgovaraju dobro velikim pokretima, ali imaju dosta poteškoća u demonstraciji odnosa između izvođača i okoline.

Kroz novi rad koji sam radio u Interaktionslaboru 2006. godine pod nazivom „Vidimo se u Walhalli!“ (Valhala je mesto bogova u germanskoj mitologiji) bio sam zadužen za dizajn senzora za izvođača Ermiru Goro. Ovde je dizajn senzora uključivao upotrebu originalnih elektronskih komponeti koje je napravio Arjen Kesmat /Arjen Keesmaat/ i Stojčo Stančev /Stoycho Stanchev/ od sirovih materijala. Ermira Goro nosi „rukavicu“ od senzora koja je sastavljena od prekidača koji joj omogućavaju da pristupi komandama quicktime (ubrzano, unazad, usporeno, zamrznuto) i sadrži ove komande u okviru njenih gestova. Ona je, stoga, bila u mogućnosti da izabere jedan od karaktera putnika snimljenih u tramvaju, zaustavi frejm i oponaša njene gestove. Njen karakter u komadu je avatar – ona je, efektno, ljudski izvođač u ulozi kompjuterski kreirane figure – pošto su njeni pokreti robotski veštački upotreba tehnologije senzora bi bila naručito prigodna. Na njenoj glavi, ramenima, struku, nogama, stopalima su postavljeni jednostavni prekidači od merkurijuma koji uzrokuju aktivaciju različitih delova frejma aktiviranih u zavisnosti od njenih pokreta. Svi ti senzori su ugrađeni u njen kostim (dizajniran od strane Despine Makaruni /Despina Makarouni).

See You in Walhalla (2006/2007 – Multimedia Performance) from Tzeni Argyriou on Vimeo.

Mi planiramo dalje razvijanje ove upotrebe senzora u performansu, dalje razvijanje posebno napravljene elektronike (u senzor koji se sastoji od akcelerometra, radio odašiljača i kombinovanog baterijskog odašiljača serijskih podataka preko bluetooth-a). Mi više ne želimo da koristimo bilo koji softver za bilo koji od procesa, nego težimo da napišemo naše sopstvene čiste podatke specijalno za senzore i izvođače. Uporedo sa radom sa interaktivnim senzorima na Interactionslabor razvijali smo i estetiku baziranu na korišćenju filma – ako je moguće filmove koji će uskoro biti zastareli. Audio-vizuelni set instrumenata za naš rad će, konačno, biti kompletno ručno urađen.

Paul Verity Smith

Objavljeno uz dozvolu autora (prava za Academica, 2007). Naslov originala: Working with sensors – the dancer as video editor u: Spielsysteme, Eine Dokumentation, ed. J. Birringer, K. Birringer, PoCul-Verlag fuer Politik und Cultur, Saarbruecken, 2006, Ss. 31-36. Prevod sa engleskog Neda Šorak.  Fotografija u tekstu ustupljena od autora. Naslovna fotografija: Setlab / OAT: Klanica pet, 2008.