🎭 Very Beautiful

Interactive Audiovisual Installation

Author: Francesco Mariano

Reference Work: "Very Beautiful" (1973) by John Heineman (Gruppo di Improvvisazione Nuova Consonanza)

Technologies: Max/MSP Jitter, Spectral Analysis, Markov Chains (order 3), Computer Vision

The Project

Very Beautiful is a digital reinterpretation of John Heineman's conceptual work that transforms the original composition into a synesthetic environment where the user becomes co-creator of a unique and unrepeatable audiovisual experience.

Tripartite Interaction System

🖱️ Click on each box to explore the interactive modules:

Dynamic and Generative Score

The system also acts as a dynamic score for the soloist. Performative textual instructions such as "EXPLORE SILENCE", "MIDDLE REGISTER", "INTRODUCE WIDE VIBRATO" are generated and triggered by the analysis of the performance itself, transforming execution into continuous dialogue between musician and machine.

Open and Modular Work

The software architecture is designed in a modular and versatile way, easily adaptable to new performative contexts. The interaction source can be reconfigured to analyze collective audience movements, transforming the work from performative experience to participatory installation.

Video Documentation

🎵 Audio Gallery

Explore the three complete audio tracks of the project. Each recording represents a different aspect of the work and its historical evolution.

🎼 Interactive Timeline - Real-Time Spectrogram Analysis

Advanced visualization with frequency labels, time markers, and amplitude legend. Click anywhere on the spectrogram to navigate through the performance.

Annotated Sound Events - Click to Jump

Air Piece. Dall'ecoacustica del paesaggio sonoro alla Fantasia Sonora di Teatro Musicale

di Francesco Mariano

Indice

• - Biografia di John Heineman pag. 3
• - Breve panoramica sulla nascita della soundscape composition pag. 4
• - Dalla soundscape composition alla fantasia sonora di teatro musicale
• - Analisi di Air Piece di John Heineman pag. 7

Biografia di John Heineman

John Heineman (New York 1939) inizia lo studio del trombone presso il Mannes College of Music contemporaneamente allo studio della composizione, che continuerà a Roma perfezionandosi con Goffredo Petrassi. Si diploma alla Columbia University. Nel 1966 termina il corso presso l'Accademia Santa Cecilia, presentando la sua composizione orchestrale "Consequents" che viene eseguita dall'orchestra dell'Accademia di Santa Cecilia.

E' stato anche allievo di Elias Tanenbaum, Peter Stearns e Boris Porena. "L'apprendistato con Tanenbaum ha travalicato però, per Heineman, i confini dello studio strumentale: allievo di Bohuslav Martinu, Tanenbaum era aggiornato sull'intero fronte dell'avanguardia storica europea (Bartók, Webern...) e sulle tendenze più recenti del jazz (Parker)," [Alessandro Mastropietro]

Già durante i primi anni di studio presso il Mannes College of Music è affascinato dall'improvvisazione e spesso durante i weekend invitava amici musicisti, Alex Hershenson (tromba) ed Andy Pagano (clarinetto), al college per sessioni di improvvisazioni ricercando particolari atmosfere. Assiste personalmente a concerti di Charlie Parker, Clifford Brown durante la registrazione di "A Night at Birdland Vol. 1", John Coltrane con Thelonius Monk rimanendo fin dall'adolescenza affascinato dall'improvvisazione.

È tra i fondatori del Gruppo di Improvvisazione Nuova Consonanza col quale svolse attività concertistica fra il 1965 e il 1970 esibendosi in varie città europee incluso un concerto per elettronica ed improvvisazione al 31° Festival di Venezia della musica Contemporanea nel settembre del 1968. Col Gruppo di Improvvisazione Nuova Consonanza registrò diversi LP (trombone e violoncello), ricordiamo Avant Garde vol. II, Gruppe Il Gruppo, The private Sea of Dreams.

Ha collaborato con il teatro inter-disciplinario Gruppo Altro. È autore, fra gli altri,di due lavori concettuali, Air Piece (1970) e Very, Very Beautiful (1973), che sono considerati emblematici nel loro genere. Dopo aver vissuto a Berlino, in Canada ed a New York, dal 1982 Heineman risiede stabilmente in Italia. Dopo una pausa di alcuni anni dalla musica si è riavvicinato suonando in prima persona prima il flicorno e poi il sax contralto.

Air Piece venne eseguito a Roma il 15 febbraio 1970, al Berliner Festwochen nel 1973 ed al Manhattan School of Music di New York nel 1974. Sempre nel 1974 viene presentata Very, Very Beautiful, un'opera di John Heineman del 1974 che utilizza simili processi compositivi. Venne eseguito a Roma fra il 29 ed il 31 marzo 1974 in collaborazione con TEAM Roma al Beat 72.

Tra i vari riconoscimenti, ha ricevuto il Composers Award dalla Broadcast Music Inc. (1965) e un Rome Prize Fellowship presso l'American Academy (1967-69).

Breve panoramica sulla nascita del Paesaggio Sonoro

Raymond Murray Schafer definì il soundscape come l'ambiente sonoro che ci circonda e nel quale viviamo così come viene percepito dalle persone che ne sono immerse. Potremmo definire anche il paesaggio sonoro come la colonna sonora della nostra vita, comprendendo nel paesaggio sonoro tutti i suoni che accompagnano la nostra esistenza, da quelli che intercettiamo involontariamente nelle attività quotidiane a quelli ai quali prestiamo maggiore attenzione come un concerto in un teatro.

Il suono può assumere differenti connotazioni: suono come fenomeno fisico oggettivo e suono come sensazione uditiva. Tra gli organi sensoriali individuiamo nell'udito una doppia natura, udire come fenomeno fisiologico e ascoltare come atto intellettivo psicologico. La capacità di ascoltare è un atto intenzionale e può essere sviluppata. L'ascolto viene mediato dai presupposti storico-socio-culturali dell'individuo nel contesto in cui vive.

Il paesaggio sonoro è in veloce e continuo mutamento, i suoni si moltiplicano e spesso si standardizzano andando ad annullare caratteristiche tipiche di determinati paesaggi sonori. Possiamo parlare di un effetto di globalizzazione sonora. Aerei, automobili, impianti industriali contribuiscono a compromettere sia il benessere psicofisico dell'uomo che ad annientare le unicità dei luoghi. Presenza invadente di suoni per lo più a basse frequenze e di forte intensità rende sempre più omogeneo il paesaggio sonoro di diversi luoghi, andando ad annullare identità sonore territoriali.

Dalla soundscape composition alla fantasia sonora di teatro musicale

Air Piece è una fantasia sonora di teatro musicale con una trama e un proprio sviluppo. Gli eventi sonori che si susseguono andranno a creare episodi di movimento alternati a fasi più tranquille, scene concitate e violente, vortici, momenti più statici, e repentini cambi di scena.

Possiamo certamente collocare Air Piece nella soundscape composition essendo al tempo stesso una delle prime composizioni di questo genere ed una sua evoluzione anticipandone certi sviluppi. Come ben definito da Murray Shafer, la composizione del paesaggio sonoro esplora ed interpreta il suono degli ambienti.

In Air Piece l'ambiente sonoro ripreso è fuori dubbio parte di un paesaggio sonoro già rapidamente mutato ed in continua evoluzione. Ci troviamo immersi in un'ambiente sonoro completamente trasfigurato, ci spostiamo all'interno di questo ambiente cogliendone le caratteristiche da differenti punti di ascolto.

Esposizioni nitide e schiette, riprese sonore immacolate, vere e crude, che si trasformano in sognanti vortici con richiami psichedelici grazie alle tecniche compositive messe in opera dall'Autore. Air Piece induce anche l'ascoltatore a mettere in relazione il paesaggio sonoro presente, quello raccontato e sceneggiato, a quello che non è più, a quello da immaginarsi prima della trasfigurazione sonora che l'ambiente ha subito.

Possiamo soltanto immaginare come dovessero suonare i luoghi descritti in Air Piece soltanto un decennio prima delle registrazioni (l'aeroporto di Fiumicino fu costruito fra il 1958 ed il 1960). Immaginare i suoni non è facile, e ci vorrebbero studi dedicati e approfonditi sulle capacità delle persone di immaginare suoni e saperli descrivere. Ancor più difficile è immaginare suoni che non si conoscono, anche presumendo (da fonti fotografiche, video o racconti scritti e orali) le sorgenti sonore presenti in un luogo, potremmo provare ad immaginare i suoni ma la mancanza di materiale sonoro certo resta una grossa carenza.

Quest'analisi di Air Piece evidenzia sia gli aspetti fisici acustici che la capacità di John Heineman di aver creato da questi eventi sonori un'Opera che è sia un documento sonoro che stimola ricerche ecosonologiche che un brano musicale che si evolve dalla rigidità della pura documentazione verso la creazione di una fantasia sonora di teatro musicale.

Come emergerà dettagliatamente dall'analisi che segue, sono presenti tre sezioni principali all'interno del brano che, richiamando un linguaggio teatrale possiamo riconoscere come scene.

La prima scena è in puro stile soundscape composition, con le riprese effettuate nell'arco di alcuni giorni all'interno e nei dintorni della pista dell'aeroporto di Fiumicino. Altre registrazioni vennero effettuate presso l'American Academy di Roma: la voce del bambino che pronuncia "de dah…", la voce di un pilota interpretata dall'artista visuale Jerry Kearns, la voce della prima moglie Lydia Heineman fino alla voce finale dello stesso Heineman. Queste registrazioni sono frutto delle riprese effettuate a partire dalla primavera del 1969 seguite da centinaia di ore di ascolto ed editing in studio.

Nella seconda scena il paesaggio sonoro viene elaborato attraverso filtraggi, loop e delay. In quegli anni l'influenza delle correnti sperimentali e psichedeliche era molto forte, questa seconda scena ci trasporta in un "psychedelic trip" con le voci dei piloti in vortici di loop, effetti e distorsioni. Ricordiamo che proprio nel 1970, Timothy Leary, scrittore, psicologo e artista statunitense, promotore dell'uso di sostanze psichedeliche, evade dal carcere per fuggire prima ad Algeri poi in Svizzera. La sua risonanza arrivava forte anche a Roma. Per approfondimenti su Timothy Leary si rimanda comunque ad altre fonti. Le registrazioni di questa sezione B provengono da una grande mole di nastri in archivi riservati ai quali Heineman aveva avuto accesso.

La terza scena è in prevalenza elettronica con un intermezzo di voci in loop e suoni di aerei. In questa ultima sezione è stato utilizzato un sintetizzatore analogico valvolare Synket ('Synthesiser-Ketoff') progettato da Paul Ketoff, ingegnere del suono per RCA e attivo a Roma presso Cinecittà Film Studios. Il Synket era di produzione artigianale e praticamente ogni modello commercializzato era un prototipo in quanto in continua evoluzione fra il 1965 ed il 1976.

L'interdisciplinarità di Air Piece

L'interdisciplinarità di Air Piece ci porta ad evidenziare anche i seguenti binomi che caratterizzano rapporti nel brano:

• uomo - ambiente
• uomo - velocità (tecnologia)
• velocità (tecnologia) - ambiente
• ambiente - musica
• musica - tecnologia

Una netta distinzione suoni concreti-suoni elettronici contrappone le prime scene, esclusivamente composte da riprese ambientali, alla terza quasi esclusivamente elettronica.

Interessante anche seguire come lo sviluppo della voce umana attraverso le diverse scene faccia emergere il rapporto fra l'uomo e questi cambiamenti, evidenziando come sia l'uomo stesso vittima e causa di una trasformazione sonora. La voce umana è presente nelle diverse scene assumendo aspetti e significati differenti.

Nella prima scena l'uomo è immerso nella densa grana sonora uniforme, contribuisce a crearla quasi inconsapevolmente, ne è vittima. Nella seconda troviamo una evoluzione verso velocità supersoniche con l'uomo consapevolmente protagonista. Nella terza scena, come i titoli di coda del cinema, troviamo la voce rassicurante dell'Autore che chiude la fantasia di teatro sonoro mentre cala il sipario.

Analisi di Air Piece

Air Piece è un brano composto da John Heineman nel 1970 effettuando riprese sonore nell'aeroporto di Fiumicino e nei suoi dintorni ed ha una durata di 13'08". Presso lo Studio di Musica Elettronica "G. Rossini" di Pesaro ne è stata fatta una versione Stereofonica dalle originarie registrazioni su quattro tracce, completando le riprese effettuate a Fiumicino con registrazioni di archivio (voci di piloti, torre di controllo e Frecce Tricolori) e l'utilizzo di elettronica.

Per effettuare l'analisi del brano sono state individuate tre macrosezioni che chiameremo A, B, C. In ogni sezione saranno evidenziate delle sottosezioni (a1,a2,a3,…b1,…). Queste ripartizioni sono state determinate per coerenza di eventi timbrici, evidenziando nel tempo la presenza delle varie differenti sorgenti sonore, individuando gli assemblaggi eseguiti in fase di montatura-composizione, nonché suddivisioni di carattere più soggettivo e suggestivo, riferendo sempre dei chiari parametri evidenziati dalle immagini dello spettrogramma.

SEZIONE A - Esposizione dell'ambiente sonoro

Toniche: motori, turbine, folla all'interno di un aeroporto
Segnali: voce di speaker, pilota

Vista panoramica della Sezione A - Paesaggio sonoro dell'aeroporto di Fiumicino

Dettaglio spettrale - Toniche di motori e turbine con segnali di voci

a1) Terminal Fiumicino - Time 0.00

Il brano inizia con un forte motore di automobile, molto ravvicinato e presente. E' in fase di rapido decadimento e lascia subito spazio all'ambiente circostante. La voce di uno speaker diffusa da altoparlanti diviene più nitida, si evince la pronuncia francese anche se non si riesce ad intenderne il significato. Ci troviamo quindi nell'area dell' aeroporto di Fiumicino il cui paesaggio sonoro, insieme all'ambiente circostante, verrà descritto nella prima parte del brano.

Il motore iniziale molto intenso - Frequenze fra 43 e 250 Hz con valori fino a -12dB

Nota tecnica: Il motore iniziale molto intenso mostra frequenze fra 43 e 250 Hz con valori fino a -12dB che decadono rapidamente.

Time 5,845: Il motore dell'automobile decresce rapidamente e nel medesimo evento sonoro percepiamo delle turbine in lontananza con suoni acuti che procedono in un glissando ascendente fino a 3600Hz con intensità deboli ma comunque ben percettibili (-31 dB).

a2) Annunci - Time 12.00

Termina il glissando delle turbine e si apre uno spettro più ricco in estensione di frequenza. Ci troviamo all'interno dell'aeroporto e la voce di uno speaker risente chiaramente degli effetti del riverbero tipici di grandi spazi chiusi. A 17,250 riconosciamo una voce, con un accenno ritmico-melodico, ripetuta con un delay di 500 ms (inizia a 17,250 sul canale sx per ripetersi a 17,7500 sul canale dx).

Time 23.700 - 33.100: Tre squilli di telefono si susseguono producendo una serie di parziali superiori ben distinguibili dallo spettrogramma. I primi due sul canale sinistro, il terzo, mascherato, anche sul destro. Il rumore di fondo maschera le parziali sotto i 3700 Hz.

Squilli di telefono sul canale sinistro - Il rumore di fondo maschera le parziali sotto i 3700 Hz

a3) Annunci partenze - Time 33,100 - 1'36" (Solo dal canale destro)

Voce dello speaker:
"Karachi, Calcutta, Bangkok, Hong Kong e Tokio. Verrà chiamato tre 5 minuti all'uscita numero cinque".

Dal sottofondo una turbina di un motore intorno ai 3000Hz, definiamo queste turbine come delle toniche che ritroveremo sovente nel corso del brano.

Intanto continua la voce dello speaker:
46" May i have your attention please",
49" Jal, Japan Airline inform that flight number 452
53" to Cairo, Karachi...

...sentiamo, in primo piano e ravvicinata, la voce di un bambino, quasi a intonare un frammento di melodia. "Dee dah, dee dah, de dah…de dah…de d…". E' completamente inaspettata dagli eventi che si sono fino ad ora susseguiti, e crea un forte distacco dal paesaggio sonoro che si va delineando. E' in primo piano e il suo distacco ci porta lontanissimo.

Segnali - La voce del bambino (time 56.700) con le armoniche superiori in chiara evidenza

Segnali: La voce del bambino (time 56.700) con le armoniche superiori in chiara evidenza.

Nuovi segnali si susseguono: gli annunci continuano con la voce di un altro speaker fino a lasciar spazio a turbine e motori che da toniche diventano soliste in un crescendo che si sviluppa fra 1'06" e 1'36".

a4) Turbine e motori a reazione - Time 1'36" - 2'09"

Rapido crescendo di turbine e motori a banda larga chiude la sezione A con le toniche sul fondo sempre presenti. L'accensione di un motore avvia un nuovo glissando di turbine che salgono rapidamente di frequenza e intensità terminando improvvisamente con un taglio netto. Il glissando ascendente di turbine e motori, prima di tipo esponenziale poi di tipo logaritmico, con un incremento di intensità che arriva ai -7 dB.

Il glissando ascendente di turbine e motori con incremento di intensità fino a -7 dB

a5) Aerei in volo. Tranquillo. - Time 2'09" - 2'30"

Una caduta nel vuoto arriva al termine del lungo crescendo precedente. Restano improvvisamente soltanto i motori, che adesso, con andamento costante, ci sembrano tranquilli e silenziosi. Un breve momento di tranquillità con le sole toniche fino alla comparsa di nuovi segnali. La fase più tranquilla con la tonica dei motori sempre presenti. Un suono molto cupo e stabile con un centro banda intorno ai 170 Hz e un'intensità di -19 dB.

La fase più tranquilla - Suono cupo e stabile con centro banda a 170 Hz e intensità di -19 dB

a6) Jerry Kearns voce del pilota - Time 2.30 - 3'12"

2'32" Messaggio di benvenuto del pilota: "good evening ladies and gentlemen this is your pilot speaking, i trust that your departure from L.A. was a comfortable one". Nel sottofondo la tonica, motore di aereo in volo, con andamento costante.

2'38" Comunicazioni radio del pilota: "Ah, we're looking forward to a very pleasant flight tonight, as we check the weather, we see no foreseeable problems as far as turbulence goes"

2'48" "Our flight to Albuquerque should take approximately an hour and a half, to an hour and thirty-five minutes"

2'55" "Ah, we hope you can settle in and relax and enjoy the trip. Please undo your seat belts."

3'01" "I will cut back in later if any interesting sites - ah pass by - ah below us as we continue our journey".

Jerry Kearns, artista visuale ed amico di John Heineman registrò questi dialoghi presso l'American Academy. "Kearns spontaneously was able to imitate a typical American mid-western accent (perfect for the piot's intervention on board a plane that I was looking for)" email di Heineman. "That recording helped to shape the direction of the piece, triggering the idea of psychedelic effects - of variable speed, break-up of his speech (use of filters etc.) suggesting various contrapuntal voice-over techniques (the settle-in and relax and enjoy the trip - triggering psychedelic effects idea - the comic-like effect of his voice slowed down to mimic an inebriated pilot)."

SEZIONE B - In volo. Piloti, torre di controllo, acrobazie, bang sonico

Toniche: motori, turbine, automobili
Segnali: voci piloti in volo, voci da torre di controllo, voci in loop, bang sonico

Questa sezione è un viaggio onirico dell'uomo in un caleidoscopio di velocità. Le voci dei piloti in volo che si rincorrono in vorticosi canoni lasceranno a poco a poco spazio alle turbine ed ai motori a reazione alternando eventi sonori di quiete ad eventi molto concitati e violenti come i bang della rottura della barriera del suono. Siamo in balia degli eventi che si susseguono, fasi di riposo si alternano a sogni psichedelici che trasportano l'ascoltatore oltre il solito.

b1) Time 3'12" - 3'18"

Nuovo breve momento di tranquillità con le sole toniche di motori in volo.

b2) Segnali. Imitazione a 4 voci - Time 3'18" - 3'39

Voci di piloti in loop creano dei vortici in crescendo. Sopra al costante sottofondo dei motori degli aerei, le voci si muovono velocemente creando un movimento vorticoso, un richiamo psichedelico in contrasto con la stabilità dei motori degli aerei in volo.

Voci di piloti in loop con motori in volo - Vortici vorticosi psichedelici

Eventi alternati di toniche e voci - Segnali a banda stretta in glissandi discendenti

b3-b6) Time 3'39" - 4'23"

Si alternano eventi di sole toniche (motori in volo) e riprese delle voci di piloti in loop. L'ultimo episodio di questa alternanza culmina con: "……Settle in and relax and enjoy the trip". Si notano dallo spettrogramma dei chiari segnali a banda stretta che si muovono in glissandi discendenti (da 4800Hz a 4350Hz).

b7) Time 4'23" - 4'33"

Toniche di motori in volo molto intense alle basse frequenze.

b8) Alfabeto militare - Time 4'33 - 5'24"

"Roger fox baker baker dog Quinn, you are clear to descend to two thousand feet…and check your finny fox fox one zero one seven point two".

Si susseguono comunicazioni fra piloti e torre di controllo in alfabeto militare. "Give us a call when 3 miles out, over.ah c"
Seconda voce: "…Roger, Fox, Baker, Baker Dog Quinn…"

Si distinguono i segnali della voce dei piloti, che si ripetono in loop e si sovrappongono in canone, con il caratteristico fruscio di fondo a banda larga delle comunicazioni radio.

5'10" "Check your Finny FOX FOX 1017.2"
"Give us a call when 3 miles out, over".

Al 5'12" una tonica molto intensa mentre continuano le comunicazioni fra piloti e torre di controllo.

b9) turbine, motori a reazione - Time 5'24" - 5'46"

Forti segnali a banda stretta, in molteplici glissandi discendenti. Segnali di turbine con le toniche dei motori molto intense (-7 dB)

Turbine e motori a reazione - Glissandi discendenti con intensità di -7 dB

b10) Esibizione delle frecce tricolori dell'Aeronautica Militare - Time 5'46" 6'04"

Uno speaker comunica da altoparlanti in luogo aperto: "E' già sul campo la pattuglia italiana"… "…sta per eseguire una virata di tipo Schneider…si portano nuovamente sul campo per eseguire una virata tipo Schneider".

La virata di tipo Schneider è una particolare manovra effettuata da un passaggio del così detto "solista", imprime all'aeroplano un movimento ondulatorio. La manovra viene generalmente effettuata in configurazione di atterraggio ed a velocità prossime a quelle dello stallo. Nella formazione ogni velivolo ha un ruolo ben preciso, che ogni pilota osserverà per la sicurezza e la riuscita dell'evoluzione. (Da notare le analogie fra la terminologia in uso nelle acrobazie aeree e quella musicale. La formazione, il solista, looping, bang sonico, formazione a cardioide).

I rapidissimi passaggi degli aerei creano degli spettri a banda larga che crescono e decrescono rapidamente. Dallo spettrogramma possiamo chiaramente identificare tre passaggi fra 5'55" e 6'04.

Manovre aeree delle Frecce Tricolori - Spettri a banda larga con tre passaggi identificabili

Virata di tipo Schneider - Crescendo e decrescendo rapidi dei passaggi aerei

b11) Bang sonico - Time 6'04" - 6'11"

"Attenzione, fra poco udremo il bang che si verifica quando avviene il superamento della barriera sonica". Invece che il bang sonico sentiamo però un boato non troppo intenso e di breve durata.

b12) Piloti torre di controllo - Time 6'12" - 6'35"

Motori in volo, dialoghi fra torre di controllo e piloti che si sovrappongono:

"..i'll be over in about, ah, 3 minutes, 4 minutes, over"
"…Able Dog Charlie, Roger, we are standing by waiting your call when reaching Cittavecchia, over"
"ah, my position is ? ah' ventuno decon, over"
"Roma approach 119.1, over"
"Request your altitude, also, over"
"Altitude 4,500 feet"
"ah, Fox, Baker, baker, dog"

b13) Time 6'35" - 7'02"

"Hanno compiuto il primo looping" - voce di un cronista che commenta le manovre aeree delle frecce tricolori e annuncio di un nuovo bang sonico molto forte in una banda fra 40Hz e 180Hz con intensità fino a -6 dB.

"…jet 84F effetteranno la superamento della barriera del suono"
"… e fra poco udremo il bang…secondo bang".

Questa fase violenta si chiude col suono di turbine che ci passano vicino velocemente creando brevi glissando discendenti di forte intensità.

b14) Time 7'02" - 7'46"

Si apre una scena coi soli motori protagonisti. Si tratta di motori di diverso tipo, e rotori di elicotteri. Come si nota chiaramente dallo spettrogramma, il suono dell'elica è descritto da fitte linee verticali a banda larga. Alle basse frequenze sempre le toniche dei motori molto intense.

b15) Time 7'46" - 8'29"

Si alternano momenti di distensione a episodi con motori di diversi tipo, ma non più aerei supersonici. A 8'03" una voce di donna che ride sul solo canale sinistro e si sviluppa in una risata frammentata, isterica e compulsiva che, mixata ai motori, si evolve in un frammento melodico chiudendo la lunga sezione B.

La voce sul canale sinistro che chiude la sezione B con un frammento ritmico melodico ripetuto: "Keep singin' keep singin'". Si tratta della voce di Candy Wechsler che ci porta in una fase transitoria proiettandoci, dall'oscura e minacciosa scena che si sta concludendo, alla lucente scena finale.

SEZIONE C - Elettronica e voce dell'autore

Nella terza scena suoni elettronici lineari, definiti e costanti si contrappongono allo scenario visto nelle prime due scene. Qui sono brevi loop di voci residui della scena precedente in una sorta di breve ostinato. Dopo il lungo viaggio è un ritorno alla realtà. Ritorno che prende forma inizialmente con suoni quasi puri per poi evolversi in spettri più complessi, accompagnato dalla voce dell'autore che ringrazia e accompagna la chiusura del sipario. Un atterraggio su territori più convenzionali. La dimensione che si crea nell'ultima scena ci riaccompagna alla realtà.

c1) Synket - Time 8'30" - 10'44"

I suoni del Synket aprono lo scenario unendosi al loop della voce che ripete "Keep singin' keep singin'". Al time 8'53" termina il loop della voce ed anche sul canale destro iniziano i suoni del Sintetizzatore. Una trama sempre più densa di suoni crea linee melodiche e battimenti, intermittenze, accordi e grumi che si evolvono e si intersecano.

Ingresso del Synket - Suoni elettronici lineari e costanti

Loop della voce "Keep singin'" con sintesi elettronica - Trama densa di suoni

Linee melodiche e battimenti - Accordi e grumi sonori del sintetizzatore

c2) You can hear it now - Time 10'44" - 11'13"

Una voce di donna ripete in loop "you can hear it now" e quella di un uomo si sovrappone rispondendo "hear what?".

c3) Time 11'13" - 11'35"

La voce di donna pronuncia "the Jet" e si apre un sottofondo già visto in precedenza, quello dei motori a reazione. Un dejavu che ci riporta ad un già vissuto, una nuova breve ricaduta onirica.

c4) Time 11.35" - 12'23"

Una melodia che arriva da lontano scorre anticipando la calata del sipario. Un delay ed un reverbero muovono questa melodia semplice e malinconica in re minore che cresce, si sposta, si rincorre con gli ultimi ricordi dei motori degli aerei. Gli aerei leggeri sembrano girare in armonia con la melodia sullo sfondo, un richiamo al cinema di Fellini.

c5) Titoli di coda - Time 12'23" - 13'08"

Come i titoli di coda di un'opera visuale entra la voce dell'Autore. E' il commiato dopo questo bel lungo viaggio in cui momenti di lucidità militare si sono alternati a scene oniriche.

Titoli di coda - La voce di John Heineman che ringrazia il pubblico

"Good evening ladies and gentlemen, ah, this is your composer speaking, ah, we hope you've enjoyed the composition, ah, as much as the technician and I have enjoyed doing it. I'd like to thank you very much for your participation here tonight ah, would just like to wish you a very good evening and a very pleasant journey ahead, Thank you".

Un brano che apre a nuovi stili compositivi, mantenendo all'interno chiare matrici di stampo musicale tradizionale che ne fanno una Fantasia sonora di teatro musicale.

Air Piece. From Soundscape Ecoacoustics to Musical Theater Sound Fantasy

by Francesco Mariano

Table of Contents

• - Biography of John Heineman p. 3
• - Brief overview of the birth of soundscape composition p. 4
• - From soundscape composition to musical theater sound fantasy
• - Analysis of Air Piece by John Heineman p. 7

Biography of John Heineman

John Heineman (New York 1939) began studying trombone at Mannes College of Music while simultaneously studying composition, which he would continue in Rome, perfecting his skills with Goffredo Petrassi. He graduated from Columbia University. In 1966, he completed his course at the Accademia di Santa Cecilia, presenting his orchestral composition "Consequents" which was performed by the Orchestra dell'Accademia di Santa Cecilia.

He was also a student of Elias Tanenbaum, Peter Stearns and Boris Porena. "The apprenticeship with Tanenbaum went beyond, for Heineman, the boundaries of instrumental study: a student of Bohuslav Martinu, Tanenbaum was well-versed in the entire front of the European historical avant-garde (Bartók, Webern...) and the most recent trends in jazz (Parker)," [Alessandro Mastropietro]

Already during his first years of study at Mannes College of Music, he was fascinated by improvisation and often on weekends would invite musician friends, Alex Hershenson (trumpet) and Andy Pagano (clarinet), to the college for improvisation sessions seeking particular atmospheres. He personally attended concerts by Charlie Parker, Clifford Brown during the recording of "A Night at Birdland Vol. 1", John Coltrane with Thelonious Monk, remaining fascinated by improvisation since adolescence.

He was among the founders of the Gruppo di Improvvisazione Nuova Consonanza with which he performed concerts between 1965 and 1970, performing in various European cities including a concert for electronics and improvisation at the 31st Venice Festival of Contemporary Music in September 1968. With the Gruppo di Improvvisazione Nuova Consonanza he recorded several LPs (trombone and cello), including Avant Garde vol. II, Gruppe Il Gruppo, The Private Sea of Dreams.

He collaborated with the inter-disciplinary theater Gruppo Altro. He is the author, among others, of two conceptual works, Air Piece (1970) and Very, Very Beautiful (1973), which are considered emblematic in their genre. After living in Berlin, Canada and New York, since 1982 Heineman has resided permanently in Italy. After a pause of several years from music, he returned to playing first the flugelhorn and then the alto saxophone.

Air Piece was performed in Rome on February 15, 1970, at the Berliner Festwochen in 1973 and at the Manhattan School of Music in New York in 1974. Also in 1974, Very, Very Beautiful was presented, a 1974 work by John Heineman that uses similar compositional processes. It was performed in Rome between March 29 and 31, 1974 in collaboration with TEAM Roma at Beat 72.

Among various recognitions, he received the Composers Award from Broadcast Music Inc. (1965) and a Rome Prize Fellowship at the American Academy (1967-69).

Brief Overview of the Birth of the Soundscape

Raymond Murray Schafer defined the soundscape as the sonic environment that surrounds us and in which we live as perceived by the people immersed in it. We could also define the soundscape as the soundtrack of our lives, encompassing in the soundscape all the sounds that accompany our existence, from those we intercept involuntarily in daily activities to those to which we pay more attention such as a concert in a theater.

Sound can take on different connotations: sound as an objective physical phenomenon and sound as an auditory sensation. Among the sensory organs we identify in hearing a dual nature, hearing as a physiological phenomenon and listening as a psychological intellectual act. The ability to listen is an intentional act and can be developed. Listening is mediated by the individual's historical-socio-cultural presuppositions in the context in which they live.

The soundscape is in rapid and continuous change, sounds multiply and often standardize, canceling out characteristics typical of certain soundscapes. We can speak of an effect of sonic globalization. Airplanes, automobiles, industrial plants contribute to compromising both the psychophysical well-being of humans and to annihilating the uniqueness of places. The invasive presence of sounds mostly at low frequencies and of strong intensity makes the soundscape of different places increasingly homogeneous, canceling out territorial sonic identities.

From Soundscape Composition to Musical Theater Sound Fantasy

Air Piece is a musical theater sound fantasy with a plot and its own development. The sonic events that follow one another will create episodes of movement alternating with quieter phases, hectic and violent scenes, vortices, more static moments, and sudden scene changes.

We can certainly place Air Piece within soundscape composition, being at the same time one of the first compositions of this genre and an evolution of it, anticipating certain developments. As well defined by Murray Schafer, soundscape composition explores and interprets the sound of environments.

In Air Piece, the recorded sonic environment is undoubtedly part of a soundscape that has already rapidly changed and is in continuous evolution. We find ourselves immersed in a completely transfigured sonic environment, moving within this environment capturing its characteristics from different listening points.

Clear and frank expositions, immaculate sound recordings, true and raw, that transform into dreamy vortices with psychedelic references thanks to the compositional techniques implemented by the Author. Air Piece also induces the listener to relate the present soundscape, the one narrated and staged, to what is no longer, to what must be imagined before the sonic transfiguration that the environment has undergone.

We can only imagine how the places described in Air Piece must have sounded just a decade before the recordings (Fiumicino airport was built between 1958 and 1960). Imagining sounds is not easy, and it would require dedicated and in-depth studies on people's ability to imagine sounds and describe them. Even more difficult is imagining sounds that one does not know, even assuming (from photographic sources, videos or written and oral accounts) the sound sources present in a place, we could try to imagine the sounds but the lack of certain sound material remains a major deficiency.

This analysis of Air Piece highlights both the physical acoustic aspects and John Heineman's ability to have created from these sonic events a Work that is both a sonic document stimulating ecosonological research and a musical piece that evolves from the rigidity of pure documentation towards the creation of a musical theater sound fantasy.

As will emerge in detail from the following analysis, there are three main sections within the piece that, recalling theatrical language, we can recognize as scenes.

The first scene is in pure soundscape composition style, with recordings made over several days inside and around the runway at Fiumicino airport. Other recordings were made at the American Academy in Rome: the voice of the child pronouncing "de dah...", the voice of a pilot interpreted by visual artist Jerry Kearns, the voice of his first wife Lydia Heineman up to the final voice of Heineman himself. These recordings are the result of recordings made starting from the spring of 1969 followed by hundreds of hours of listening and editing in the studio.

In the second scene the soundscape is processed through filtering, loops and delay. In those years the influence of experimental and psychedelic currents was very strong, this second scene transports us into a "psychedelic trip" with pilots' voices in vortices of loops, effects and distortions. We remember that precisely in 1970, Timothy Leary, American writer, psychologist and artist, promoter of the use of psychedelic substances, escaped from prison to flee first to Algiers then to Switzerland. His resonance arrived strongly even in Rome. For more information on Timothy Leary, however, refer to other sources. The recordings of this section B come from a large amount of tapes in restricted archives to which Heineman had gained access.

The third scene is predominantly electronic with an interlude of looped voices and airplane sounds. In this last section an analog tube synthesizer Synket ('Synthesiser-Ketoff') designed by Paul Ketoff, sound engineer for RCA and active in Rome at Cinecittà Film Studios, was used. The Synket was artisanally produced and practically every commercialized model was a prototype as it was in continuous evolution between 1965 and 1976.

The Interdisciplinarity of Air Piece

The interdisciplinarity of Air Piece leads us to highlight also the following binomials that characterize relationships in the piece:

• man - environment
• man - speed (technology)
• speed (technology) - environment
• environment - music
• music - technology

A clear distinction between concrete sounds and electronic sounds contrasts the first scenes, exclusively composed of environmental recordings, with the third almost exclusively electronic.

Also interesting to follow how the development of the human voice through the different scenes brings out the relationship between man and these changes, highlighting how man himself is both victim and cause of a sonic transformation. The human voice is present in the different scenes taking on different aspects and meanings.

In the first scene man is immersed in the dense uniform sonic grain, contributes to creating it almost unconsciously, is a victim of it. In the second we find an evolution towards supersonic speeds with man consciously protagonist. In the third scene, like film credits, we find the reassuring voice of the Author who closes the sound theater fantasy as the curtain falls.

Analysis of Air Piece

Air Piece is a piece composed by John Heineman in 1970 making sound recordings at Fiumicino airport and in its surroundings and has a duration of 13'08". At the Electronic Music Studio "G. Rossini" in Pesaro, a Stereophonic version was made from the original four-track recordings, completing the recordings made at Fiumicino with archival recordings (voices of pilots, control tower and Frecce Tricolori) and the use of electronics.

To carry out the analysis of the piece, three macrosections have been identified which we will call A, B, C. In each section, subsections will be highlighted (a1, a2, a3,...b1,...). These divisions were determined for coherence of timbral events, highlighting over time the presence of various different sound sources, identifying the assemblages performed in the editing-composition phase, as well as divisions of a more subjective and suggestive character, always referring to clear parameters highlighted by the spectrogram images.

SECTION A - Exposition of the Sonic Environment

Tonics: engines, turbines, crowd inside an airport
Signals: speaker voice, pilot

Panoramic view of Section A - Soundscape of Fiumicino airport

Spectral detail - Engine and turbine tonics with voice signals

a1) Fiumicino Terminal - Time 0.00

The piece begins with a loud car engine, very close and present. It is in rapid decay and immediately gives way to the surrounding environment. The voice of a speaker broadcast from loudspeakers becomes clearer, French pronunciation can be discerned although the meaning cannot be understood. We are therefore in the area of Fiumicino airport whose soundscape, together with the surrounding environment, will be described in the first part of the piece.

The very intense initial engine - Frequencies between 43 and 250 Hz with values up to -12dB

Technical note: The very intense initial engine shows frequencies between 43 and 250 Hz with values up to -12dB that decay rapidly.

Time 5.845: The car engine decreases rapidly and in the same sonic event we perceive turbines in the distance with high-pitched sounds proceeding in an ascending glissando up to 3600Hz with weak but still clearly perceptible intensities (-31 dB).

a2) Announcements - Time 12.00

The glissando of the turbines ends and a richer spectrum in frequency range opens up. We are inside the airport and the voice of a speaker clearly shows the effects of reverberation typical of large enclosed spaces. At 17.250 we recognize a voice, with a rhythmic-melodic hint, repeated with a 500 ms delay (it starts at 17.250 on the left channel to repeat at 17.7500 on the right channel).

Time 23.700 - 33.100: Three telephone rings follow one another producing a series of upper partials clearly distinguishable from the spectrogram. The first two on the left channel, the third, masked, also on the right. The background noise masks the partials below 3700 Hz.

Telephone rings on the left channel - Background noise masks partials below 3700 Hz

a3) Departure announcements - Time 33.100 - 1'36" (Only from the right channel)

Speaker's voice:
"Karachi, Calcutta, Bangkok, Hong Kong e Tokio. Verrà chiamato tre 5 minuti all'uscita numero cinque".

From the background a turbine of an engine around 3000Hz, we define these turbines as tonics that we will often find throughout the piece.

Meanwhile the speaker's voice continues:
46" May i have your attention please",
49" Jal, Japan Airline inform that flight number 452
53" to Cairo, Karachi...

...we hear, in the foreground and close up, the voice of a child, almost intoning a fragment of melody. "Dee dah, dee dah, de dah…de dah…de d…". It is completely unexpected from the events that have followed so far, and creates a strong detachment from the soundscape that is taking shape. It is in the foreground and its detachment takes us very far away.

Signals - The child's voice (time 56.700) with upper harmonics in clear evidence

Signals: The child's voice (time 56.700) with upper harmonics in clear evidence.

New signals follow one another: the announcements continue with the voice of another speaker until giving way to turbines and engines that from tonics become soloists in a crescendo that develops between 1'06" and 1'36".

a4) Turbines and jet engines - Time 1'36" - 2'09"

Rapid crescendo of turbines and broadband engines closes section A with the tonics always present in the background. The ignition of an engine starts a new glissando of turbines that rapidly rise in frequency and intensity ending abruptly with a sharp cut. The ascending glissando of turbines and engines, first of exponential type then of logarithmic type, with an intensity increase reaching -7 dB.

The ascending glissando of turbines and engines with intensity increase up to -7 dB

a5) Airplanes in flight. Calm. - Time 2'09" - 2'30"

A fall into the void arrives at the end of the long previous crescendo. Suddenly only the engines remain, which now, with constant movement, seem calm and silent to us. A brief moment of tranquility with only the tonics until the appearance of new signals. The calmest phase with the engine tonics always present. A very dark and stable sound with a center band around 170 Hz and an intensity of -19 dB.

The calmest phase - Dark and stable sound with center band at 170 Hz and intensity of -19 dB

a6) Jerry Kearns pilot's voice - Time 2.30 - 3'12"

2'32" Pilot's welcome message: "good evening ladies and gentlemen this is your pilot speaking, i trust that your departure from L.A. was a comfortable one". In the background the tonic, airplane engine in flight, with constant movement.

2'38" Pilot's radio communications: "Ah, we're looking forward to a very pleasant flight tonight, as we check the weather, we see no foreseeable problems as far as turbulence goes"

2'48" "Our flight to Albuquerque should take approximately an hour and a half, to an hour and thirty-five minutes"

2'55" "Ah, we hope you can settle in and relax and enjoy the trip. Please undo your seat belts."

3'01" "I will cut back in later if any interesting sites - ah pass by - ah below us as we continue our journey".

Jerry Kearns, visual artist and friend of John Heineman, recorded these dialogues at the American Academy. "Kearns spontaneously was able to imitate a typical American mid-western accent (perfect for the piot's intervention on board a plane that I was looking for)" email from Heineman. "That recording helped to shape the direction of the piece, triggering the idea of psychedelic effects - of variable speed, break-up of his speech (use of filters etc.) suggesting various contrapuntal voice-over techniques (the settle-in and relax and enjoy the trip - triggering psychedelic effects idea - the comic-like effect of his voice slowed down to mimic an inebriated pilot)."

SECTION B - In Flight. Pilots, Control Tower, Aerobatics, Sonic Boom

Tonics: engines, turbines, automobiles
Signals: voices of pilots in flight, voices from control tower, looped voices, sonic boom

This section is a dreamlike journey of man in a kaleidoscope of speed. The voices of pilots in flight that chase each other in swirling canons will gradually give way to turbines and jet engines alternating calm sonic events with very hectic and violent events such as the sonic booms of breaking the sound barrier. We are at the mercy of the events that follow one another, phases of rest alternate with psychedelic dreams that transport the listener beyond the usual.

b1) Time 3'12" - 3'18"

New brief moment of tranquility with only the tonics of engines in flight.

b2) Signals. 4-voice imitation - Time 3'18" - 3'39

Looped pilots' voices create vortices in crescendo. Above the constant background of airplane engines, the voices move quickly creating a swirling movement, a psychedelic reference in contrast to the stability of airplane engines in flight.

Looped pilots' voices with engines in flight - Swirling psychedelic vortices

Alternating events of tonics and voices - Narrowband signals in descending glissandi

b3-b6) Time 3'39" - 4'23"

Events of only tonics (engines in flight) and returns of looped pilots' voices alternate. The last episode of this alternation culminates with: "……Settle in and relax and enjoy the trip". Clear narrowband signals can be seen from the spectrogram moving in descending glissandi (from 4800Hz to 4350Hz).

b7) Time 4'23" - 4'33"

Very intense engine tonics in flight at low frequencies.

b8) Military alphabet - Time 4'33 - 5'24"

"Roger fox baker baker dog Quinn, you are clear to descend to two thousand feet…and check your finny fox fox one zero one seven point two".

Communications between pilots and control tower in military alphabet follow one another. "Give us a call when 3 miles out, over.ah c"
Second voice: "…Roger, Fox, Baker, Baker Dog Quinn…"

The voice signals of the pilots can be distinguished, repeating in loops and overlapping in canon, with the characteristic broadband hiss of radio communications.

5'10" "Check your Finny FOX FOX 1017.2"
"Give us a call when 3 miles out, over".

At 5'12" a very intense tonic while communications between pilots and control tower continue.

b9) turbines, jet engines - Time 5'24" - 5'46"

Strong narrowband signals, in multiple descending glissandi. Turbine signals with very intense engine tonics (-7 dB)

Turbines and jet engines - Descending glissandi with intensity of -7 dB

b10) Performance by the Frecce Tricolori of the Aeronautica Militare - Time 5'46" 6'04"

A speaker communicates from loudspeakers in an open place: "E' già sul campo la pattuglia italiana"… "…sta per eseguire una virata di tipo Schneider…si portano nuovamente sul campo per eseguire una virata tipo Schneider".

The Schneider-type turn is a particular maneuver performed by a passage of the so-called "soloist", imprinting an undulating movement on the airplane. The maneuver is generally performed in landing configuration and at speeds close to stall. In the formation each aircraft has a very specific role, which each pilot will observe for the safety and success of the evolution. (Note the analogies between the terminology used in aerial acrobatics and musical terminology. The formation, the soloist, looping, sonic boom, cardioid formation).

The very rapid passages of the airplanes create broadband spectra that grow and decay rapidly. From the spectrogram we can clearly identify three passages between 5'55" and 6'04.

Aerial maneuvers of the Frecce Tricolori - Broadband spectra with three identifiable passages

Schneider-type turn - Rapid crescendo and decrescendo of aerial passages

b11) Sonic boom - Time 6'04" - 6'11"

"Attenzione, fra poco udremo il bang che si verifica quando avviene il superamento della barriera sonica". Instead of the sonic boom we hear however a not too intense roar of brief duration.

b12) Pilots control tower - Time 6'12" - 6'35"

Engines in flight, dialogues between control tower and pilots that overlap:

"..i'll be over in about, ah, 3 minutes, 4 minutes, over"
"…Able Dog Charlie, Roger, we are standing by waiting your call when reaching Cittavecchia, over"
"ah, my position is ? ah' ventuno decon, over"
"Roma approach 119.1, over"
"Request your altitude, also, over"
"Altitude 4,500 feet"
"ah, Fox, Baker, baker, dog"

b13) Time 6'35" - 7'02"

"Hanno compiuto il primo looping" - voice of a commentator commenting on the aerial maneuvers of the Frecce Tricolori and announcement of a new very strong sonic boom in a band between 40Hz and 180Hz with intensity up to -6 dB.

"…jet 84F effetteranno la superamento della barriera del suono"
"… e fra poco udremo il bang…secondo bang".

This violent phase closes with the sound of turbines that pass by us quickly creating brief descending glissandi of strong intensity.

b14) Time 7'02" - 7'46"

A scene opens with only engines as protagonists. These are engines of different types, and helicopter rotors. As can be clearly seen from the spectrogram, the sound of the propeller is described by dense vertical broadband lines. At low frequencies always the very intense engine tonics.

b15) Time 7'46" - 8'29"

Moments of relaxation alternate with episodes with engines of different types, but no longer supersonic aircraft. At 8'03" a woman's voice laughing on the left channel only and developing into a fragmented, hysterical and compulsive laugh that, mixed with the engines, evolves into a melodic fragment closing the long section B.

The voice on the left channel that closes section B with a repeated rhythmic melodic fragment: "Keep singin' keep singin'". This is the voice of Candy Wechsler who takes us into a transitional phase projecting us, from the dark and menacing scene that is concluding, to the shining final scene.

SECTION C - Electronics and Author's Voice

In the third scene linear, defined and constant electronic sounds contrast with the scenario seen in the first two scenes. Here are brief voice loops remnants of the previous scene in a sort of brief ostinato. After the long journey it is a return to reality. A return that initially takes shape with almost pure sounds and then evolves into more complex spectra, accompanied by the author's voice that thanks and accompanies the closing of the curtain. A landing on more conventional territories. The dimension that is created in the last scene takes us back to reality.

c1) Synket - Time 8'30" - 10'44"

The sounds of the Synket open the scenario joining the voice loop that repeats "Keep singin' keep singin'". At time 8'53" the voice loop ends and also on the right channel the sounds of the Synthesizer begin. An increasingly dense weave of sounds creates melodic lines and beats, intermittencies, chords and clusters that evolve and intersect.

Entrance of the Synket - Linear and constant electronic sounds

Voice loop "Keep singin'" with electronic synthesis - Dense weave of sounds

Melodic lines and beats - Chords and sonic clusters of the synthesizer

c2) You can hear it now - Time 10'44" - 11'13"

A woman's voice repeats in a loop "you can hear it now" and that of a man overlaps responding "hear what?".

c3) Time 11'13" - 11'35"

The woman's voice pronounces "the Jet" and a background previously seen opens up, that of jet engines. A dejavu that brings us back to an already lived experience, a new brief dreamlike relapse.

c4) Time 11.35" - 12'23"

A melody arriving from afar flows anticipating the falling of the curtain. A delay and a reverb move this simple and melancholic melody in D minor that grows, moves, chases itself with the last memories of airplane engines. The light aircraft seem to circle in harmony with the melody in the background, a reference to Fellini's cinema.

c5) End credits - Time 12'23" - 13'08"

Like the credits of a visual work, the Author's voice enters. It is the farewell after this beautiful long journey in which moments of military lucidity alternated with dreamlike scenes.

End credits - John Heineman's voice thanking the audience

"Good evening ladies and gentlemen, ah, this is your composer speaking, ah, we hope you've enjoyed the composition, ah, as much as the technician and I have enjoyed doing it. I'd like to thank you very much for your participation here tonight ah, would just like to wish you a very good evening and a very pleasant journey ahead, Thank you".

A piece that opens up new compositional styles, maintaining within it clear matrices of traditional musical stamp that make it a Musical Theater Sound Fantasy.

📸 Media Gallery

Visual documentation of the project: Max/MSP patch screenshots, performance images, and dynamic score indications.

Screenshots & Performance

John Heineman

John Heineman e Frederic Rzewski

Gruppo di Improvvisazione Nuova Consonanza

"I remember?" - Text generation via Markov chains

Video Documentation

🧪 Interactive Laboratory

Experiment with the core algorithms of the work: Markov generation, spectral audio analysis, and integrated performance mode.

🎤 Professional Markov Text Generator

Enter text and the algorithm will generate variations based on Markov chains. Choose different orders to explore how context depth affects text generation.

🎥 Advanced Motion Detection with Recording

The webcam detects your movements and transforms the text in real-time. Record your performance with synchronized audio! - First activate camera -

👤 John Heineman

👨‍💻 Francesco Mariano

📅 Historical Timeline

📚 Archives and Resources

Fondazione Isabella Scelsi

The John Heineman archive is preserved at the Fondazione Isabella Scelsi in Rome (Fondo 7). The foundation is dedicated to contemporary musicological research and preservation of Italian experimental music heritage.

Scientific Publications

🛠️ Technical Architecture

Implementation details of the Max/MSP/Jitter system and modular software architecture.

Technology Stack

Core System Modules

1. Spectral Audio Analysis

The audio signal is analyzed through pfft~ (Fast Fourier Transform) and processed by zsa.abs_bark_mel~ to obtain a perceptually relevant representation of the spectrum (Bark scale). Spectral data controls visual parameters in real-time.

2. Computer Vision and Luminance Analysis

Webcam captures video through jit.grab. Image is converted to luminance with jit.rgb2luma, then analyzed for movement via cv.jit.opticalflow. Audio signal intensity modulates analysis sensitivity, creating audio-visual coupling.

3. Text Generation - Markov Chains

3rd-order Markov chain algorithm (trigrams) that analyzes original text corpus and generates new sequences maintaining stylistic coherence. Generated words are rendered with jit.gl.text with visual attributes (font, size, position, color) controlled by audio analysis.

4. Dynamic Generative Score

System that generates real-time performance instructions based on performance analysis. Multiple implementations: predefined score (from text/coll), Markov-generated (algorithmically processed instructions), or completely aleatory (weighted random selection).

Modular Architecture

The system is designed with modular architecture allowing easy reconfiguration:

• Independent modules for audio, video analysis and text generation
• Standardized interfaces between modules (OSC messages)
• Mappable and configurable parameters via GUI
• Possibility of source substitution (live microphone, audio file, MIDI input)
• Adaptability to different performative and instrumental setups

System Requirements

Future Developments

• Machine Learning: Integration of neural networks for autonomous algorithmic evolution
• Advanced Gestural Analysis: Computer vision with posture and 3D movement recognition
• OSC Control: Integration with external devices (tablets, IMU sensors, MIDI controllers)
• VR/AR: Versions for virtual and augmented reality for total immersion
• Multi-Ensemble Versions: Adaptations for variable formations and different instruments
• Site-Specific Installations: Variants for particular architectural environments

📊 Flow Diagram

┌───────────────────────────────────────────────────────────┐
│                    VERY BEAUTIFUL SYSTEM                        │
│                   Interactive Architecture                      │
└───────────────────────────────────────────────────────────┘

┌──────────────────     ┌──────────────────     ┌──────────────────
│   AUDIO INPUT    │     │   VIDEO INPUT    │     │   TEXT CORPUS    │
│   (sfplay~/adc~) │     │   (jit.grab)     │     │   (text/coll)    │
└────────┬─────────┘     └────────┬─────────┘     └────────┬─────────┘
         │                        │                         │
         ▼                        ▼                         ▼
┌──────────────────     ┌──────────────────     ┌──────────────────
│  SPECTRAL        │     │  LUMINANCE       │     │  MARKOV CHAIN    │
│  ANALYSIS        │     │  ANALYSIS        │     │  ORDER 3         │
│  (pfft~+bark)    │     │  (rgb2luma)      │     │  (trigramms)     │
└────────┬─────────┘     └────────┬─────────┘     └────────┬─────────┘
         │                        │                         │
         │    ┌───────────────────┼─────────────────────────┤
         │    │                   │                     │   │
         ▼    ▼                   ▼                     ▼   ▼
    ┌─────────────────    ┌─────────────────    ┌─────────────────
    │  COLOR          │    │  VISIBILITY     │    │  TEXT           │
    │  MODULATION     │    │  MODULATION     │    │  GENERATION     │
    │  (RGB mapping)  │    │  (alpha blend)  │    │  (probabilistic)│
    └────────┬────────┘    └────────┬────────┘    └────────┬────────┘
             │                      │                       │
             └──────────────────────┼───────────────────────┘
                                    │
                                    ▼
                          ┌──────────────────
                          │  jit.gl.render   │
                          │  OUTPUT WINDOW   │
                          └──────────────────┘
                                    │
                                    ▼
                          ┌──────────────────
                          │  PROJECTOR /     │
                          │  DISPLAY         │
                          └──────────────────┘

┌───────────────────────────────────────────────────────────┐
│  FEEDBACK LOOP: Audio energy → Visual modulation → Performer   │
│                 Performer gesture → Luminance → Text generation │
└───────────────────────────────────────────────────────────┘