Uma programação metida a Sinestésica

Minha primeira intenção seria a de relacionar notas com formas e cores específicas. Tabelas relacionando freqüências de notas musicais e de cores existem aos montes na história. A Sinestesia é um mistério que há muito vem fascinando a humanidade. Na internet é fácil de encontrá-las. Quanto à forma, eu pensava em trabalhar com a duração das notas. Notas curtas gerariam um arco com o raio tendendo ao infinito, ou seja, pequenas retas, ao passo que nas notas longas, o raio cairia exponencialmente, gerando curvas cada vez mais fechadas. Assim, por exemplo, "Jesus, Alegria dos Homens", de Bach, geraria uma escadinha, enquanto provavelmente Chopin nos levaria à uma chuva de circunferências. Levando à prática o resultado que eu encontrei não me agradou, de modo que eu tive que reajustar minhas idéias. Liguei um teclado midi ao computador e o conectei ao Processing através do ProMidi. Ali eu encontrei três variáveis para cada vez que eu apertasse em alguma nota do teclado: Pitch, Velocity e Length. Resolvi utilizá-las para definir as cores e as formas das músicas que eu tocasse. Pra definir as cores, nos encontramos defronte 4 variáveis: uma definindo a transparência e as outras três as cores RGB. Já na construção do arco, temos que definir dois pontos de localização x e y, dentro de um eixo cartesiano; mais dois pontos: um para a largura e outro para a altura do arco e dois pontos mais definindo seu início e fim. O que passou é que os números encontrados com as variáveis fornecidas pelo ProMidi eram muito próximas, de modo que resultava em um conjunto de objetos semelhantes, com uma pequena variação cromática e todos juntinhos na tela. Estava, no final das contas, obras visuais muito engessadas, sem graça. Resolvi que deveria ter um pouco mais de molho, um pouco mais da aleatoriedade que faz com que cada peça musical seja diferente e nos emocione também de maneira diferente a cada vez que é tocada. Assim, ao invés de usar a variável nua e crua, pedi para que cada vez que eu tocasse, o computador sorteasse, de maneira randômica, um número entre duas variáveis fornecidas pelo ProMidi, multiplicadas por algum fator constante. Dessa maneira, minha programação terminou assim:

MidiIO midiIO;

void setup(){

  size(800,800);

  smooth();

  background( 0);

  

  //get an instance of MidiIO

  midiIO = MidiIO.getInstance(this);

  println("printPorts of midiIO");

  

  //print a list of all available devices

  midiIO.printDevices();

  

  //open the first midi channel of the first device

  midiIO.openInput(0,0);

}

void draw(){

  //nothing to do here

}

void noteOn(Note note, int device, int channel){

  int vel = note.getVelocity();

  int pit = note.getPitch();

  int len = note.getLength();

  fill(230,random(vel/255,255), random(len/255,255), random(pit/255, 255));

  

  stroke(230,pit);

  

  arc(random(pit*5,len*25),random(vel,pit*10),random(vel,pit*10),random(len,vel*10), PI, PI/random(len/4,len/2));

Assim eu encontrei imagens muito mais interessantes, que têm, na verdade, muito mais aproximação com o que eu pensava no primeiro momento. Alguma idéias práticas vieram. Agora penso que podemos, a partir disso, criar um ambiente de exposição interativo, onde tenham captadores espalhados pelo chão e pela parede, ligados a um arduíno que, conectado ao computador utilizando talvez a livraria RwMidi, funcionem como um teclado midi, aproveitando-se dos sons existentes no GarageBand, em que, à medida que o público caminhe ou toque em alguma coisa, é gerado um som e uma forma como as mostradas a seguir.

Coloco algumas imagens finais de algumas melodias que eu mesmo toquei, no teclado midi ao som de um sax virtual e alguns vídeos mostrando todo o processo de construção da imagem ao longo da música.

Asa Branca, de Luiz Gonzaga e Humberto Teixeira.

Um Cluster.

A escala de Dó maior.

A escala de Ré menor.

Garçom, de Reginaldo Rossi.

Garota de Ipanema, de Tom Jobim e Vinícius de Moraes.

Um harpejo do acorde de Sol com 7.

Juazeiro, de Luiz Gonzaga e Humberto Teixeira.

Uma escala do modo Lócrio.

New York, New York, de John Kander e Fred Ebb.