En piochant dans une bibliothèque de médias tombés dans le domaine public, le dispositif "Random Mashup" propose de créer aléatoirement de courtes séquences mixant films, compositions musicales et œuvres littéraires apparemment sans liens.

En produisant des rencontres surprenantes, les "heureux hasards" des associations aléatoires offrent un matériau inédit d’inspiration et réinterrogent la portée et le devenir des œuvres à l’ère du numérique.

La technique numérique du mashup donne une nouvelle dimension aux collages que réalisaient les avant-gardes artistiques et littéraires dans le courant du XXe siècle, qu’il s’agisse aussi bien d’assemblages picturaux (tels que les pratiquaient les dadaïstes), d’assemblages de textes (expérimentés notamment par les surréalistes dans les Cadavres Exquis) ou, plus tardivement, d’assemblages audio et vidéo.

Dans l’environnement numérique, la rencontre entre les médias n’est plus orchestrée par l’artiste seul, mais également par l’ordinateur grâce aux possibilités que lui confère le code, tant en terme d’interactivité que de génération aléatoire.

En particulier, la dimension aléatoire est intéressante par ce qu’elle permet de produire massivement des compositions, dont certaines peuvent sortir du lot et constituer des sources d’inspiration par le jeu des combinaisons. Ce principe n’est cependant pas neuf dans le domaine créatif : il a notamment été expérimenté par les OuLiPiens sur le média texte pour produire des œuvres de littérature combinatoire, telles que les Cent mille milliards de poèmes de Raymond Queneau (1961) ou les Deux cent quarante-trois cartes postales en couleurs véritables de Georges Perec (1978). Avec l’essor de l’outil informatique, ces expérimentations ont été portées dans l’environnement du web sous la forme de générateurs tels que le Pipotron.

Appliquée au mashup, la génération aléatoire revisite le principe de la création combinatoire en superposant à l’infini des contenus numériques multimédiatiques. Kate Armstrong et Michael Tippett l’ont par exemple expérimenté avec leur site Graphik Dynamo (2005). Celui-ci assemble de manière aléatoire des textes et des images récupérés sur Internet dans un strip de trois cases empruntant aux codes du pop-art et de la bande-dessinée. En s’appuyant sur les possibilités combinatoires de l’outil informatique, ce site questionne les associations entre textes et images et, en filigrane, le sens des contenus ainsi mis en scène.

Random Mashup mixe vidéos, sons et textes issus du domaine public pour produire de mini-films surprenants et inspirants.

Le dispositif "Random Mashup" s’inscrit dans la lignée des pratiques de collage et de mashup, en proposant la superposition de films, compositions musicales et œuvres littéraires issus du domaine public. Le moteur diffuse en boucle des mashups créés en superposant un film, une composition musicale et une œuvre littéraire piochés dans une base de médias. L’ensemble des médias rassemblés dans cette base ont été préalablement formatés de sorte que leur superposition soit cohérente :

• non seulement dans leur durée : le son, la vidéo et les sous-titres sont séquencés sur un format de vingt secondes ;
• mais également dans leur dimension narrative : les plans extraits du film et les sous-titres extraits des textes sont formatés comme un dialogue de cinq répliques.

Ainsi prétraitées, les œuvres du domaine public trouvent dans le « Random Mashup » un nouveau canal d’expression dans lequel les heureux hasards produisent des rencontres singulières, offrant de nouvelles lectures et constituant de nouvelles sources d’inspiration pour les créatifs.

Loin d’être anecdotique dans les processus de création, l’assemblage aléatoire de fragments d’œuvres pose en creux la question de la place de l’auteur, particulièrement sensible avec la diffusion des données et les enjeux de l’Open Data : l’œuvre est-elle produite par les artistes et écrivains à l’origine des médias ? par le concepteur du moteur ? par l’interaction du spectateur ?

Au-delà des différentes lectures que l’on peut faire de "Random Mashup", le dispositif est loin d’être figé et appelle de nouveaux développements et modes d’appropriation. À terme, "Random Mashup" pourrait être enrichi :

• d’une part en diversifiant la base des médias : non seulement en multipliant les œuvres du domaine public dont sont extraits les médias, mais également en important des textes, des vidéos et des bandes son contemporains et libres de droits, comme par exemple des tweets ou des séquences télévisuelles ;
• d’autre part en ouvrant la génération aléatoire à l’interaction : par exemple en permettant à l’utilisateur de sélectionner les contenus qu’il souhaite fusionner ou, pour le moins, spécifier les univers qu’il souhaite croiser (par exemple en indiquant un type de musique, un genre cinématographique, un hashtag à partir duquel seront extraits les tweets, etc.)

Comme pour tout générateur aléatoire, la mise en place de ce dispositif nécessite de définir un cadre selon lequel vont être formatés et rassemblés les différents médias.

"Random Mashup" fonctionne sur des séquences de vingt secondes, découpées en une introduction de deux secondes, un mashup vidéo de quinze secondes et une page de crédits de trois secondes.

Pour se mouler dans cette trame :

• les bandes son sont des extraits de vingt secondes couvrant la totalité de la séquence,
• les vidéos sont des montages de quinze secondes, alternant successivement cinq plans de trois secondes pouvant se lire comme un dialogue,
• les textes sont des montages de cinq répliques ayant vocation à être associées aux cinq plans du montage vidéo.

La composition de cette base de médias nécessite un travail manuel d’extraction et de montage, assisté par des éditeurs de texte et des logiciels de montage audio et vidéo.

Pour un son, une vidéo et un texte tirés aléatoirement dans la base de médias ainsi pré-formatés, le moteur :

• lance la bande son et, dans le même temps, affiche l’écran d’introduction pendant deux secondes : celui-ci annonce un « Random Mashup » et un numéro de série aléatoire compris entre 0 et 999999 ;
• poursuit avec la lecture des quinze secondes de vidéo : les cinq plans de la vidéo sont sous-titrés par les cinq répliques issues du texte sélectionné,
• termine avec la page des crédits : celle-ci liste les sources de la vidéo, du texte et du son.

La police de caractères utilisée dans la séquence est sélectionnée aléatoirement dans un jeu de polices intégrées à la base de données du moteur. Par ailleurs, la couleur des caractères est-elle-même tirée aléatoirement parmi une famille de couleurs vives : afin d’améliorer le contraste des sous-titres avec la vidéo, celle-ci est filtrée par un calque dont la couleur correspond à la complémentaire de la couleur des caractères.

Le moteur diffuse en boucle des « Random Mashup » créés selon ce modèle. La version initiale de ce moteur repose sur une base de données contenant 29 bandes son, 30 vidéos et 35 textes, et est donc théoriquement capable de simuler plus de 30000 mashups différents (la lecture complète de ces mashups nécessiterait près d’une semaine entière). Ce calcul ne tient pas compte des 21 polices et de l’infinité des couleurs susceptibles d’habiller chacun de ces mashups.

Les films, compositions musicales et œuvres littéraires à l’origine des médias ainsi mixés sont extraits du site The Public Domain Review.

La base des sons a été enrichie par des compositions sonores 8-bits, téléchargeables gratuitement sur le site des 8-bits Peoples.

Liste des sources vidéo

• Voyage dans la Lune, Georges Méliès (1902)
• Cleopatra, Charles L. Gaskill (1912)
• A Muddy Romance, Mack Sennett (1913)
• Bangville Police, Henry Lehrman (1913)
• Fatty Joins the Force, Roscoe Arbuckle (1913)
• A Busy Day, Charlie Chaplin (1914)
• Alice in Wonderland, W.W. Young (1915)
• Les Vampires, Louis Feuillade (1915)
• The Bond, Charlie Chaplin (1918)
• Triple Trouble, Charlie Chaplin (1918)
• Le cabinet du docteur Caligari, Robert Wiene (1920)
• Le cuirassé Potemkine, Sergueï Eisenstein (1925)
• Le fantôme de l'opéra, Rupert Julian (1925)
• Faust, F.W. Murnau (1926)
• Metropolis, Fritz Lang (1927)
• Un chien andalou, Luis Bunuel (1927)
• Betty Boop – Minnie the Moocher, Cab Calloway (1932)
• Les voyages de Gulliver, Dave Fleischer (1939)
• Docteur Jekyll et Mister Hyde, Victor Fleming (1941)
• Cyrano de Bergerac, Michael Gordon (1950)
• Night of the Living Dead, George A. Romero (1968)

Liste des sources textuelles

• Le Misanthrope, Molière (1666)
• Fables, Jean de La Fontaine (1668-1674)
• La confession d'une jeune fille, George Sand (1865)
• De la Terre à la Lune, Jules Verne (1865)
• Autour de la Lune, Jules Verne (1869)
• La légende des siècles, Victor Hugo (1859-1883)
• Poil de Carotte, Jules Renard (1894)
• Divagations, Stéphane Mallarmé (1897)
• Les trois sœurs, Anton Tchekov (1901)

Liste des sources audio

• Hawaiian Quintette Aiaihea (1913)
• Scandinavian, Midsommer Dansen
• Fatswaller, his orchestra at the Yacht Club New York
• Banjo, Eddie Peabody
• Chorus, conducted by August Manns (1888)
• Funeral March, Chopin (1906)
• Hungarian Rag, Pietro Deiro (1913)
• The Little Red Drum Poem, by Eugene Field, Whitney Brothers Quartet
• The Entertainer, Scott Joplin (1902)
• Fantasia And Fugue In G Minor
• Prelude And Fugue In G Major
• Toccata And Fugue In D Minor
• Sign-on, Tokyo Rose Aka Orphan Ann
• Rhapsody In Blue Part 2
• White Hibiscus At Night Part 2, Peony Su
• Piano Roll Blues, Scott Joplin (1900)
• Zelenim Hajecku, Michael Tokarick
• Airship (1904)
• My Little Maid Of Oz, Aeolian Piano Roll (1905)
• Opening Prayer Transformation Theme, Aeolian Piano Roll (1903)
• Phantom Patrol, Aeolian Piano Roll (1903)
• The transformation of travel, 8 Bits People (2006)
• Mid air collision – Zaxoff, 8 Bits People (2006)
• Hatthylla, 8 Bits People (2006)
• Punk attitude, 8 Bits People (2006)
• Colors, 8 Bits People (2006)
• Stars, 8 Bits People (2006)
• Computer, 8 Bits People toy (2006)
• The end, 8 Bits People (2006)

autour du projet

Pour en savoir plus, n'hésitez pas à consulter :

• le workshop Mashup de l'ENSCI et du Ministère de la Culture et de la Communication ;
• la conférence Transmettre la culture à l'ère du numérique sur le projet Random Mashup au campus Microsoft ;
• la page de Matières écrites, ma série d'expérimentations sur les écritures numériques ;
• la page de Matières à écrire, mon ouvrage sur les écritures numériques.

citations

littérature combinatoire

• Perec Georges, 1978. Deux cent quarante-trois cartes postales en couleurs véritables à Italo Calvino. In Le Fou parle, 8 octobre 1978 – édité dans L’infra ordinaire, La librairie du XXe siècle, 1989, p. 33-68
• Queneau Raymond, 1961. Cent mille milliards de poèmes. Gallimard, 38 p.

générateurs aléatoires de textes sur Internet

• Pipotron – Générateur de phrases pour personnes en manque d’inspiration
• Charabia – Génération automatique de textes aléatoires

exemple de mashup textes / images sur Internet

• Grafik Dynamo. Kate Armstrong et Michael Tippett, 2005

"Random Mashup" est un dispositif créé par Jean-François Gleyze, Leslie Gesnouin, Fanny Giampiccolo, Baptiste Pryen et Samuel Spreyz lors du workshop « Mashup »,
ENSCI – Ministère de la Culture (23 octobre 2013).

visuels en cours de chargement...