Making music using new sounds generated with machine learning
Ji-Sung Kim bracht de vroege ochtenduren van het eerste weekend van april door met cafeïne en codering op zijn computer terwijl hij deepjazz ontwikkelde, een deep learning muziekgenerator. De 20-jarige Princeton computerwetenschapper had nog maar 36 uur om deepjazz te voltooien tijdens zijn eerste hackathon, HackPrinceton, die op 1-3 april op de universiteit werd gehouden. Nadat hij een marathon van coderen had voltooid, maakte hij een website voor deepjazz en plaatste hij de broncode op GitHub.
Maar tot verbazing van Kim schoot het programma eraf. Deepjazz is gestaag populair op Python en GitHub - zo hoog reikend als het top zevende programma op GitHub in het algemeen. Het stond zelfs op de voorpagina van HackerNews en is nog steeds een levendige discussie aan het genereren.
"Ik had nooit verwacht dat mijn eerste nevenproject dit explosief zou zijn in termen van populariteit," vertelt Kim Inverse. "Het was behoorlijk gek en leuk."
deepjazz - Deep learning gedreven jazz-generatie met behulp van Keras en Theano! http://t.co/G5wscglzO7 #python
- Python Trending (@pythontrending) 11 april 2016
Tussen eten, slapen en het voltooien van andere cursussen, redeneerde Kim dat het hem ongeveer 12 uur kostte om de broncode voor deepjazz te ontwikkelen. Hij kwam echter al lang voor het idee voor een kunstmatige-intelligentie-muziekgenerator lang vóór HackPrinceton. Tijdens een zomerstage aan de universiteit van Chicago kwam hij de Deep Dream van Google tegen, een fotogenerator die de patronen in een afbeelding interpreteert en transformeert in andere objecten die hij kent. Het resultaat zijn ronkende beelden die eruit zien als een wilde droom.
"Het idee om diepgaand leren te gebruiken om kunst te interpreteren, was heel interessant voor mij", zegt Kim. "Dit soort Deep Dream-framework dat Google presenteerde en publiceerde was echt fascinerend omdat je nieuwe kunstwerken van bestaande kunstwerken maakt."
Deepjazz gebruikt machine-learning om jazzmuziek te genereren - "een A.I. gebouwd om jazz te maken ", zoals het SoundCloud-profiel aangeeft. Kim, die geen lessen muziektheorie heeft gevolgd maar al zeven jaar klarinet speelt, koos jazzmuziek vanwege de onconventionele melodieën. A.I. de muziek van het systeem, "kan een aantal ongewone resultaten hebben, dus ik denk dat jazz vooral geschikt was voor het idee om muziek on the fly te genereren," zegt hij.
Hij gebruikte een bestaande muziekgenerator die was geoptimaliseerd voor jazzmuziek die zijn vriend Evan Chow had ontwikkeld, JazzML. Hij gebruikte de code om relevante gegevens te krijgen, maar transformeerde deze in een binaire matrix die compatibel is met de twee deep-learning bibliotheken Keras en Theano.
Het deepjazz-framework zelf is het een tweelaags LSTM, wat een soort kunstmatige neurale netwerkarchitectuur is, beschrijft Kim. Nadat het een initiële baseline seed-reeks van muzieknoten heeft geleerd (Kim gebruikte delen van Pat Metheny's "And Then I Knew"), wijst het waarschijnlijkheden toe aan noten en genereert het de volgende noot op basis van die kansen. Als je bijvoorbeeld het programma de schaal A, B, C geeft, is de kans groot dat de volgende diepte-spelling van de noot D wordt, legt Kim uit.
Historisch gezien hebben critici gezegd dat artificiële intelligentie muziekgeneratoren worden geplaagd door het produceren van liedjes die te robotachtig en steriel klinken - zonder de kleur die wordt gehoord in muziek die door mensen is gecomponeerd. Jeffrey Bilmes, een voormalig MIT student die een proefschrift schreef over computers die muzikale ritmes reproduceren in 1993, vertelde omgekeerde in november:
"Wanneer je muziek leert spelen en jazz leert spelen, is het handig om intuïtief te begrijpen wat het is om muziek te maken die het menselijk maakt," zei Bilmes. "Mensen zijn intuïtieve wezens, en mensen zijn vaak niet in staat om te beschrijven hoe ze in staat zijn om menselijke dingen te doen. Ik voelde op dat moment dat ik misschien een heilige eed schond in het definiëren van deze dingen voor computerprogramma's."
Toen Kim onderzoek deed naar deepjazz kwam hij vele systemen tegen die muziek produceerden die robotachtig klonk.
"Muziek en kunst zijn dingen die we als zeer menselijk beschouwen," zegt Kim. "Om het menselijker en levensechter te laten klinken, is het echt moeilijk te categoriseren." Kim suggereert dat generatoren nummers kunnen maken die meer menselijk klinken door ze te programmeren om minder op het originele nummer te lijken.
Andere ontwikkelaars hebben contact met Kim opgenomen en zijn geïnteresseerd in het uitbreiden van deepjazz zodat meer mensen ermee kunnen communiceren. Kim ziet deepjazz op een dag evolueren naar een improvisatiepartner die op kunstmatige wijze een achtergrond kan genereren voor een muzikant om van te riffen. Nog verder in de toekomst kan hij applicaties zien die nieuwe, soortgelijk klinkende muziek creëren op je favoriete nummers of die nieuwe akkoorden en progressies voor muzikanten suggereren.
Kim geeft toe dat hij nog lang geen expert is in deep learning, maar zijn ervaring met het ontwikkelen van deepjazz en training op stages en Princeton heeft hem een waardevol inzicht in het vak gegeven.
“A.I. is niet langer een sci-fi-droom meer. Het is iets dat heel echt is en het is iets dat in een zeer snel tempo nadert, "zegt Kim. "Hopelijk is het bemoedigend om te zien dat deze student, die zelf nog geen upperclassman is, iets binnen een hackathon kan maken voor andere studenten die moeite hebben om in de informatica te komen."
Wat 'Hardcore Henry' uniek maakt, maakt het ook slecht
Sommige vermeend baanbrekende ideeën voor films kunnen beter als wishful thinking worden behouden dan echte speelfilms. Neem Hardcore Henry, de nieuwe waanzinnig bonkerse actiefilm van de Russische regisseur Ilya Naishuller, volledig opgenomen in een first person POV. Natuurlijk klinkt het als een cool idee - laten we de hoeken van vide nemen ...
Drake maakt Apple Music essentieel
De tweede aflevering van "OVO Sound Radio", het programma van Drake op Beats 1, exclusief verkrijgbaar op Apple Music, werd afgelopen zaterdag uitgezonden. Tijdens de show, Drake in première drie nieuwe nummers na elkaar: "Charged Up"; een remix van D.R.A.M.'s "Cha Cha,"; en "Rechterhand." "Charged Up" is de diss-track van Drake voor Meek Mill, ...
Wat de Quantum Break-special bijzonder maakt, maakt het ook saai
Er was een moment in mijn tijd met Quantum Break dat de deal voor me verzegelde. Ik had amper een halfuur te besteden tijdens een druk weekend en ik wilde het spel spelen. Ik wilde gedigitaliseerde vijanden fotograferen met zoete tijd manipulerende superkrachten en dan uitloggen bij het volgende checkpoint. Maar ik kon het niet. Ik moest tv kijken ...