Ik had een oude Macintosh Classic gekocht, had niet door dat je de muis er niet zomaar uit mag halen als hij aan staat, dus die ging kapot. Ik had geen zin om een muis te marktplaatsen en er bleek best veel documentatie over de Apple Desktop Bus (en voorbeeldcode), dus ik dacht, ik maak iets beters.

Ik heb een Arduino Nano geprogrammeerd om pakketjes te ontvangen van mijn MacBook en die te vertalen naar ADB en een Mac app gemaakt die de muis afvangt en doorstuurt naar de Arduino.

Als je naar de rand van het scherm gaat, verdwijnt de muis ineens, vanaf dan controleer je de Macintosh Classic!

Lees de code, gebruik het zelf ook! https://github.com/bartjakobs/MacFriends

Ik heb een spelletje gemaakt voor de Playdate console, met stuiterende balletjes en zichzelf aanpassende muziek!

De Playdate is een kleine handheld game console door Panic, met een monochroom schermpje en een crank (zwengel? slinger?) die in spellen als input kan worden gebruikt.

Sinds een paar maanden kun je in Swift programmeren voor de Playdate, en daar had ik zin in.

Muziek

In de Playdate SDK zitten mogelijkheden om synthesizers e.d. aan te maken en aan te sturen. Dit vond ik interessant om mee te gaan spelen, dus ik een kleine Swift library geschreven die die synthesizers wat toegankelijker maakt. Hierin heb ik een muziekspeler gemaakt die met kennis van akkoorden en toonladders, muziek improviseert.

De tijd vanaf het moment dat er een balletje geschoten wordt, totdat-ie voor het eerst stuitert, wordt gemeten.  Hierop wordt het tempo van de muziek gebaseerd (tenzij het wel erg veel van het normale tempo af ligt, dan wordt dit tempo verdubbeld of gehalveerd). Per level heb ik een muziekstuk gemaakt, bestaande uit akkoorden, manier van begeleiden, voorgesteld tempo, mogelijke baslijntjes die om de beurt gespeeld worden, en toonladder per maat (of deel van een maat).

Op basis van de toonladder wordt een toon gegeven aan het stuiteren van een balletje. Bij een modulatie kan die toon dus veranderen.

Een beetje geïnspireerd op dit project was ik afgelopen weken aan het knutselen aan dit programma'tje. Cat Carpenter is een online tooltje waarmee mechanische bewegingen kunnen worden ontworpen.

Het concept is dit: als je twee draaiende wielen hebt, met verschillende snelheden, grootten of  fasen, en deze met twee stokjes verbindt, kan het scharnierpunt op die twee stokjes in allerlei vette paden bewegen. Deze paden kunnen compleet anders worden door de drie parameters per wiel te variëren. Klinkt gek dus kijk hieronder maar.

Door deze te koppelen aan verschillende onderdelen van een houten figuurtje (zoals een kat!), kun je die op leuke en realistische manieren laten bewegen. En daar is dit programma'tje ook voor. De bewegende punten op de gekoppelde stokjes aan de wielen kunnen ook weer aan getekende lagen worden gekoppeld, een soort riggen. Maar dan voor mechanische bewegingen.

Dit project bestaat uit een heleboel handgemaakte javascript, een klein beetje wiskunde, niet veel ontwerp, maar een heleboel liefde. En vaak is dat wat telt, toch?

Mocht je dit interessant vinden en willen gebruiken, stuur een berichtje! Ik ben er nog niet helemaal over uit of ik dit nou open source op het internet wil neergooien, maar waarom ook niet. Het is wel echt leuk om mee te spelen en dat gun ik iedereen. Stuur dat berichtje nou maar en overtuig me.

Oke, hier nog een voorbeeldje:

Toen ik een jaar of acht was, kwam iedere dag de orgelman door onze straat. Ik was onder de indruk van het grote draaiorgel, van het mechaniek dat muziek maakte. De orgelman gaf me voor mijn verjaardag een mechanisch speeldoosje waar ik zelf muziek voor kon maken, door gaatjes in papieren kaarten te knippen, wat ik nog steeds wel eens doe.
Dat speeldoosje heb ik nog steeds, en inmiddels heb ik nog twee andere, in andere formaten.

Toen ik recent een lasercutter tot m’n beschikking had, bedacht ik dat daarmee ook best zulke kaarten gemaakt zouden kunnen worden. Ik ben gaan lezen over hoe lasercutters aangestuurd worden en heb een kaart ingescand om de afmetingen precies te weten.
Hier is een web-app uitgekomen waarin je muziek kan componeren door noten op zo’n kaart te zetten. Ook kunnen midibestanden worden geïmporteerd.

Omdat de speeldoosjes maar een beperkt aantal verschillende tonen kunnen maken, moet er in het maken van de kaarten rekening gehouden worden met welke noten wel en niet kunnen worden geplaatst. In de interface kan tussen de drie verschillende formaten worden gekozen. Als er een muziek geïmporteerd wordt, wordt automatisch gekeken of de muziek naar een andere toonsoort moet worden getransponeerd, als dat beter past op het speeldoosje.

Techniek

De lasercutter is aan te sturen als seriële poort via usb. Via dit ontvangt hij GCode, instructies waarin bewegingen die de laser moet maken. Deze heb ik eerst op basis van een midi-bestand laten genereren, zodat ik muziek in Logic Pro kon exporteren om direct te laten snijden. Hierna heb ik WebSerial gebruikt om het aansturen vanaf een webpagina (in Chrome) te kunnen doen.
Hier heb ik een simpele interface bij gemaakt waarmee de kaarten ook te bewerken zijn en waarmee noten via WebMidi live kunnen worden ingespeeld met een keyboard.

En nu?

Het programma dat ik gemaakt heb, is een simpele en gebruiksvriendelijke tool waarmee muziek gecomponeerd kan worden binnen de beperkingen van de speeldoosjes. Ik heb er nog geen verdere plannen mee. Als je dit leest en interesse hebt, App me!

Een deel van mijn afstudeerproject op de HKU was een interactieve choose-your-own-adventure-musical.
De voorstelling “Niks aan te doen” begint als een normale Disney-musical: het is een mooie dag in een normale stad, maar één iemand in de stad heeft een droom. Maar wat die droom is, en wat er gedaan kan worden om die waar te maken, kan het publiek kiezen.

Op een web-app, die het publiek tijdens de voorstelling op een smartphone open heeft, verschijnt op belangrijke punten in het verhaal een keuze met twee of drie opties. Binnen een korte tijd kan er gestemd worden, en de meerderheid bepaalt hoe het verhaal verder gaat: wil het personage Rob eigenlijk altijd al barista worden? Of juist content marketeer?

In de klassieke musicals (en andere groteske verhalen) is het altijd de held die z’n droom gaat volgen, die een want en een need heeft, die uitendelijk als een beter mens het verhaal uitkomt. Als je maar de goede keuzes maakt, kom je er wel.
Dit is natuurlijk niet hoe het werkt in de echte wereld, en daar gaat deze voorstelling over. Het publiek krijgt de kans om de perfecte keuzes te maken, maar dat geeft nu eenmaal niet de garantie op een lang en gelukkig leven. Soms kom je op een plek die eigenlijk niet echt beter is, maar gewoon goed genoeg. Dan is daar niks aan te doen, en dat kan ook een goede uitkomst zijn!
Vanuit dit idee ben ik behalve de verschillende opties en vertakkingen gaan schrijven en componeren, ook gaan programmeren.

Techniek

De web-app van ‘niks aan te doen’ heeft een NodeJS-applicatie als backend, gekoppeld met Inky, waarin ik het verhaal heb geschreven.
Een voorstelling wordt gespeeld in een normale theaterzaal, door twee acteurs en een pianist / verteller (bij voorkeur ikzelf). De acteurs en verteller hebben ieder een iPad, die ook verbonden is met de web-app. Wanneer er een keuzemoment moet komen, drukt een van de drie op een knop op de iPad en automatisch verschijnen de keuzes bij het publiek. Op deze manier is een interactieve voorstelling zo weinig mogelijk intrusief, zonder grote machines en computers die kapotgaan.

En nu?

Behalve dat de voorstelling nog eens gespeeld kan worden, heb ik de code zo geschreven dat er ook een andere voorstelling mee gemaakt zou kunnen worden.
Als je een leuk idee hebt voor een interactieve theatervoorstelling / musical / wat dan ook, en je wil hier eens naar kijken, Mail me.

Ik wilde al een hele tijd een keytar hebben, zo’n merkwaardige half-keyboard-half-gitaar hybride. Het leek me een leuke toevoeging voor mijn optredens, waar ik meestal alleen piano speel, maar echte keytars zijn duur.

Dus bevestigde ik en midi-keyboardje aan een bezem. Het keyboardje heb ik draadloos gemaakt, en met een kleine joystick zijn verschillende presets te kiezen op de computer.

Techniek

De elektronica bestaat uit een usb-midi-keyboard, een usb-midi input module en een ESP32-microcontroller, die alle input via een draadloze verbinding doorstuurt naar m’n computer.

De signalen kunnen op de computer binnenkomen via bluetooth, maar midi over Bluetooth heeft een vertraging van ±20ms, wat live spelen vervelend maakt. Om dit te verhelpen heb ik ook een ontvanger gemaakt van een ESP32-s2, die een usb-midi-device kan zijn, en een snele draadloze verbinding met andere ESP’s kan opzetten.

En nu?

Ik speel op dit instrument in m'n kleinkunstduo! Kom eens kijken! Wil je meer weten over dit ding, of over iets anders, laat maar weten.

Sinds halverwege 2021 ben ik om de zoveel tijd eventjes bezig aan een idee om een iPad app te maken waarin animaties gemaakt kunnen worden. Dit begon als een kort experimentje met SwiftUI, om daar een tijdlijn in te tekenen. Vervolgens ben ik verder gegaan, heb ik te veel functionaliteiten toegevoegd.

Ik ben van plan om (op onbekende termijn) opnieuw te beginnen, om er dan echt iets vets van te maken.

Op dit moment ben ik met een paar korte experimenten bezig, als onderzoek voor het (eventuele) vervolg aan deze app.

Tekenexperimentje

Teken met de muis hieronder in het linkervlak, de andere twee vlakken zijn poginen de getekende lijn af te ronden.

Sorry, Bert...

Hier een poging om Puppet Warp na te maken: Gebruik op eigen risico, deze code is waardeloos en laat computers huilen.