1. App "Techmade" 2022
App Techmade
App Techmade
Die Applikation „Techmade“ ist der erste Schritt zu einer AR-Datenbank. Das Konzept beinhaltet die Zugänglichkeit zu Kunst und die Verankerung digitaler Reproduktionen von Kunst in einer fühlbaren und räumlichen Realität. Hierfür werden die eigenen Kunstwerke mit deren Motiven verschränkt. Die Motive bilden somit das Target für das 3D-Modell des Kunstwerkes. Da die Motive handelsübliche Gegenstände darstellen, könne diese wie bspw. die Chipstüte „funny frisch (50g)“ einfach erworben werden. Da die Produkte im Gegensatz zum Kunstwerk Massenprodukte sind, können diese weiterhin für viele zugänglich gemacht werden. Die App „Techmade“ erkennt anschließend die Chipstüte und projiziert das Werk „flatbag (funny)“ in Originalgröße und in 3D über dieselbe. Das AR-Werk kann somit angefasst und im Raum aufgehängt oder abgelegt werden. Neben handelsüblichen Motiven werden auch solche eingepflegt, die im öffentlichen Raum vielfach vorhanden sind. Entdeckt man bspw. einen bestimmten Rucksack auf dem Rücken einer Passant:in, kann die App geöffnet und beim Verfolgen der Person das Werk „flatbag (hunters camouflage)“ betrachtet werden. Dieser Vorgang erinnert an das Readymade, das stark verkürzt darin besteht, einen alltäglichen Gegenstand über die Künstler:in oder das Museum zur Kunst zu erklären. Mit der App „Techmade“ geht es aber darum, dass die Technik entscheidet, was Kunst ist. Nur was in die Cloud als Target eingepflegt wurde, dient als potenzielle Kunst. So können gewöhnliche Produkte fest mit spezifischen Kunstwerken verbunden und diese über jene abgerufen werden.
2. Workshop "Augmented Reality in der Kunst"
Der Workshop kann über das Kontaktfomular gebucht und angefragt werden. Diesen gibt es in zweierlei Varianten, einer zweistündigen Einführungsvariante und einer eintägigen Einführung mit Tryouts und Experimenten. Der Workshop kann auf Anfrage auch an die persönlichen Bedürfnisse angepasst werden. 
Workshop "Augmented Reality in der Kunst" im Kunstwerk Köln e.V., 2022
3. Einführung Augmented Reality 
Die hier bereitgestellten Informationen sind nicht selbsterklärend, sondern im Anschluss an den Workshop zu denken.
Mittlerweile hat sich ein Sprechen über Virtual Reality (VR) und Augmented Reality (AR) verselbstständigt, das von hermetischen Welten einerseits und Durchlässigkeiten andererseits erzählt. Dies spiegelt sich in der Debatte der 1990er-Jahre als es noch um diejenigen Substitutionsträume ging, in denen die virtuelle Realität die wirkliche zu ersetzen suchte. Heute sind Virtualität und Realität tief ineinanderverwoben. Für die künstlerische Produktion ergibt sich hierfür eine weitere Verschiebung, die parallel zu derjenigen zwischen VR und AR verläuft, zwischen Hermetik und Durchlässigkeit. Daher möchte ich im folgenden dafür plädieren, dass AR nicht bedeutet, „digitale Kunst“ zu machen, die sich irgendwie ganz anders als traditionell-materielle und gewohnt-analoge Praktiken gestaltet. So ermöglicht AR den Künstler:innen vielmehr, die Wechselwirkung zwischen analogen und digitalen Medien zu reflektieren, ohne auf vertraute und für die Kunst wesentliche Aspekte zu verzichten wie die Materialität, Proportion und Gegenständlichkeit. Es ist das Ziel des Workshops und auch dieses Essays zu zeigen, dass AR für die bestehende Atelier- und Ausstellungspraxis eine Erweiterung darstellen kann.
Im ersten Abschnitt wir kurz eine Spezifikation des Verfahrens Augmented Reality gebracht, um dann im zweiten Abschnitt die ästhetischen Potenziale von AR für Künstler:innen zu skizzieren. Im letzten Abschnitt geht es um die Produktionsästhetik, also wie AR tatsächlich genutzt werden kann und welche Elemente aus der Sicht des Autors für eine an der Materialität geschulte künstlerische Praxis hilfreich sind.

Was ist Augmented Reality?
Über das „neue“ Medium der Augmented Reality sprechen, heißt ein Interface zu thematisieren, das buchstäblich zwischen Betrachtende und Welt gesetzt wird. Im Gegensatz zur Virtual Reality (VR) ist die Zwischenebene der Augmented Reality (AR) eine beidseitig durchlässige Membran zu nennen. Die Aufgabe lautet folglich, beide Seiten der Membran in Beziehung zu setzen. Eine Begriffstrias aus Immersion, Interaktion und Illusion, die derzeit Verwendung findet, um VR und AR in einem Satz zu vereinen, müsste für eine genauere Beschreibung der Letzteren einer Verschiebung unterzogen werden. Denn in erster Linie handelt es sich bei AR um immersive Bilder , welche in die direkte Umgebung eintauchen, um mit dieser zu interagieren, indem die Bilder realistisch oder gar illusionistisch platziert erscheinen. Diese Verschiebung lässt sich übertragen auf ein Umdenken, dass gerade stattfindet und die Substitutionsträume der 90er-Jahre technisch und theoretisch hinter sich lässt.
Betrachtet man Augmented Reality (AR) vonseiten der künstlerischen Produktion, ist es vor allen Dingen der Begriff der Immersion, der irreführend ist. Über Immersion nachzudenken, bedeutet, eine Schwelle zu thematisieren, die überschritten wird. Für gewöhnlich meint Immersion den Schritt der Betrachtenden ins Bild, einen Schritt vom Realraum in den Bildraum. Eine entscheidende Umkehrung wäre die ebenso traditionelle Forderung nach Emersion, wie der alte Pachero sie aufstellte: „Das Bild muß aus dem Rahmen heraustreten.“ Eben jener Rahmen scheint die Grenze zwischen Realraum und Bildraum in Material zu gießen und ob schlank oder überschwänglich eine Verbindung beider abzuwehren. Auf der einen Seite gibt es also den traditionellen Wunsch den Rahmen zu negieren und auf der anderen Seite die Beharrlichkeit dem Rahmen Geltung zu verleihen. Im Zuge der Reaktivierung von Virtual Reality (VR) und AR zeigt der Begriff der Immersion erneut Konjunktur. Dabei ist häufig von immersiven Bildern die Rede. Gemeint sind Bilder, die eine Immersion der Betrachtenden ermöglichen oder gar erzwingen und das heißt für die Künstler:innen ganze Räume zu erzeugen. Dies führt wiederum zu der Idee, die neuen Technologien würden abgeschlossene Welten fordern und damit eine Praxis jenseits des klassischen Ateliers. AR steht aber vielmehr für eine Immersion der Bilder in den Realraum hinein. Traditionell tragen solche Bilder den Namen Trompe-l’œil. Ist die Immersion erfolgreich, dann sind Trompe-l’œils nicht als Gemälde erkennbar, sondern erscheinen als Teil der meist alltäglichen Umgebung. Dieser Umstand der immersiven Bilder ist folglich dazu geeignet eine sinnvolle Trennlinie zwischen der Immersion und den immersiven Bildern zu ziehen. Letztere erzeugen keinen umfassenden Illusionsraum, indem sich die Betrachtenden nach dem Aufsetzen der Brille wiederfinden, sondern fixiert digitale Bilder, Texte und Informationen im Realraum. Wenn wir über immersive Bilder sprechen, dann betrifft dies Bilder, die in die grenzenlosen Gewässer unserer Realität eintauchen. Für dieses Unterfangen ist jedoch die Wahrnehmung der direkten Umgebung durch den technischen Apparat grundlegend. Denn um Bilder und Informationen zu registrieren, müssen Sinnesdaten (Lichteinfall, Modellierung, Verkürzungen) verrechnet werden, Sinnesdaten, deren Übersetzung traditionell Aufgabe der Kunst ist.
Es geht hier nicht darum, eine klare Trennlinie zwischen Verfahren wie VR und AR zu ziehen. Es geht vielmehr darum, mit dem Missverständnis aufzuräumen, dass Kunst, die sich mit dieser Verfahren auseinandersetzt, automatisch „digitale Kunst“ ist. Sowie VR mit hermetischen Räumen und AR mit einer kaschierten Grenze zwischen Bild und Umgebung assoziiert wird, so lässt sich auch das künstlerische Interesse unterscheiden. Das eine fokussiert auf jenen „digitalen“ Bereich und das andere auf einen Anschluss an bekannte Praktiken. AR ist ein Teil eines viel größeren Phänomens wie der Digitalität oder des Metaverse und damit ein Verfahren, in dem Virtualität und Alltagsrealität tief ineinander verwoben sind.
Das bedeutet, es geht nicht nur darum, AR-Kunst zu machen, sondern auch darum, bestehende Kunstpraktiken über AR zu erweitern. Dies betrifft die Dokumentation von Ausstellungen als immersives 3D-Modelle oder von einzelnen Werken als hochauflösende 3D-Scans. Es betrifft ebenfalls die Ausstellung selbst, welche über AR erweitert werden kann oder zu AR führen kann. Bestehende materielle Objekte können mit digitalen verschränkt werden wie auch die eigene Website mit Targets bestückt, einen Eingang zur AR bietet. Dies alles sind Möglichkeiten, welche nicht nur für Künstler:innen interessant erscheinen, welche sowieso bereits im „digitalen Raum“ arbeiten. AR beginnt im wirklichen Raum und führt von dort aus über Targets in die Erweiterung. Auftakt für AR kann ein QR-Code sein, ein spezifischer Ort, ein selbsterstellter Sticker, ein handelsübliches Objekt, eigene Bilder und die der anderen oder sogar ganze öffentliche, halböffentliche und privaten Räume.


Ästhetik der Augmented Reality
Hier kann und soll nicht die ganze Ästhetik von AR aufgelistet werden. Stattdessen sind hier verschiedene Stichworte versammelt, die technische Bedingungen von AR hervorheben. Bedingungen, welche die Trennung von Produktion und Rezeption unterlaufen und gerade deshalb für eine Ästhetik attraktiv erscheinen.

Rezeption und Projektion
Mit AR müssen Projektions- und Rezeptionsapparaturen zueinander in Beziehung gesetzt werden. Denn die Brillen und Tablets sind mit Kameras und Sensoren ausgestattet, diese nehmen erst die Umgebung wahr, um dann Figuren in dieser projektiv zu registrieren. Für eine Reflexion dieses Verfahrens müssten also einmal die Differenz zwischen der Wahrnehmung seitens der Apparatur und der natürlichen Wahrnehmung miteinbezogen werden wie auch einmal die Differenz zwischen der Rezeption der Apparatur und der daraus resultierenden Projektion.

Ortsspezifik
Die Wahrnehmung durch die Apparatur besitzt eine begrenzte Reichweite, eröffnet also immer nur ein bestimmtes Feld, in dem eine Augmentation möglich ist. Daher ist das Verfahren der AR im Besonderen zur Untersuchung einer Ortsspezifik geeignet. Ob über eine Koordinate oder über vermessenen Raum, mit AR ist es möglich, Bilder und Figuren, die eigentlich überall erscheinen könnten, auf einen bestimmten Ort zu beschränken. Auch wenn die Kameras und Sensoren nur eine bestimmte Reichweite leisten und die Bilder, Objekte oder Texte auf einen bestimmten Ort beschränkt werden können, ist der Träger der Apparatur beweglich. Dieser sitzt auf den Köpfen der Betrachtenden und ist, wo diese sind. Weiterhin vermessen die Kameras und Sensoren den Raum in Echtzeit. Die Ortsspezifik der AR unterliegt also dem Paradox, gleichzeitig hochmobil zu sein.

Proportionen
Eine der am schnellsten einleuchtenden Vorteile der AR-Projektionen ist deren Selbstbeschränkung. Nicht nur auf einen spezifischen Ort, sondern ebenfalls auf eine bestimmte Größe. Weiterhin kann eine solche Projektion mit einem Objekt verschränkt werden. Diese Möglichkeiten bieten das direkte Potenzial herkömmlichen Bildern für die Rezeption relevante Aspekte hinzuzufügen. Das Größenverhältnis ist in bestehenden Websites bspw. nicht gegeben, ist aber ein wesentliches Merkmal von Kunst, wie auch überhaupt die Möglichkeit, diese Reproduktionen zusammen mit einer Umgebung wahrzunehmen.

Layering
Das Denken in AR ist ein räumliches Denken, jedoch ist dieses nicht auf den gewohnten phänomenalen Raum zu reduzieren. Es ist vielmehr ein Raum der Schichten, der sowohl in der Produktion relevant ist als auch in der Rezeption. Schließlich hat man ein Tablet oder eine „Scheibe“ vor Augen.
Eine der einfachsten Möglichkeiten, AR in die bestehende Praxis zu integrieren, ist die App „Artivive“. Diese bietet jedoch zugleich ein sehr eingeschränktes Repertoire. Im unten stehenden Link ist ein Tutorial dazu zu finden. Im Basicmode gibt es die Möglichkeit, ein Bild (das kann ein Gemälde sein oder eine abfotografierte Situation) mit einem Video zu verknüpfen. Das heißt, wenn man den Smartphone-Bildschirm mit der Applikation „Artivie“ auf das Gemälde auf der Website oder im Raum richtet, dann wird dieses auf dem Bildschirm mit dem eingespeisten Video zu überlagern. Dies kann auch ein Bild sein, das in ein Video konvertiert wurde. Ästhetisch interessant ist hier die Transparenzfunktion, da eine Farbe aus dem Video herausgerechnet werden kann und somit „rahmenlose“ Videos implementiert werden können.
Interessanter scheint jedoch der 3D/Pro Modus, da hier bereits der Schichtenraum zu sehen ist. Hier können direkt Bilder und Videos eingepflegt werden, um diese mit dem bereits bestehenden Kunstwerk zu verknüpfen. Außerdem können die einzelnen Schichten und deren Abstände dazwischen festgelegt werden. So auch die Größe der Überlagerung, denn diese lässt sich größenrelational festlegen. Das heißt, die Überlagerung ist immer doppelt so groß wie das Gemälde, ist also bspw. abhängig von der Größe des Bildes auf der Website.
Scanning
Das Scanning ist ein weiteres Feature, das sowohl die Produktion als auch die Rezeption durchläuft.
Erstens können 3D-Scans als Objekte in AR erscheinen.
Zweitens werden 3D-Scans als Targets verwendet. Diese sind dann zwar unsichtbar, aber überlagern ein Objekt, ein Bild oder Raum und dienen der Apparatur als Initiation der Augmentation.
Drittens basiert die ganze raumerkennende Technik der AR auf dem 3D-Scan, denn die Umgebung muss permanent in ein 3D-Modell übersetzt und aktualisiert werden. Ästhetisch ist bereits entscheidend, wie präzise dieses Raummodell ausfällt. Schließlich sind zwischen einer bloßen "groundplane", welche nur die Bodenebene oder eine Wand erfasst, also von der Fläche ausgeht und dem detaillierten Relief der Umgebung unterschiedliche Gründe installiert.
Diese Scans gibt es in unterschiedlicher Qualität und können entweder professionell in Auftrag gegeben oder über eine einfach Applikation erstellt werden. Letztere sind durch eine derzeit beliebte apokalyptische Ästhetik geprägt, da die Scans immer wieder Lücken, Brüche und Löcher aufweisen. Sie erzeugen ein räumliches Bild, in dem es keine Zeit gibt und die so ausaussehen, als hätte es diese darin auch nie gegeben.
Um einen 3D-Scan von Objekten zu erserstellen, ist kein LiDAR-Scanner notwendig, sondern die Technik der Fotogrammmetrie. Dafür können Apps wie „Polycam“, die „3D Scanner Applikation“ oder „Qlone“ verwendet werden. Dazu gibt es eine Vielzahl an Tutorials. Weiterhin können die 3D-Scans in den Programmen gleich als .obj Datei (oder .fbx) exportiert und weiterverarbeitet werden. Bei den 3D-Scans über Fotogrammetrie ist im Besonderen die Texture-Map von Interesse. Dies ist das flache Bild des 3D-Scans und kann auch wie ein solches bearbeitet werden. Auch hier schließt das Verfahren an bekannte Strategien an, selbst wenn das flache Bild danach wieder in ein 3D-Objekt übersetzt wird.
Tracking
Neben der Optik der 3D-Scan, mit denen die Umgebung über AR erweitert werden kann, spielen die Scans auch im Tracking eine Rolle. Um die Augmentation zu aktivieren, muss ein Target eingespeist werden. Treffen die Kameras und Sensoren auf das Target, wird die AR aktiviert. Ästhetisch entscheidend ist das Format des Targets. Derzeit kursieren drei verschiedene Targets: Image Targets, Object Targets und Area Targets. Die einfachste Möglichkeit sich derzeit auf alle drei Targetformate zu berufen, ist die App „Unity“ in Verbindung mit der Modifikation „Vuforia“ (die neueste Version von Unity beinhaltet bereits Vuforia, für ältere muss diese separat installiert werden). Über Abonnements bietet dieser Verbund auch die Möglichkeit, die eigene App im App Store oder in Android Stores zu veröffentlichen.
Jedes der Targets bietet unterschiedliche Eigenschaften. Das Image Target ist die einfachste Möglichkeit und bietet sich auch für einfache Erweiterungen an. Folglich können eigene Sticker als Targets dienen oder eigene Gemälde. Wird aber bspw. ein 3D-Objekt augmentiert, ergibt es Sinn, dieses ebenfalls mit einem Objekt Target zu verbinden. Anschließend können beide um mindestens 180° gedreht und direkt ineinander verschränkt werden, Letzteres erhöht die haptische Qualität deutlich. Letztlich bieten die Area Targets die verschiedensten Möglichkeiten. Ein Area Target ist ein 3D-Scan von einem ganzen Raum (um einen ganzen Raum zu scannen ist ein LiDAR-Scanner hilfreich). Bspw. kann also ein ganzer Ausstellungsraum eingescannt werden, um als Target zu dienen. Die Kameras und Sensoren wissen dann immer genau, an welcher Stelle im Raum sie sich befinden und so können ebenfalls ganze AR-Ausstellungen kuratiert werden.

Create an Augmented Reality Application in 5 mins| Vuforia, Unity Tutorial
In diesem Tutorial wird ein einfacher Weg dargestellt, wie über die Kombination „Unity“ & „Vuforia“ eine AR-App via Image Target erstellt wird.

In diesen Tutorials ist zu sehen, wie weitere Targetformate genutzt werden können:
https://library.vuforia.com/objects/image-targets
https://library.vuforia.com/objects/model-targets
https://library-archive.vuforia.com/features/objects/object-reco.html
https://library.vuforia.com/environments/area-targets

Wer Alternativen zu bekannten Programmen wie Unity sucht verweise ich auf meinen Kollegen Jens Fehrenbacher und sein Projekt "AR in Public"
Das Projekt "Augmented Artwork" wurde gefördert durch die Beauftragte der Bundesregierung für Kultur und Medien im Programm NEUSTART KULTUR Modul D – Digitale Vermittlungsformate“. Siehe dazu ebenfalls die Website des deutschen Künstlerbundes.
↑Back to Top