Projekt »AuCity 3«
»AuCity 3 - Kollaborative und adaptive Mixed Reality in der Hochschullehre am Beispiel des Bauingenieurwesens«
Ein BMBF-gefördertes Verbundprojekt der Hochschule Magdeburg-Stendal, der Bauhaus-Universität Weimar und der Universität Ulm
Laufzeit: 1. März 2022 bis 31. August 2024 | Fördersumme: 1.551.000 Euro
Das Verbundprojekt setzt die erste Phase »AuCity 2« fort.
Über das Projekt
Realitätserweiternde, computergestützte Applikationen könnten das Lernen und Verstehen komplexer Sachverhalte positiv beeinflussen; davon sind die Verbundpartner von »AuCity 3« überzeugt - und das wurde auch schon in der ersten Projektphase »AuCity 2«. Die detaillierte Gestaltung dieser Technologien beim Einsatz in der Hochschullehre untersucht das interdisziplinäre Forscherteam insebesondere am Beispiel der Gestaltungsmerkmale Adaptivität und Kollaboration. Bis August 2024 erhält das BMBF-Projekt rund eineinhalb Millionen Euro Fördermittel.
Unter Mixed Reality (MR) werden Umgebungen oder Systeme zusammengefasst, welche die natürliche Wahrnehmung des Menschen mit einer künstlichen, digitalen Wahrnehmung erweitern. Dabei werden reale Objekte und Räume wie beispielsweise Straßen, Brücken oder Gebäude mit zusätzlichen, computergenerierten Informationen wie Formeln oder Erläuterungen ergänzt. Auf diese Weise werden verborgene Einflussgrößen wie Bodenstruktur, CO2-Ausstoß oder Thermodynamik für den Betrachter sicht- und erlebbar.
Hintergrund
Studien zu Augmented Reality (AR) und Virtual Reality (VR) – zusammengefasst durch den Begriff Mixed Reality (MR) belegen, dass diese Anwendungen in Bezug auf die Darstellung räumlicher Informationen tatsächlich Vorteile bieten, die durch bisherige digitale Medien nicht adressiert werden konnten. Die Möglichkeit, räumliche Informationen realitätsnah in drei Dimensionen abzubilden und Interaktionen zwischen Lernenden und Objekten im Raum zu ermöglichen, werden als lernförderlich als besonders motivierend angesehen. Besondere Vorteile für kognitive Prozesse in ingenieur-wissenschaftlichen Kontexten werden darin gesehen, dass AR-Anwendungen die Möglichkeit bieten, reale Objekte und räumliche Informationen mit zusätzlichen Informationen, wie Erläuterungen oder Formeln zu ergänzen. Die gleichzeitige räumlich und zeitlich nahe Präsentation zusammengehörender Informationen (Kontiguitätsprinzip) kann dabei besonders Lernende mit geringem Vorwissen, geringem räumlichen Vorstellungsvermögen oder ungünstigen motivationalen Voraussetzungen unterstützen, indem das mentale Zusammenbringen der verschiedenen Repräsentationsformen erleichtert und ein unmittelbarer Bezug zur Realität dargestellt wird. Dies kann zudem die wahrgenommene kognitive Belastung reduzieren. Dennoch sind die Befunde zu Lerneffekten von AR- und VR-Anwendungen uneinheitlich. Ob die Nutzung virtueller Umgebungen tatsächlich lernförderlich, entlastend und gleichzeitig Motivation und Lernfreude fördern kann, könnte ganz maßgeblich von den Eingangsvoraussetzungen des Lernenden abhängen.
Die zweite Phase AuCity 3 adressiert weiterführend die zentralen hochschul- und bildungspolitischen Ziele der Berücksichtigung der Heterogenität Studierender sowie der Förderung kollaborativer, interdisziplinärer Zusammenarbeit und überfachlicher digitaler und sozialer Kompetenzen. Die identifizierten Gelingensbedingungen werden in einem Transfermodul zusammengefasst, welches die Erkenntnisse in andere hoch- und schulische Bildungseinrichtungen gewährleistet. Diese zentralen Ziele werden in zwei Forschungs- und Entwicklungsschwerpunkten – Adaptivität und Kollaboration – fokussiert.
Ziele und Forschungsfragen
Adaptivität. In der ersten Förderphase wurde untersucht, welchen Aufschluss prozessbasierte Interaktionsdaten über kognitive und motivationale Prozesse liefern können und welchen Einfluss kognitive und motivationale Lernendeneigenschaften auf das Lernen haben. Diese Erkenntnisse werden nun angewendet, um adaptive MR-Anwendungen zu entwickeln und hinsichtlich ihrer Effektivität in Bezug auf Lernen und Motivation experimentell zu untersuchen. Adaptive Technologien zeichnen sich dadurch aus, Lerninhalte und Unterrichtsaktivitäten auf Grundlage einer fortlaufenden Analyse der Lernenden dynamisch bereitzustellen und anzupassen (Liu et al. 2020). Sie dienen damit der individuellen Förderung und der Berücksichtigung heterogener Lernvoraussetzungen. Die Berücksichtigung individueller Lernvoraussetzungen und Lernwege hat positive Effekte auf motivationale und kognitive Bedingungen des Lernens (Seufert, 2020). Hinsichtlich der Adaptivität digital gestützter Lehr-Lernszenarien in MR sind zahlreiche technische und didaktische Varianten für die Umsetzung von Adaptivität denkbar, welche sich in der Komplexität der technischen Realisierung und technischer Voraussetzungen unterscheiden. Erste Studien hierzu zeigen, dass Adaptivität in MR-Umgebungen sich positiv auf das Lernen auswirkt (Alam et al., 2017), jedoch fehlen systematische Studien zur Wirksamkeit adaptiver MR für unterschiedliche Lernziele, motivationale Faktoren und letztendlich auch zur Wirksamkeit und Akzeptanz unterschiedlicher Adaptionsmethoden in hochschulischen Lernumgebungen (Liu et al. 2020). Aus Förderphase 1 ist bekannt, dass auch niedrigschwellige MR-Szenarien von Lehrenden und Studierenden positiv eingeschätzt werden (s. Teil A). Diese Ergebnisse sollen nun systematisch erweitert werden. Die didaktischen Einsatzszenarien und technischen Umsetzungsmöglichkeiten werden empirisch untersucht, um die folgenden Fragen zu beantworten.
1a) Didaktische Basis: Wie sehen didaktische Einsatzszenarien aus, in denen Lernmaterialien adaptiv auf der Basis der (a) kognitiven, motivationalen Lernvoraussetzungen und (b) prozessbasierten Interaktionsdaten eingesetzt werden? Sind die Varianten der Adaptierbarkeit effektiv im Hinblick auf Motivation und Lernerfolg?
1b) Technische Basis der Adaptierbarkeit: Wie können die in der ersten Phase identifizierten Lernvoraussetzungen und prozessbasierten Interaktionsdaten genutzt werden, um MR-Anwendungen auf technischer Ebene adaptiv zu gestalten und hohe Usability und Akzeptanz zu gewährleisten?
1c) Welche Rahmenbedingungen sind für ein Gelingen adaptiver Lehr-Lernszenarien in MR-Lernanwendungen für ingenieurwissenschaftliche Fragestellungen notwendig hinsichtlich der technischen Infrastruktur und Ausstattung sowie der digitalen Kompetenzen auf Seiten der Lehrenden und Lernenden?
1d) Wie können die Erkenntnisse zur Adaptivität in einem Transfermodul Anwendenden als Entscheidungsgrundlage zum Instruktionsdesign von MR dienen?
Kollaborative MR-Anwendungen - Mehrbenutzerinteraktionen. In der zweiten Förderphase soll der Fokus vermehrt auf didaktische Einsatzszenarien im Feld gelegt werden, um Gestaltungsmöglichkeiten in realitätsnahen Lernumgebungen zu prüfen. Dabei ist eine der zentral notwendigen Erweiterungen aus didaktischer Sicht das kollaborative Arbeiten mit MR-Anwendungen. Kollaborative didaktische Szenarien werden – unabhängig von der Nutzung digitaler Kollaborationstools – als besonders lernförderlich angesehen, weil sie Lernenden ermöglichen, in sozialen Arrangements gemeinsam und motiviert zu lernen, sich weiterzuentwickeln und durch Austauschprozesse in die Zone der proximalen Entwicklung zu gelangen, an genau den Bereich des eigenen Wissens, an dem man sich weiterentwickelt. Gelingende kollaborative Lernszenarien erfordern jedoch eine positive Interdependenz der Lernenden, individuelle Verantwortlichkeit, förderliche Interaktionen, kooperative Lerntechniken und reflexive Prozesse (Hasselhorn & Gold, 2017). Es stellt daher nicht nur technisch eine große Herausforderung dar, Kollaboration in MR zu ermöglichen (Gugenheimer et al., 2017; Jansen et al., 2020), sondern auch didaktisch und in der Abstimmung didaktisch-technologischer Prozesse aufeinander (Weinberger et al. 2020). Kollaborative MR-Szenarien können auf vielfältigste Weise umgesetzt werden. Mögliche Varianten sind synchrone oder asynchrone, lokale oder ortsunabhängige (Villanueva, A., 2020) sowie symmetrische oder asymmetrische Kooperation über unterschiedliche Endgeräte (Gugenheimer et al., 2017; Jansen et al., 2020; vgl. Wald VR). Gerade die asymmetrischen Anwendungsfälle bieten hier Möglichkeiten multimodaler Interaktion aus der Nutzung von Einzelnen (Drey et al., 2020) in die kollaborative Nutzung zu überführen. Diese Designmöglichkeiten sollen bezüglich ihrer Auswirkungen auf Lernumgebungen untersucht werden, um Handreichungen für Forschung, Lehre und Entwicklung zu veröffentlichen.
Verschiedene Studien belegen, dass kollaborative MR-Szenarien das Lernen unterstützen (Wolf et al., 2020), jedoch fehlen noch systematische Studien zur Wirksamkeit verschiedener Varianten kooperativer MR-Lernszenarien in der (hochschulischen) Bildung. Es stellen sich demnach Fragen, ob und wie kollaborative Szenarien in MR technisch effizient realisierbar sind und wie diese didaktisch sinnvoll und lernwirksam zu gestalten sind. Folgende Forschungsfragen leiten daher diesen Schwerpunkt im Projekt:
2a) Didaktische Basis: Sind die Varianten der Kollaboration effektiv im Hinblick auf Motivation und Lernerfolg? Welche didaktischen Bedingungen (z. B. Rollenverteilungen, instruktionale Bedingungen, Aufgabenarten) gewährleisten einen effektiven Einsatz der Kollaborationstools hinsichtlich Motivation und Lernerfolg?
2b) Technische Basis: Wie können identifizierte didaktische kollaborative Einsatzszenarien technisch umgesetzt werden? Welche kollaborativen Interaktionsmetaphern sind besonders geeignet, um Kollaboration in AR und VR mit hoher Usability und Akzeptanz zu gewährleisten? Welche technischen Guidelines für kollaborative Lernszenarien können daraus abgeleitet werden?
2c) Von welchen technischen und organisatorischen Rahmenbedingungen (Infrastruktur und Ausstattung, digitalen Kompetenzen auf Seiten der Lehrenden und Lernenden) hängt der effektive Einsatz von MR-basierten Kollaborationstools ab?
2d) Wie können die Erkenntnisse zur Kollaboration in einem Transfermodul Anwendenden als Entscheidungsgrundlage zum Instruktionsdesign von MR dienen?
Abschlußbericht
[Download]
Dissertationen
[3] T. Drey, "Towards Mixed Reality in Education: Overcoming Challenges of Teaching, Learning, and Authoring", Dissertation, Universität Ulm, Dez. 2023. [Link]
[2] P. Albus, "Virtual Reality in Education: Impact of Instructional Design on Learning Outcomes and Cognitive Load", Dissertation, Universität Ulm, April 2023 [Link]
[1] A. Vogt, "Fostering Deep Learning in Immersive Virtual Reality:Interplay of Learner’s Characteristics with Internal and External Support", Dissertation, Universität Ulm, Mai 2022 [Link]
Publikationen
2024
[76] Wittig, N., Drey, T., Wettig, T., Auda, J., Koelle, M., Goedicke, D., & Schneegass, S. (2024). LeARn at Home: Comparing Augmented Reality and Video Conferencing Remote Tutoring. In Proceedings of the International Conference on Mobile and Ubiquitous Multimedia (pp. 255-263).
[75] Drey, T., Rixen, N., Karlbauer, J., & Rukzio, E. (2024). VRCreatIn: Taking In-Situ Pen and Tablet Interaction Beyond Ideation to 3D Modeling Lighting and Texturing. In Proceedings of the International Conference on Mobile and Ubiquitous Multimedia (pp. 24-35).
[74] Wolf, M., Riyad, P., Söbke, H., Mellenthin Filardo, M., Oehler, D. A., Melzner, J., & Kraft, E. (2024). Metaverse-Based Approach in Urban Planning: Enhancing Wastewater Infrastructure Planning Using Augmented Reality. In Augmented and Virtual Reality in the Metaverse (pp. 311-338). Cham: Springer Nature Switzerland.
[73] Laato, S., Söbke, H. & Baer, M. (2024). Augmented future: tracing the trajectory of location-based augmented reality gaming for the next ten years. i-com, 23(2), 189-203.
[72] Wehking, F., Wolf, M., & Söbke, H. (2024). 360° Bildung Portal, Weissenberge VR, Kompostierungsanlage Umpferstedt VR. In P. Bothe, Dannemann, Marc, Schon, Caroline, & Walter, Beata (Eds.), xR und Lehre – Dokumentation zur Veranstaltung Augmented und Virtual Reality in der Aus- und Weiterbildung. Hochschule Anhalt, Dessau.
[71] Wolf, M., Montag, M., Söbke, H., Wehking, F., & Springer, C. (2024). Low-Threshold Digital Educational Escape Rooms Based on 360VR and Web-Based Forms. Electronic Journal of E-Learning, 00–00. doi.org/10.34190/ejel.21.7.3156
2023
[70] Wolf, M., Wehking, F., Söbke, H., Montag, M., Zander, S., & Springer, C. (2023). Virtualised virtual field trips in environmental engineering higher education. European Journal of Engineering Education, 1–23.
[69] Söbke, H., Göbl, B., Baalsrud Hauge, J., Stefan, I. Serious Game Aging, Presentation, In: Workshop "Towards Sustainable Serious Games" at International Conference on Entertainment Computing in Bologna, Italy, Nov. 15, 2023
[68] Göbl, B., Baalsrud Hauge, J., Stefan, I. A., & Söbke, H. (2023). Towards Sustainable Serious Games. In P. Ciancarini, A. Di Iorio, H. Hlavacs, & F. Poggi (Eds.), Entertainment Computing – ICEC 2023 (pp. 389–396). Singapore: Springer Nature Singapore.
[67] Söbke, H.; Zender, R. (2023): Wettbewerbsband AVRiL 2023. DOI: 10.18420/avril2023_00. Gesellschaft für Informatik e.V.. ISSN: 1617-5468. pp. 1-3
[66] Zender, R.; Söbke, H.; Mulders, M. (2023): 6. Workshop VR/AR-Learning - Aktuelle Entwicklungen, Herausforderungen und Trends zu Lehr- und Lernszenarien mit VR/AR. Workshops der 21. Fachtagung Bildungstechnologien (DELFI). DOI: 10.18420/wsdelfi2023-20. Bonn: Gesellschaft für Informatik e.V.. pp. 51-53. VR/AR-Learning. Aachen. 11.-13. September 2023
[65] Charbonneau-Gowdy, P., Cubric, M., Pechenkina, K., Dyer, R., Pyper, A., Söbke, H., & Spangenberger, P. (2023). EJEL Editorial 2023: Trends and Research Gaps in e-Learning. Electronic Journal of E-Learning, 21(3), 248–257.
[64] Söbke, H., Wehking, F., Wolf, M., & Kraft, E. (2023). 360° VR Spaces in Teaching: Creation and Application. Conference eLSE - eLearning and Software for Education Conference 27./28. April 2023
[63] Drey, T., Montag, M., Vogt, A., Rixen, N., Seufert, T., Zander,, S., Rietzler, M., and Rukzio, E.. (2023). Investigating the Effects of Individual Spatial Abilities on Virtual Reality Object Manipulation. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ’23), April 23–28, 2023, Hamburg, Germany. ACM, New York, NY, USA, 24 pages. doi.org/10.1145/3544548.3581004
2022
[62] Mirboland, M., Tasliarmut, F., Abrahamcyzk, L., Koch, C. (2022). A mixed reality application for holographic structural analysis experiments. Proceedings of the 2022 European Conference on Computing in Construction. http://www.doi.org/10.35490/EC3.2022.206
[61] Tasliarmut, F., Vogt, A., Montag, M., Zander, S., Koch, C. (2022). Conducting user studies in engineering education during the COVID-19 pandemic. Proceedings of the 2022 European Conference on Computing in Construction. http://www.doi.org/10.35490/EC3.2022.207
[60] Wehking, F., Wolf, M., & Söbke, H. (2022). Authoring Educational 360° Models: Experiences from Higher Education in Environmental Engineering. Proceedings of DELFI Workshops 2022. Karlsruhe: Gesellschaft für Informatik e.V.
[59] Drey T., Janek J., Lang J., Puschmann, D. , Rietzler M., and Rukzio, E. ( 2022). SpARklingPaper: Enhancing Common Pen- And Paper-Based Handwriting Training for Children by Digitally Augmenting Papers Using a Tablet Screen. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 6, 3, Article 113 (September 2022), 29 pages. https://doi.org/10.1145/3550337
[58] Hartwig, S., Schelling, M., Onzenoodt, C. V., Vázquez, P. P., Hermosilla, P., & Ropinski, T. (2022). Learning Human Viewpoint Preferences from Sparsely Annotated Models. In Computer Graphics Forum
[57] Drey T., Albus P., der Kinderen S., Milo, M., Segschneider T., Chanzab, L., Rietzler, M., Seufert, T., and Rukzio, E. (2022). Towards Collaborative Learning in Virtual Reality: A Comparison of Co-Located Symmetric and Asymmetric Pair-Learning. In CHI Conference on Human Factors in Computing Systems (CHI ’22), April 29-May 5, 2022, New Orleans, LA, USA. ACM, New York, NY, USA, 19 pages. doi.org/10.1145/3491102.3517641
Transferaktivitäten
[12] e-teaching.org: Erfahrungsbericht 360° Bildung – eine Plattform für virtuelle Exkursionen im Rahmen des Themenspecials: XR in der Hochschullehre – was leisten immersive Technologien? Bericht, 16.10.2024
[11] Workshop im Rahmen der VR/AR Learning Days 2024 zum Thema "Kollaborative VR-Lernszenarien", 20.03.2024, online
[10] Showroom für AuCity 3 und Bildung 360°-Inhalte, Workshop- und Messetag des Projektes „xR & Lehre – Augmented & Virtual Reality in Aus- und Weiterbildung“ , 28.09.2023, Dessau
[9] Workshop im Rahmen der VR/AR Learning Days 2023 zum Thema "Vorstellung des Projekts AuCity 3", 27.04.2024, online
[8] VR für Akteure der Wohnungswirtschaft - Vortrag auf der Konferenz Future 4 Now.Immobilien.machen.Zukunft.jetzt, 20.04.2023, Berlin,
[7] A Virtual Field Trip to a Composting Plant: How to gamify spatial digital learning environments? - Worksho im Rahmen des IFIP WG 14.8 Serious Games Webinar, 19.04.2023, online
[6] Vortrag "Vom 360°-Raum zum niedrigschwelligen Escape Room: Potentiale und Herausforderungen" bei Talks@eTeach, 16.03.2023, eTeach-Netzwerk Thüringen
[5] Messestand im Rahmen des Regionalwettbewerbs "Jugend forscht", 22.02.2023, Bauhaus-Universität Weimar
[4] Workshop im Rahmen der Ideenlabors 2022 zum Thema "360 Bildung: Virtuell Vor-Ort Lernen", 10.06.2022, Bauhaus-Universität Weimar.
[3] VR-Workshop für die Kommunalverwaltung einer mittelgroßen süddeutschen Stadt, 17.06.2022, online
[2] Workshop im Rahmen der https://www.uni-weimar.de/typo3/nullVR/AR Learning Days 2022 zum Thema "360 Bildung", 09.06.2022, online
[1] Keynote von Frau Prof. Dr. Tina Seufert im Rahmen der VR/AR Learning Days 2022 mit dem Thema "Effektiv Lernen mit VR/AR? Die Perspektive der Lehr-Lernforschung", 07.06.2022, online (Aufzeichung)
Ergebnisse der ersten Phase »AuCity 2«