På senare år har inte bara studenter utan också lärare och forskare i allthögre grad använt sig av AI. Detta påverkar givetvis hur vi i högreutbildning inte bara undervisar om och med GAI, utan också hur vi iexaminerande moment hanterar GAI. Ett område där GAI kan varaanvändbart, och ibland till och med bra, är för att generera program-kod, inte minst programkod för webbapplikationer. I föreliggandekapitel tar vi därför avstamp i tre kurser i webbutveckling: HTML ochCSS för webbutveckling, JavaScript för webbutveckling och Server-programmering i JavaScript. Vi beskriver hur vi har arbetat med GAIi relation till både undervisning och examination. I kapitlet presenterarvi tre utmaningar, illustrerade som en pyramid, där övertro på GAIutgör toppen på pyramiden, att använda GAI i samband medexaminerande moment utgör mittenskiktet på pyramiden och promptengineering, hallucinationer samt dokumentation utgör bottenskiktetpå pyramiden. I kapitlet presenterar och diskuterar vi också delösningar vi har arbetat fram och tillämpat under kursinstansernaVT2024 och VT2025 för att komma till rätta med utmaningarna, elleråtminstone komma ett steg närmare tänkbara och genomförbaralösningar för dessa.

I föreliggande kapitel beskrivs hur vi har arbetat med GenerativArtificiell Intelligens (GenAI) i relation till skriftliga inlämnings-uppgifter, individuell skriftlig hemtentamen och muntlig individuelluppföljning efter genomförd hemtentamen för kursen Server-programmering i JavaScript. I kapitlet presenterar vi tre utmaningar,inklusive lösningar och möjligheter, vi har arbetat med för aktuell kurs.Vi argumenterar för att muntlig individuell uppföljning är ett mycketbra komplement till individuell skriftlig hemtentamen och kananvändas för att t ex ställa uppföljningsfrågor på en inlämnad lösning.Genom uppföljningsfrågor kan läraren bilda sig en uppfattning omstudentens kunskaper i relation till inlämnad lösning och i relation tilllärandemålen i kursplanen. Vi argumenterar också för att muntligindividuell uppföljning är ett bra och lämpligt tillfälle både för att geåterkoppling och för lärande. Läraren kan till exempel förklara någotsom varit bra respektive mindre bra i en inlämnad lösning ochstudenten kan då inte bara erhålla förståelse för varför hen erhöll detbetyg hen erhöll, utan också i förlängningen lära varför en lösning ärbra respektive mindre bra. Avslutningsvis argumenterar vi för attmuntlig individuell uppföljning kan vara ett bra tillfälle förförberedelse för framtida yrkesroll. Ett exempel på detta kan vara attden som utvecklat, programmerat, en lösning för ett problem ocksåbehöver kunna förklara sin lösning för andra personer som ärinvolverade i till exempel ett utvecklingsprojekt.

Att bedöma och ge användbar återkoppling på inlämningsuppgifter i programmeringskurser är inte bara i sig själv en utmaning utan också mycket tidskrävande. Om vi till detta adderar stora studentgrupper och att flera lärare kan ge olika återkoppling på samma fel blir utmaningarna än större. En ansats för att komma till rätta med detta, eller åtminstone ta ett steg i rätt riktning, är att introducera automatisk bedömning och automatisk återkoppling. I föreliggande kapitel beskriver vi därför hur vi har arbetat med att automatisera bedömning och återkoppling för inlämningsuppgifter inom ramen för en programmeringskurs. Vi beskriver också det system, A4F (Automatic Assessment and Automatic Feedback), som vi har utvecklat och ger exempel på hur A4F har använts vid automatisk bedömning och återkoppling av lösningar för spelet Tic-Tac-Toe (tre-i-rad). Lärdomar från att ha använt A4F för ett kurstillfälle är att det kan effektivisera arbetet med bedömning och återkoppling och att det ger en mer likvärdig återkoppling till studenterna. En utmaning som litteraturen tar upp är att denna typ av system kan medföra överanvändning. Överanvändning kan i förlängningen orsaka att studenterna använder systemet för att testa sig fram till en fungerande lösning, istället för att på egen hand först testa systemet manuellt och i andra hand verifiera detta med systemet.

Vi upplever att många studenter har svårigheter med att ”knäckakoden” (läs: lära sig programmera) och då inte bara i introducerandekurser utan också i fortsättningskurser i programmering. Som ettförsta steg till att motivera studenterna till att lära programmering harvi för kursen JavaScript för webbutveckling introducerat skapandet avspel som examinationsuppgift. I kapitlet beskriver och diskuterar vivarför och hur vi introducerat skapandet av tre-i-rad somexaminationsuppgift och vilka erfarenheter vi tar med oss för vidarekursutveckling. Som huvudargument för att introducera spel lyfter viatt motivera studenterna till att lära sig programmering. Vidarediskuterar vi att detta kan vara möjligt genom att öka ”kulfaktorn” ochdå samtidigt ta avstamp i något studenterna känner till och kanreferera till. Vi upplever att spel som examinationsuppgift är något sommottagits som positivt av studenterna men att ett flertal utmaningarkvarstår. Bland annat upplever vi att flertalet studenter har svårt medatt ”sy ihop” delarna till en helhet (att gå från ”ax till limpa”) samt attdet är mycket stor spridning på kvalitén på inlämnade lösningar.

Rättning och återkoppling från lärare till student är inte bara en tidkrävande process utan också svårt att utföra [3, 6]. Resurser som krävs för att utföra denna process ökar dessutom för varje student som deltar i en kurs.

Under de senaste fyra åren har JavaScript för webbutveckling gått från 40 till 135 förstagångsregistrerade studenter. Automatisk rättning och återkoppling är någon som kan underlätta för både studenter och för lärare. Studenter kan t ex erhålla direkt samt konsekvent återkoppling [1]. Lärare kan t ex ägna mer tid att ge formativ istället för att ge summativ återkoppling.

I tidigare forskning har det uttryckts att automatisk rättning och återkoppling av programmeringsuppgifter kan öka produktiviteten och motivationen hos studenter [4, 7, 8] samt minska tiden för rättning för lärare [2, 5]. Detta kan resultera i att lärare kan lägga mer tid hos studenterna vilket kan ge högre kvalité av handledning och undervisning [2].

I denna presentation kommer vi att beskriva och förklara hur vi har utvecklat och testat ett system för att automatisera rättning och återkoppling av inlämningsuppgifter inom programmering. Vi kommer också presentera våra erfarenheter av att använda systemet inom kursen JavaScript för webbutveckling våren 2023.

On 30 November 2022 OpenAI released ChatGPT to the public and in only two months it had reached 100 million users. ChatGPT is far from the first generative AI tool. Others close to our topic are for instance GitHub Copilot, Google Bard, ChatSonic and YouChat. However, due to its simple graphical user interface and its ability to answer question in relation to programming tasks, understanding JavaScript amongst others, ChatGPT struck us like lightning. Students, teachers and researchers immediately started to use and explore its capacities. In other words, students adopted it. However, according to our experiences the adoption was often without thinking on the consequence of using it, not only in relation to the perspective of learning programming but also in relation to when it's okay to use the tool and when it’s not. During the spring and the following autumn, the authors therefore started to raise and discuss mainly four questions. 

1. Do the students know how to interact with ChatGPT? 

2. Do the students formulate and ask the “right” questions to ChatGPT? 

3. Do the students reflect upon the dialog with ChatGPT generally or what they are typing into the user interface in ChatGPT specifically? 

4. Do the students reflect upon what the ChatGPT tool actually returns (answers) on a specific question and/or dialog? 

In this presentation we will present our experiences in relation to two programming courses in spring 2023 in higher education one focusing on JavaScript for the client (the web browser) and one focusing on JavaScript for the server. We will both present challenges in the relation to using AI generally and ChatGPT specifically and how we solved some of the challenges including what did work and what did not work in both courses. Finally, we will present some thoughts about future usage of AI services, such as GhatGPT, in relation to not only programming coursers generally but also design and evaluation of examinations and detection of misbehaviour including cheating specifically.

I kursplanen för Serverprogrammering i JavaScript [3] finns följande formulering under rubriken examination: ”Samtliga lärandemål examineras genom individuell skriftlig hemtentamen med muntlig individuell uppföljning” (s. 1). Examinationsformen var något som tillämpades för denna och andra kurser under Covid-19 pandemin (se t ex [1]) och som författarna upplevde som lämplig att fortsätta med för aktuell kurs varför också examinationsformen introducerades i kursplanen med start från och med våren 2022.

I slutet av 2022 öppnade OpenAI ChatGPT [5] en chatrobot som möjliggör något som påminner om en dialog dock mellan människa och maskin med artificiell intelligens (AI). Ett område som lyfts i tidigare forskning (se t ex [2]) är bland annat ChatGPTs förmåga att svara på frågor som handlar om programmeringsuppgifter och då inte minst att skriva JavaScript-kod i Node.js ramverket [4].

I denna presentation kommer vi att beskriva några av de utmaningar vi ställdes inför då individuell skriftlig hemtentamen skulle genomföras våren 2023 alltså nästan exakt efter sex månader efter att ChatGPT öppnats för allmänheten. Vi kommer också att presentera de lösningar vi använde oss av samt reflektera över vad dessa kan betyda inte bara för lärare utan också för studenter.

Referenser

Bellström, P., & Sjöberg, P. (2021). Utmaningar och lösningar med att genomföra en planerad on-campus-kurs off-campus. Erfarenheter från att våren 2020 genomfört programmeringskursen JavaScript för webbutveckling. I N. Jakobsson & C. Vikström (Red.), Bidrag från universitetspedagogisk konferens 2020 (s. 79–98). Universitetspedagogiska enheten Karlstads universitet.Eke, D. O. (2023). ChatGPT and the rise of generative AI: Threat to academic integrity? Journal of Responsible Technology, 13. https://doi-org.bibproxy.kau.se/10.1016/j.jrt.2023.100060Karlstads universitet (2021). Serverprogrammering i JavaScript. [Kursplan]. Hämtad 2023-05-25, från https://www3.kau.se/kursplaner/sv/ISGB17_20221_sv.pdfjs (2023). About Node.js. https://nodejs.org/enOpenAI (2023). Introducing ChatGPT. https://openai.com/blog/chatgpt

Att "knäcka koden" kan vara svårt är något lärare ibland kan uttrycka i relation till att undervisa om och att lära att programmera. I litteraturen utrycks att kurser i programmering kan upplevas som svåra och avhoppen kan därför också vara stora [5]. Därtill har det studerats om antalet studenter som misslyckas är hög eller inte vilket inte enligt [2] är fallet.  Oavsett vad litteraturen beskriver uppfattar författarna till föreliggande abstract att flertalet studenter har svårt att "knäcka koden" och därför misslyckas. 

I denna presentation kommer vi att behandla hur vi för kursen JavaScript för webbutveckling tog ett första steg för att motivera studenterna att lära sig programmera genom att introducera skapandet av spel för inlämningsuppgifter (”Game development client" [6]).  Vi ser flera argument för att introducera skapandet av spel:

·       Spel är oftast något studenterna kan relatera till och i en studie av [1] redovisas att 84% av tillfrågade män och 82% av tillfrågade kvinnor födda på 00-talet någon gång de senaste 12 månaderna har spelat spel. 

·       Skapandet av spel kan bidra till högre del intrinsic motivation (se t ex [4] för en genomgång av intrinsic och extrinsic motivation).

·       Skapandet av spel kan öka "kulfaktorn" för att lära att programmera [3].

1.      Andersson, J., Blomdahl, F., & Bäck, j. (2021). Svenskarna och internet 2021.  Internetstiftelsen. https://svenskarnaochinternet.se/app/uploads/2021/09/internetstiftelsen-svenskarna-och-internet-2021.pdf

2.      Bennedsen, J. & Caspersen, M.E. (2019). Failure Rates in Introductory Programming - 12 Years Later. acm Inroads, 10(2), s. 30-35.

3.      Chang, C. S., Chung, C. H., & Chang, J. A. (2020). Influence of problem-based learning games on effective computer programming learning in higher education. Educational Technology Research and Development, 68(5), s. 2615-2634.

4.      Jansson, T. (2015). Agila projektledningsmetoder och motivation: Varför man blir produktiv av att flytta lappar på en whiteboard. Doktorsavhandling, Karlstad University Studies 2015:9.

5.      Robins, A., Rountree, J., &  Rountree, N. (2003). Learning and Teaching Programming: A Review and Discussion. Computer Science Education, 13(2), s. 137-172.

6.      Sung, K. (2009). Computer Games and Traditional CS Courses. Communications of the ACM, 52(12), s. 74-78.

Att använda Zoom för distribuerad och synkron laborations-handledning inom programmeringskurser, kan vid en första anblick ses som ett tillvägagångssätt utan några större utmaningar och problem. Men vid en andra anblick har flera utmaningar och problem identifierats. I föreliggande kapitel beskriver författarna därför hur de använt Zoom som plattform för distribuerad och synkron handledning på kursen Serverprogrammering i JavaScript.  I huvudsak har två övergripande erfarenheter utkristalliserat sig ur denna användning vilka i föreliggande kapitel benämns som: 1) Notifikationer för co-host och endast en plats i kön, och 2) Avsaknad av återkoppling.  I kapitlet behandlas dessa två erfarenheter utifrån utmaning och implementation. Som ett förslag på lösning för dessa två utmaningar föreslår författarna att ett kösystem implementeras. En kösystemsprototyp har också utvecklats och beskrivs i detalj i kapitlet. Författarna ser en hög potential i kösystemsprototypen både som den är utvecklad i dag och för framtida förbättringar med ny funktionalitet. För framtida utvecklingsarbete kommer därför också kösystemsprototypen att utvärderas både vad det gäller användbarhet och funktionalitet.