Digital health (DH) technologies such as mobile apps, wearable devices, and electronic health records have potential to improve healthcare outcomes by supporting efficient workflows, reducing stress for healthcare providers, and helping people manage chronic conditions more effectively. These benefits matter particularly for older adults, who often, in highly digitized societies like Sweden, depend on DH services frequently and under demanding circumstances. However, DH solutions can lose their value in practice when usability and accessibility are poor. Common problems, such as poor text readability, cluttered features, limited language support, and interactions that require speed or precision, can lead to errors and frustration, especially for older adults or those with reduced motor control. When such issues occur, DH can become less inclusive, which can limit adoption and reduce the real-world impact of otherwise well-intended services.

This thesis investigates how usability and accessibility evaluation can be made more effective and efficient, with a focus on the practical challenges of involving key target user groups, especially older adults and people with impairments. The thesis builds on interviews with DH software professionals, which highlighted limited resources and inefficient evaluation as recurring obstacles. To study these challenges further, we conducted a systematic literature review of DH usability evaluation methods and tool support, an online survey with DH usability experts on current practices and efficiency threats, and empirical, data-driven studies that begin with field studies of older adults with shaky hands performing smartphone interaction tasks and progress toward design-time imitation of touch behavior during the design of UI prototypes.

Across the studies, usability evaluation emerged as one of the key challenges in effective DH development. The survey results indicated that participant recruitment is often perceived difficult, the time and budget are often insufficient, together with gaps in knowledge about method selection and tool familiarity. The literature also showed that usability evaluation automation support is still limited and is mainly used for user performance tracking and to check compliance with accessibility guidelines. To address recruitment limitations, the thesis demonstrates how collected data on GUI interactions can be augmented with synthetic data generation approaches and then used to train imitation models of older adults’ tapping and gesture behaviors. This resulted in the User Interface Interactions Imitation (UI³) framework, which integrates “virtual older adult users” into design prototyping environment to simulate interaction patterns and surface potential usability and accessibility issues.

The thesis contributes a consolidated evidence on where and why usability evaluation, from a research and expert perspective, often becomes inefficient in practice; an overview of the current limitations in test automation and why advanced tool support is still uncommon; and a data-driven, AI-based approach that can complement traditional usability testing through design-time imitation of older adults’ smartphone interactions in UI prototypes, enabling earlier identification of usability barriers.

Olika former av Digital Hälsa (DH), såsom mobilappar, kroppsburen teknik, och elektroniska patientjournaler, har potential att förbättra vårdens resultat genom att stödja effektiva arbetsflöden, minska stress hos vårdpersonal och hjälpa människor att hantera kroniska sjukdomar mer effektivt. Dessa fördelar är särskilt viktiga för äldre personer, som i mycket digitaliserade samhällen som Sverige ofta är beroende av DH-tjänster och använder dem i krävande situationer. Samtidigt kan DH-tjänster förlora sitt värde i praktiken när användbarhet och tillgänglighet brister. Vanliga problem, exempelvis svårläst text, röriga gränssnitt, begränsat språkstöd samt interaktioner som kräver snabbhet eller precision, kan leda till fel och frustration, särskilt för äldre personer och för personer med nedsatt motorisk. När sådana hinder uppstår blir DH mindre inkluderande, vilket kan minska dess användning och försvaga den begränsa effekten av i övrigt välmenande tjänster.

Denna avhandling undersöker hur utvärdering av användbarhet och tillgänglighet kan göras mer effektiv och ändamålsenlig, med fokus på de praktiska utmaningarna i att involvera centrala målgrupper, särskilt äldre personer och personer med funktionsnedsättningar. Avhandlingen baseras på intervjuer med professionella utvecklare inom DH, där begränsade resurser och ineffektiva utvärderingsprocesser lyfts fram som återkommande hinder. För att vidare undersöka dessa utmaningar genomför en systematisk litteraturöversikt av metoder för utvärdering av användbarhet av DH och tillhörande verktygsstöd, en webbaserad enkät med experter inom DH-användbarhet om nuvarande arbetsmetoder och effektivitetsrisker, samt empiriska, datadrivna studier som inleds med fältstudier där äldre personer med skakande händer utför interaktions uppgifter på en smartphone och som stegvis leder till imitation av beröringsbeteende vid framtagning av UI-prototyper.

Sammantaget visar studierna att användbarhetsutvärdering är en av de centrala utmaningarna för effektiv utveckling av DH. Enkätsvaren indikerade att rekrytering av deltagare ofta upplevs som svårt, att tid och budget för utvärdering ofta är otillräckliga, samt att det finns kunskapsluckor kring metodval och verktygsanvändning. Litteraturen visar också att automatiseringsstöd för användbarhetsutvärdering fortfarande är begränsat och främst används för att logga användarprestanda samt kontrollera efterlevnad av riktlinjer för tillgänglighet. För att hantera rekryteringsbegränsningar visar avhandlingen hur insamlad data över GUI-interaktioner kan kompletteras med syntetisk datagenerering och därefter användas för att träna imitationsmodeller med äldre personers tryckbeteende och rörelsemönster. Detta resulterade i ramverket User Interface Interactions Imitation (UI³), som integrerar “virtuella äldre användare” i prototypverktyg för design för att simulera interaktionsmönster och synliggöra potentiella problem gällande användbarhet och tillgänglighet. 

Avhandlingen bidrar med samlad evidens för var och varför användbarhetsutvärdering, utifrån ett forsknings- och expertperspektiv, i praktiken ofta blir ineffektiv; en översikt över nuvarande begränsningar inom testautomatisering och varför avancerat verktygsstöd fortfarande är ovanligt; samt ett datadrivet, AI-baserat angreppssätt som kan komplettera traditionella användbarhetstester genom imitation av äldre personers smartphoneinteraktioner i UI-prototyper, vilket möjliggör tidigare identifiering av användbarhetsbrister.

Digital health (DH) technologies, such as mobile apps, wearables, and electronic health records, have potential to improve health care by supporting efficient workflows and helping people manage chronic conditions. Older adults in highly digitized societies like Sweden often depend on such services under demanding circumstances. However, DH solutions can lose its value in practice when usability and accessibility are poor. Hard-to-read text, cluttered interfaces, limited language support, small touch targets, and speed- or precision-demanding interactions can lead to errors and frustration, especially for older adults or those with reduced motor control.

This thesis investigates how DH usability and accessibility can be evaluated effectively and efficiently when recruiting and involving key user groups is difficult. It builds on interviews with DH software professionals and conducts a systematic literature review, a survey with usability experts, and empirical, data-driven studies that capture older adults’ smartphone interaction behaviors and progress toward design-time imitation of touch behavior in design prototypes.

The studies show recurring challenges in recruitment, time, and budget, alongside gaps in method-selection knowledge and tool familiarity. Tool support remains limited; automation is mainly used for user performance tracking and accessibility guideline checks. To complement traditional testing under such limitations, the thesis demonstrates training imitation learning models of older adults’ touch behavior. This results in the User Interface Interactions Imitation (UI³) framework, which integrates virtual older adult users into Figma’s prototyping environment to simulate interaction patterns and surface potential usability and accessibility issues. The UI³ is intended as a complement, not a replacement, for evaluation with real users. It has potential to support earlier design decisions and enable repeatable evaluations.

Digital health (DH) technologies like smartphone apps and EHRs can improve care by supporting efficient workflows and self-management. In highly digitalized societies like Sweden, older adults often depend on them, yet DH can lose its value when usability and accessibility are poor. Cluttered interfaces, small touch targets, and speed- or precision-demanding interactions can cause errors and frustration, especially for people with reduced motor control.

This thesis investigates how DH usability and accessibility can be evaluated efficiently when recruiting key user groups is hard. It builds on interviews with DH software professionals, literature review, survey of usability experts, and empirical studies of older adults’ smartphone touch behavior.

Results show recurring recruitment and resource challenges, alongside gaps in method-selection knowledge and tool familiarity; automation is mostly limited to performance tracking and accessibility guideline checks. The thesis trains imitation learning models, proposing and validating the User Interface Interactions Imitation (UI³) framework to complement usability evaluation process. Integrated into Figma’s prototyping environment, the UI³ simulates older-adult interaction patterns to surface issues early and enable repeatable evaluations.