Jeg har for nyligt været inviteret til at deltage i en undersøgelse af hvilke udfordringer analytikere møder, når der arbejdes med process mining. Analysen var baseret på interviews og praktiske øvelser med 41 deltagere fra både industrien og den akademiske verden og fordelte sig på 27 forskellige organisationer.
De udfordringer, der kom ud af undersøgelsen, blev fordelt efter følgende 6 projektfaser, som man typisk kommer igennem i et process mining projekt:
- Defining research questions
- Data collection
- Data pre-processing
- Mining & analysis
- Stakeholder evaluation
- Implementation
Overordnet blev der identificeret 23 typiske udfordringer. Udfordringerne fordelte sig på alle ovenstående projektfaser, på nær fasen "Implementation" hvor der ikke blev identificeret nogen udfordringer. Det er i sig selv bemærkelsesværdigt, at der ikke er udfordringer, der springer i øjnene, når der tales om implementeringsfasen. Dette kan måske skyldes, at implementeringsfasen er mindre påvirket af udefrakommende faktorer, hvorfor analytikerne har mere kontrol over denne fase.
Under "Defining research questions" fasen blev der identificeret en udfordring omkring det, at formulere spørgsmål der er gode nok og egnede til at analysere nærmere på. Uden virkeligt gode research spørgsmål kan man sidde timevis og analysere på noget, som måske ikke har nogen relevans.
I forbindelse med "Data collection" er der en række udfordringer. Der kan nævnes udfordringer med "Missing permissions" og "Extract from systems".
Det er klassiske udfordringer i næsten alle process mining projekter (og data mining projekter for den sags skyld), at få fat i data i et format der muliggør en fornuftig analyse. Ofte ses der projekter, hvor hovedparten af tidsforbruget går til at få fat i data og gøre dem klar til analysen. Det søges for eksempel løst ved at værktøjerne indarbejder connectors til de mest anvendte systemer og standardprocesser.
Derudover oplever man ofte at være afhængig af IT for at kunne få data ud. Det kan både hænge sammen med manglende adgange til kildesystemerne men også med et stort behov for at alliere sig med personer, der har indgående kendskab til data strukturen i kildesystemerne.
Når der så ses videre på fasen "Data pre-processing", støder man på udfordringer som "Correct aggregation level" og "Low data quality". Her ses der et vist overlap med udfordringerne i fasen "Data collection" og udfordringerne går især på at få fat i data på en måde, så de egner sig til den videre process mining analyse.
Fasen "Mining & analysis" berør udfordringer som "Tool knowledge", "Missing insights about data structure" og ulemper ved direct-follows-graphs.
Udfordringerne begynder nu at centrere sig mere omkring de tekniske process mining værktøjer. Kendskab til værktøjer opleves som en stigende barriere i takt med, at værktøjerne bliver mere og mere komplekse. Desuden kan der være udfordring forbundet med at vise direct-follows-graphs repræsentationer af proces flowet, fordi der så mangler beslutningsforgreninger og parallelitet, der afspejler den virkelige verden og det kan vanskeliggøre samtalen omkring processen.
Endelig nævnes der under fasen "Stakeholder analysis" udfordringer med, i samarbejde med stakeholders, at "Answering research questions" og "Formulate concrete recommendations".
De største udfordringer, der blev omtalt, knytter sig dog tværgående til alle projektfaserne. Det er følgende udfordringer:
- Domain knowledge
- Log file
- Tool knowledge
Domæne specifikt kendskab kan være afgørende for at kunne skabe meningsfulde analyser. Uden dette kendskab vil man ofte risikere at fokusere på forkerte problemstillinger og overse de oplagte. Har man ikke domæneviden i forvejen, må man hurtigst muligt tilegne sig dette og måske også alliere sig med nogen, der besidder det nødvendige domænekendskab. Workshops og interviews med nøglepersoner kan være en genvej til dette.
Et andet interessant udbytte fra undersøgelsen er, at værktøjerne bliver mere og mere komplekse samtidigt med, at de også er intuitive at komme igang med at bruge. Det vil sige, at tilgangen er nem, men at man nemt kan fare vild i værktøjet.
Det blev også citeret fra interviews, at der er fare for at hoppe til forkerte konklusioner - man kan have data loaded og have dem helt korrekte og så er det rimeligt nemt at foretage en analyse, men så er det samtidigt også en kæmpe faldgrube, at hoppe til forkerte konklusioner (dette relaterer sig også til de udfordringer, der opleves i samarbejdet med stakeholders).
En interview deltager formulerer det således "way of thinking as a process mining analyst requires time and experience."
Undersøgelsen blev foretaget af en gruppe fra University of St. Gallen.
Gruppens kontakt side og LinkedIn informationer kan ses her:
Chair: SE - Institute of Computer Science (unisg.ch)
Francesca: (1) Francesca Zerbato | LinkedIn
Prof. Barbara Weber: (1) Barbara Weber | LinkedIn
Lisa: (1) Lisa Zimmermann | LinkedIn
Springer Link til publikationen:
Link: Process Mining Challenges Perceived by Analysts: An Interview Study | SpringerLink
Citation:
Zimmermann, L., Zerbato, F., Weber, B. (2022). Process Mining Challenges Perceived by Analysts: An Interview Study. In: Augusto, A., Gill, A., Bork, D., Nurcan, S., Reinhartz-Berger, I., Schmidt, R. (eds) Enterprise, Business-Process and Information Systems Modeling. BPMDS EMMSAD 2022 2022. Lecture Notes in Business Information Processing, vol 450. Springer, Cham. https://doi.org/10.1007/978-3-031-07475-2_1
Comments