Video-analysis for the assessment of practical skill

ObjectiveTo review the literature on the application of video review and analytics on surgical education and quality improvement.BackgroundAnalysis of past performance is a mandatory component in many industries, yet the idea is in its infancy in surgical assessment. Evaluation of surgical skill, both technical and non-technical, is possible through video analysis methods. Adverse outcomes in surgery are related in part to errors committed by the surgical team, and review of intraoperative footage allows for detailed analysis and improvement of skills and systems that contribute to patient safety.MethodsIn this article we review the literature pertaining to post hoc assessment of surgical performance, including technical skill and error, and non-technical skill and surgical coaching. We describe our group’s novel ‘OR blackbox’ method of detailed video analysis, and how we synthesize multiple metrics of performance collected through audiovisual pathways into compartmentalized, usable data.ResultsQualitative and Quantitative video analysis has been applied to multiple fields of surgery. Tools for assessment of metrics across the spectrum of intraoperative factors exist and their validity and reliability is supported in the literature. Emerging evidence supports the use of retrospective evaluation of surgical technique in ensuring optimal outcomes for patients. Educators are using video analysis to identify aspects of surgical procedures to target for deliberate practice, and the role of coaching in surgery is greatly enhanced with review of cases.ConclusionIdentification of crucial events related to safety and surgical skill are not always identifiable in real time. Video analysis allows surgeons and educators to assess intraoperative factors that influence the patient’s surgical outcomes and safety. Assessment of technical skill, non-technical skill, and surgical error are possible through comprehensive video recording and analysis techniques.SamenvattingDoelHet verkrijgen van een overzicht van de literatuur op het gebied van video en beeldanalyse ten behoeve van chirurgische training en kwaliteitsverbetering.AchtergrondBinnen veel industrieën is analyse van verrichte handelingen gemeengoed; binnen de chirurgie staat deze techniek nog in de kinderschoenen. Toch behoort ook binnen de chirurgie een evaluatie van chirurgische vaardigheden (zowel de technische als de niet-technische) door middel van videoanalyse tot de mogelijkheden. Ongewenste resultaten van de chirurgische ingreep zijn deels gerelateerd aan fouten die een chirurgisch team maakt, en het opnieuw bekijken van intraoperatieve beelden biedt de mogelijkheid van een gedetailleerde analyse. Deze aanpak kan leiden tot verbetering van vaardigheden en systemen, die dan weer leiden tot een hogere patiëntveiligheid.MethodenIn dit artikel doen we verslag van de literatuur die betrekking heeft op het achteraf beoordelen van de kwaliteit van een geleverde ingreep, inclusief de technische en niet-technische vaardigheden, de fouten en de chirurgische coaching. We beschrijven onze noviteit, de OR blackbox-methode van gedetailleerde videoanalyse, en hoe we diverse metingen van de prestatie uit het verzamelde audiovisuele materiaal rangschikken in categorieën en bruikbare data.ResultatenKwalitatieve en kwantitatieve videoanalyse is al op veel terreinen binnen de chirurgie toegepast. Er bestaan al veel technieken om intraoperatieve factoren te meten en in de literatuur zijn de validiteit en betrouwbaarheid daarvan al vastgesteld. De inzet van retrospectieve evaluatie van een chirurgische techniek om een optimaal resultaat voor de patiënt te garanderen, wordt geleidelijk beter geaccepteerd. Opleiders gebruiken videoanalyse om die onderdelen van een chirurgische procedure op te sporen, waar men in de training op kan focussen, en daarmee is de rol voor coaching in de chirurgie aanzienlijk toegenomen.ConclusieHet vaststellen van de cruciale momenten, die voor de veiligheid en het beoordelen van de vaardigheid van belang zijn, is in real time niet altijd eenvoudig. Door het gebruik van videoanalyse kunnen chirurgen en opleiders de intraoperatieve factoren, die het operatieresultaat en de veiligheid van de patiënt bepalen, beter beoordelen.