A157. Het kantoor verzamelt bevindingen van monitoringactiviteiten, externe inspecties en andere relevante bronnen.

A158. Informatie die het kantoor verzamelt van monitoringactiviteiten, externe inspecties en andere relevante bronnen kan andere waarnemingen over het kwaliteitsmanagementsysteem aan het licht brengen, zoals:

• handelingen, gedragingen of omstandigheden die tot positieve resultaten hebben geleid in het kader van kwaliteit of effectiviteit van het kwaliteitsmanagementsysteem; of

• gelijksoortige omstandigheden waarin geen bevindingen zijn genoteerd (bijvoorbeeld opdrachten waarin geen bevindingen zijn gedaan, en de opdrachten van vergelijkbare aard zijn als de opdrachten waarin bevindingen zijn gedaan).

Andere waarnemingen kunnen nuttig zijn, aangezien zij het kantoor kunnen helpen bij het onderzoeken van de onderliggende oorzaak(oorzaken) van de geïdentificeerde tekortkomingen. Ook kunnen zij wijzen op praktijken die het kantoor kan ondersteunen of breder kan toepassen (bijvoorbeeld voor alle opdrachten), of kunnen zij mogelijkheden aan het licht brengen om het kwaliteitsmanagementsysteem te verbeteren.

A159. Het kantoor past professionele oordeelsvorming toe om te bepalen of bevindingen, afzonderlijk of in combinatie met andere bevindingen, aanleiding geven tot een tekortkoming in het kwaliteitsmanagementsysteem. Bij deze oordeelsvorming kan het kantoor het nodig achten rekening te houden met het relatieve belang van de bevindingen in de context van:

• de kwaliteitsdoelstellingen;

• kwaliteitsrisico’s;

• maatregelen;

• of andere aspecten van het kwaliteitsmanagementsysteem waarop zij betrekking hebben.

De oordeelsvormingen kunnen worden beïnvloed door kwantitatieve en kwalitatieve factoren die relevant zijn voor de bevindingen. In sommige omstandigheden kan het kantoor het passend achten meer informatie over de bevindingen te verkrijgen om te bepalen of sprake is van een tekortkoming. Niet alle bevindingen, waaronder bevindingen afkomstig van opdrachten, zullen een tekortkoming zijn.

A160. Voorbeelden van kwantitatieve en kwalitatieve factoren die een kantoor in overweging kan nemen bij het bepalen of bevindingen aanleiding geven tot een tekortkoming: Kwaliteitsrisico’s en maatregelen daartegen • Indien de bevindingen betrekking hebben op een maatregel: ○ hoe de maatregel is opgezet, bijvoorbeeld de aard van de maatregel, de frequentie waarmee deze wordt toegepast (indien van toepassing) en het relatieve belang van de maatregel bij het mitigeren van het (de) kwaliteitsrisico(’s) en het bereiken van de kwaliteitsdoelstelling(en) waarop zij betrekking heeft; ○ de aard van het kwaliteitsrisico waarop de maatregel betrekking heeft, en de mate waarin de resultaten erop wijzen dat het kwaliteitsrisico niet is gemitigeerd; ○ of er andere maatregelen zijn die hetzelfde kwaliteitsrisico mitigeren en of er bevindingen voor deze maatregelen zijn. Aard van de bevindingen en de diepgaande invloed daarvan • de aard van de bevindingen. Zo kunnen bevindingen over het handelen en gedrag van de leiding kwalitatief significant zijn, gegeven de diepgaande invloed die dit kan hebben op het kwaliteitsmanagementsysteem als geheel; • of de bevindingen, in combinatie met andere bevindingen, wijzen op een structurele tendens of kwestie. Soortgelijke bevindingen die bij verschillende opdrachten voorkomen, kunnen bijvoorbeeld wijzen op een structureel probleem. Omvang van de monitoringactiviteit en omvang van de bevindingen • de omvang van de monitoringactiviteit waaruit de bevindingen zijn voortgekomen, alsook het aantal of de omvang van de selecties; • de omvang van de bevindingen ten opzichte van de selectie die de monitoringactiviteit omvat en ten opzichte van het verwachte percentage aan afwijkingen. Bijvoorbeeld, in het geval van inspectie van opdrachten, het aantal geselecteerde opdrachten waarbij bevindingen werden geïdentificeerd, in verhouding tot het totaal aantal geselecteerde opdrachten, en het verwachte percentage aan afwijkingen dat het kantoor had vastgesteld.

A161. Het evalueren van bevindingen en het identificeren van tekortkomingen, alsmede het evalueren van de ernst en diepgaande invloed van een geïdentificeerde tekortkoming, inclusief de onderliggende oorzaak (of oorzaken) van een geïdentificeerde tekortkoming, maken deel uit van een iteratief en niet-lineair proces.

Voorbeelden van de wijze waarop het proces van evalueren van bevindingen en identificeren van tekortkomingen, evalueren van geïdentificeerde tekortkomingen, alsook de oorzakenanalyse van een geïdentificeerde tekortkoming, iteratief en niet-lineair is: • bij de oorzakenanalyse van een geïdentificeerde tekortkoming kan het kantoor een omstandigheid vaststellen die gelijkenis vertoont met andere omstandigheden waarin bevindingen zijn gedaan die niet als een tekortkoming zijn aangemerkt. Daarom past het kantoor zijn evaluatie van de andere bevindingen aan en classificeert deze als een tekortkoming. • bij het evalueren van de ernst en diepgaande invloed van een geïdentificeerde tekortkoming kan het kantoor een trend of structureel probleem vaststellen dat verband houdt met andere bevindingen die niet als tekortkomingen aangemerkt zijn. Bijgevolg past het kantoor zijn evaluatie van de andere bevindingen aan en classificeert deze tevens als tekortkomingen.

A162. De resultaten van monitoringactiviteiten, de resultaten van externe inspecties en andere relevante informatie (bijvoorbeeld netwerkmonitoringactiviteiten of klachten en beschuldigingen) kunnen informatie aan het licht brengen over de effectiviteit van het monitoring- en herstelproces. Zo kunnen de resultaten van externe inspecties informatie over het kwaliteitsmanagementsysteem opleveren die niet is geïdentificeerd door het monitoring- en herstelproces, wat kan wijzen op een tekortkoming in dat proces.