TMap Suite Test Engineer
1. Gestructureerd testen
Er zijn vele definities m.b.t. testen, altijd bevatten de definities wel vergelijkbare aspecten.
Volgens ISO is testen “Testen bestaat uit activiteiten die uitgevoerd worden om één of meer
kenmerken van een product, proces of dienst vast te stellen volgens een gespecificeerde procedure”
Testen geeft inzicht in bijvoorbeeld de risico’s die gelopen worden bij aanvaarding van minderen
kwaliteit (= hoofddoelstelling van testen).
Testen behoord tot de Detectieve middelen van een kwaliteitssysteem, deze middelen worden
onderverdeeld groepen van diverse detectie-instrumenten:
- Toetsen: Beoordelen van producten zonder het uitvoeren van software
- Testen: Beoordelen van producten door middel van het uitvoeren van software.
“Kwaliteitsborging omvat het geheel van alle geplande en systematische acties nodig om in
voldoende mate het vertrouwen te geven dat een product of dienst voldoet aan de gestelde eisen”
Het structureel verbeteren van kwaliteiten moet topdown gebeuren, daartoe moeten maatregelen
getroffen worden om die eisen vast te stellen:
- Preventieve maatregelen: Gebrek aan kwaliteit voorkomen
- Detectieve maatregelen: Gebrek aan kwaliteit ontdekken
- Correctie maatregelen: Gebrek aan kwaliteit opheffen
Een goede of minder goede kwaliteit van producten heeft een relatie met de risico’s die een
organisatie loopt bij het in gebruik nemen van deze producten.
Testen is volgens TMap “een proces dat inzicht geen in- en adviseert over de kwaliteit en de daaraan
gerelateerde risico’s”
Wat is kwaliteit?
“Kwaliteit is het geheel van eigenschappen en kenmerken van ene product of dienst dat van belang is
voor het voldoen aan vastgestelde of vanzelfsprekende behoeften” (ISO 1994)
Het concept kwaliteit is onder te verdelen is verschillende kenmerken, de zogenaamde
kwaliteitsattributen. “Een kwaliteitsattribuut beschrijft een kenmerk van een informatie systeem”
Kwaliteitsattributen
- Beheerbaarheid
Het gemak waarmee het informatiesysteem in operationele staat kan worden gebracht
en gehouden
- Beveiliging
Zekerheid dat raadpleging of mutatie van de gegevens uitsluitend mogelijk is door die
personen die daartoe bevoegd zijn
- Bruikbaarheid
De mate waarin het informatiesysteem op de organisatie en het profiel van de
eindgebruikers, voor wie het bedoeld is, alsmede de mate waarin het informatiesysteem
bijdraagt aan het bereiken van de bedrijfsdoelstellingen
- Connectiviteit
Het gemak waarmee een koppeling met een ander informatiesysteem of binnen het
informatiesysteem tot stand kan worden gebracht en kan worden gewijzigd
, - Continuïteit
De zekerheid dat de gegevensverwerking ongestoord zal kunnen voortgaan, dat wil
zeggen ook na ernstige storingen binnen redelijke termijn kan worden hervat
- Controleerbaarheid
Het gemak waarmee de juistheid en volledigheid van de informatie (in de loop van de
tijd) gecontroleerd kunnen worden
- Flexibiliteit
De mate waarin de gebruiker zelf uitbreidingen of variaties op het informatiesysteem kan
aanbrengen zonder dat de programmatuur wordt aangepast
- Functionaliteit
Mate van zekerheid dat de verwerking van de gegevens juist en volledig geschiedt
- Gebruiksvriendelijkheid
Bedieningsgemak van het systeem voor de eindgebruikers
- Herbruikbaarheid
De mate waarin delen van het informatiesysteem, of van het ontwerp, opnieuw kunnen
worden gebruikt voor de ontwikkeling van andere toepassingen
- Infrastructuur
Geschiktheid van de apparatuur, het netwerk, de systeemsoftware, het DBMS en de
technische architectuur in algemene zin voor de betreffende toepassing en de mate
waarin deze infrastructuur-elementen op elkaar aansluiten
- Inpasbaarheid
De mate waarin de handmatige en het geautomatiseerde informatiesysteem op elkaar
aansluiten en de werkbaarheid van deze handmatige procedures voor de organisatie
- Onderhoudbaarheid
Het gemak waarmee het informatiesysteem kan worden aangepast aan nieuwe wensen
van de gebruiker, aan de veranderende externe omgeving of om fouten te herstellen
- Performance
De snelheid waarmee het informatiesysteem interactieve en batch-transacties afhandelt
- Portabiliteit
De diversiteit van het hardware-en softwareplatform waarin het informatiesysteemkan
draaien, en het gemak waarmee het systeem kan worden overgebracht van de ene naar
de andere omgeving
- Testbaarheid
Het gemak en de snelheid waarmee de functionaliteit en het prestatieniveau van het
systeem (na iedere aanpassing) getest kan worden
- Zuinigheid
De verhouding tussen het prestatieniveau van het systeem (uit te drukken in het
transactievolume en de totale snelheid) en de hoeveelheid resources die daarvoor
gebruikt worden
Een testobject is het te testen (deel van het) informatiesysteem. Dit kan bestaan uit Hard-/Software,
applicatiesoftware organisatie, procedures, documentatie of implementatie.
Valkuilen van testen
Testen is (onder andere) niet:
1. Het vrijgeven of accepteren
2. Een fase ná ontwikkeling (testen loopt parallel met de ontwikkeling)
3. Iets anders dan het implementeren van een informatiesysteem
4. Het opleiden voor gebruik of beheer
Het is de taak van een testmanager om te voorkomen dat er in 1 van de valkuilen wordt getrapt.
,Nadelen van ongestructureerd testen:
- Tijdsdruk
- Geen inzicht en advies kunnen geven over de kwaliteit van het systeem
- Inefficiënt en ineffectief
- Ontbreken van afspraken
- Niet-/onjuist gebruiken van de vaak wel aanwezige testhulpmiddelen
- Ontbreken van prioriteiten
Voordelen voor gestructureerde testaanpak:
- Inzetbaar in elke situatie
- Geeft inzicht in- en advies over eventuele risico’s
- Vindt fouten in een vroeg stadium
- Voorkomt fouten
- Testproces is inzichtelijk en beheersbaar
Kenmerken gestructureerde testaanpak
- Biedt structuur (Wat, door wie, wanneer, in welke volgorde)
- Omvat de volledige scope en beschrijving van het complete scala aan relevante aspecten
- Biedt concrete handvatten
- Sturen van testactiviteiten in het kader van tijd, geld en kwaliteit
Er zijn verschillende manieren waarop getest kan worden. Een aantal manieren zijn:
- Expliciet testen
Ontworpen om informatie over het betrokken kwaliteitsattribuut te verkrijgen
Door executie van het testobject dan wel het runnen van software wordt het actuele
resultaat vergeleken met het verwachte resultaat om zo te bepalen of het systeem zich
als vereist gedraagt
- Impliciet testen
Hier is geen expliciet testgeval voor ontworpen
Bijvoorbeeld voor gebruikersvriendelijkheid of performance van een systeem op basis
van tijdens het testen opgedane ervaringen
TMap in essenties
Tmap is in vier essenties onder te verdelen:
1. BDTM-aanpak (Business Driven TestManagement)
2. Gestructureerd testproces
3. Bevat een complete gereedschapskist
4. Adaptieve testmethode
, IT-Governance laat projecten sturen op 4 aspecten: Resultaat, Risico, Tijd & Kosten.
Business case: geeft rechtvaardiging voor het project weer en geeft antwoord op de vragen: waarom
doen we dit, welke investeringen zijn hiervoor nodig, wat wil de opdrachtgever met het resultaat
bereiken?
TMap gaat er vanuit dat een projectaanpak die is gebaseerd op business case voldoet aan de
volgende kenmerken:
1. Aanpak is gericht op het behalen van een vooraf gedefinieerd resultaat
2. Totale project om dat doel te behalen, wordt binnen de beschikbare (doorloop)tijd
gerealiseerd
3. Het project om dit resultaat te behalen wordt gerealiseerd tegen kosten die in balans zijn
met de baten die de organisatie wil halen
4. Risico’s zijn bij in-productie name bekend en zijn zo klein mogelijk
BDTM heeft de volgende kenmerken:
- Totale testinspanning is gerelateerd aan de risico’s van het te testen systeem voor de
organisatie
- Begroting en planning voor het testproces zijn gerelateerd aan de opgestelde teststrategie
- Op verschillende momenten in het testtraject wordt de opdrachtgever betrokken bij het
maken van keuzes
De stappen van een BDTM-aanpak:
1. Formuleren opdracht en verzamelen van testdoelen
Een testdoel is een voor de opdrachtgever en andere acceptanten relevant doel voor het
testen.
2. Bepalen van de risicoklasse per combinatie van kenmerk en deelobject
Als er sprake is van meerdere testsoorten word in een plan over alle testsoorten heen
bepaald welke testsoorten moeten worden ingericht (MasterTestPlan)
Ontstaan van een iteratief traject
3. Bepalen of een combinatie van kenmerk en deelobject licht of zwaar moet worden getest.
Risicoklasse wordt als uitgangspunt gehanteerd: hoe hoger het risico, hoe zwaarder de
test
4. Test wordt op hoofdlijnen begroot en in een planning uitgezet
Einde iteratief traject
5. Toewijzen van testtechnieken aan de combinaties van kenmerk en deelobject
Als opdrachtgever en andere betrokkenen het eens zijn met de begroting en de planning,
wordt door de testmanager een Testontwerptabel ingevuld.
6. Testmanager geeft gedurende het gehele proces aan de opdrachtgever en andere
betrokkenen voldoende inzicht en sturingsmogelijkheden over:
Voortgang van het proces
Kwaliteit en risico’s van het testobject
Kwaliteit van het proces
Voordelen BDTM-aanpak:
- Door opdrachtgever stuurbaar proces
- Testmanager rapporteert en communiceert met informatie die zinvol is
1. Gestructureerd testen
Er zijn vele definities m.b.t. testen, altijd bevatten de definities wel vergelijkbare aspecten.
Volgens ISO is testen “Testen bestaat uit activiteiten die uitgevoerd worden om één of meer
kenmerken van een product, proces of dienst vast te stellen volgens een gespecificeerde procedure”
Testen geeft inzicht in bijvoorbeeld de risico’s die gelopen worden bij aanvaarding van minderen
kwaliteit (= hoofddoelstelling van testen).
Testen behoord tot de Detectieve middelen van een kwaliteitssysteem, deze middelen worden
onderverdeeld groepen van diverse detectie-instrumenten:
- Toetsen: Beoordelen van producten zonder het uitvoeren van software
- Testen: Beoordelen van producten door middel van het uitvoeren van software.
“Kwaliteitsborging omvat het geheel van alle geplande en systematische acties nodig om in
voldoende mate het vertrouwen te geven dat een product of dienst voldoet aan de gestelde eisen”
Het structureel verbeteren van kwaliteiten moet topdown gebeuren, daartoe moeten maatregelen
getroffen worden om die eisen vast te stellen:
- Preventieve maatregelen: Gebrek aan kwaliteit voorkomen
- Detectieve maatregelen: Gebrek aan kwaliteit ontdekken
- Correctie maatregelen: Gebrek aan kwaliteit opheffen
Een goede of minder goede kwaliteit van producten heeft een relatie met de risico’s die een
organisatie loopt bij het in gebruik nemen van deze producten.
Testen is volgens TMap “een proces dat inzicht geen in- en adviseert over de kwaliteit en de daaraan
gerelateerde risico’s”
Wat is kwaliteit?
“Kwaliteit is het geheel van eigenschappen en kenmerken van ene product of dienst dat van belang is
voor het voldoen aan vastgestelde of vanzelfsprekende behoeften” (ISO 1994)
Het concept kwaliteit is onder te verdelen is verschillende kenmerken, de zogenaamde
kwaliteitsattributen. “Een kwaliteitsattribuut beschrijft een kenmerk van een informatie systeem”
Kwaliteitsattributen
- Beheerbaarheid
Het gemak waarmee het informatiesysteem in operationele staat kan worden gebracht
en gehouden
- Beveiliging
Zekerheid dat raadpleging of mutatie van de gegevens uitsluitend mogelijk is door die
personen die daartoe bevoegd zijn
- Bruikbaarheid
De mate waarin het informatiesysteem op de organisatie en het profiel van de
eindgebruikers, voor wie het bedoeld is, alsmede de mate waarin het informatiesysteem
bijdraagt aan het bereiken van de bedrijfsdoelstellingen
- Connectiviteit
Het gemak waarmee een koppeling met een ander informatiesysteem of binnen het
informatiesysteem tot stand kan worden gebracht en kan worden gewijzigd
, - Continuïteit
De zekerheid dat de gegevensverwerking ongestoord zal kunnen voortgaan, dat wil
zeggen ook na ernstige storingen binnen redelijke termijn kan worden hervat
- Controleerbaarheid
Het gemak waarmee de juistheid en volledigheid van de informatie (in de loop van de
tijd) gecontroleerd kunnen worden
- Flexibiliteit
De mate waarin de gebruiker zelf uitbreidingen of variaties op het informatiesysteem kan
aanbrengen zonder dat de programmatuur wordt aangepast
- Functionaliteit
Mate van zekerheid dat de verwerking van de gegevens juist en volledig geschiedt
- Gebruiksvriendelijkheid
Bedieningsgemak van het systeem voor de eindgebruikers
- Herbruikbaarheid
De mate waarin delen van het informatiesysteem, of van het ontwerp, opnieuw kunnen
worden gebruikt voor de ontwikkeling van andere toepassingen
- Infrastructuur
Geschiktheid van de apparatuur, het netwerk, de systeemsoftware, het DBMS en de
technische architectuur in algemene zin voor de betreffende toepassing en de mate
waarin deze infrastructuur-elementen op elkaar aansluiten
- Inpasbaarheid
De mate waarin de handmatige en het geautomatiseerde informatiesysteem op elkaar
aansluiten en de werkbaarheid van deze handmatige procedures voor de organisatie
- Onderhoudbaarheid
Het gemak waarmee het informatiesysteem kan worden aangepast aan nieuwe wensen
van de gebruiker, aan de veranderende externe omgeving of om fouten te herstellen
- Performance
De snelheid waarmee het informatiesysteem interactieve en batch-transacties afhandelt
- Portabiliteit
De diversiteit van het hardware-en softwareplatform waarin het informatiesysteemkan
draaien, en het gemak waarmee het systeem kan worden overgebracht van de ene naar
de andere omgeving
- Testbaarheid
Het gemak en de snelheid waarmee de functionaliteit en het prestatieniveau van het
systeem (na iedere aanpassing) getest kan worden
- Zuinigheid
De verhouding tussen het prestatieniveau van het systeem (uit te drukken in het
transactievolume en de totale snelheid) en de hoeveelheid resources die daarvoor
gebruikt worden
Een testobject is het te testen (deel van het) informatiesysteem. Dit kan bestaan uit Hard-/Software,
applicatiesoftware organisatie, procedures, documentatie of implementatie.
Valkuilen van testen
Testen is (onder andere) niet:
1. Het vrijgeven of accepteren
2. Een fase ná ontwikkeling (testen loopt parallel met de ontwikkeling)
3. Iets anders dan het implementeren van een informatiesysteem
4. Het opleiden voor gebruik of beheer
Het is de taak van een testmanager om te voorkomen dat er in 1 van de valkuilen wordt getrapt.
,Nadelen van ongestructureerd testen:
- Tijdsdruk
- Geen inzicht en advies kunnen geven over de kwaliteit van het systeem
- Inefficiënt en ineffectief
- Ontbreken van afspraken
- Niet-/onjuist gebruiken van de vaak wel aanwezige testhulpmiddelen
- Ontbreken van prioriteiten
Voordelen voor gestructureerde testaanpak:
- Inzetbaar in elke situatie
- Geeft inzicht in- en advies over eventuele risico’s
- Vindt fouten in een vroeg stadium
- Voorkomt fouten
- Testproces is inzichtelijk en beheersbaar
Kenmerken gestructureerde testaanpak
- Biedt structuur (Wat, door wie, wanneer, in welke volgorde)
- Omvat de volledige scope en beschrijving van het complete scala aan relevante aspecten
- Biedt concrete handvatten
- Sturen van testactiviteiten in het kader van tijd, geld en kwaliteit
Er zijn verschillende manieren waarop getest kan worden. Een aantal manieren zijn:
- Expliciet testen
Ontworpen om informatie over het betrokken kwaliteitsattribuut te verkrijgen
Door executie van het testobject dan wel het runnen van software wordt het actuele
resultaat vergeleken met het verwachte resultaat om zo te bepalen of het systeem zich
als vereist gedraagt
- Impliciet testen
Hier is geen expliciet testgeval voor ontworpen
Bijvoorbeeld voor gebruikersvriendelijkheid of performance van een systeem op basis
van tijdens het testen opgedane ervaringen
TMap in essenties
Tmap is in vier essenties onder te verdelen:
1. BDTM-aanpak (Business Driven TestManagement)
2. Gestructureerd testproces
3. Bevat een complete gereedschapskist
4. Adaptieve testmethode
, IT-Governance laat projecten sturen op 4 aspecten: Resultaat, Risico, Tijd & Kosten.
Business case: geeft rechtvaardiging voor het project weer en geeft antwoord op de vragen: waarom
doen we dit, welke investeringen zijn hiervoor nodig, wat wil de opdrachtgever met het resultaat
bereiken?
TMap gaat er vanuit dat een projectaanpak die is gebaseerd op business case voldoet aan de
volgende kenmerken:
1. Aanpak is gericht op het behalen van een vooraf gedefinieerd resultaat
2. Totale project om dat doel te behalen, wordt binnen de beschikbare (doorloop)tijd
gerealiseerd
3. Het project om dit resultaat te behalen wordt gerealiseerd tegen kosten die in balans zijn
met de baten die de organisatie wil halen
4. Risico’s zijn bij in-productie name bekend en zijn zo klein mogelijk
BDTM heeft de volgende kenmerken:
- Totale testinspanning is gerelateerd aan de risico’s van het te testen systeem voor de
organisatie
- Begroting en planning voor het testproces zijn gerelateerd aan de opgestelde teststrategie
- Op verschillende momenten in het testtraject wordt de opdrachtgever betrokken bij het
maken van keuzes
De stappen van een BDTM-aanpak:
1. Formuleren opdracht en verzamelen van testdoelen
Een testdoel is een voor de opdrachtgever en andere acceptanten relevant doel voor het
testen.
2. Bepalen van de risicoklasse per combinatie van kenmerk en deelobject
Als er sprake is van meerdere testsoorten word in een plan over alle testsoorten heen
bepaald welke testsoorten moeten worden ingericht (MasterTestPlan)
Ontstaan van een iteratief traject
3. Bepalen of een combinatie van kenmerk en deelobject licht of zwaar moet worden getest.
Risicoklasse wordt als uitgangspunt gehanteerd: hoe hoger het risico, hoe zwaarder de
test
4. Test wordt op hoofdlijnen begroot en in een planning uitgezet
Einde iteratief traject
5. Toewijzen van testtechnieken aan de combinaties van kenmerk en deelobject
Als opdrachtgever en andere betrokkenen het eens zijn met de begroting en de planning,
wordt door de testmanager een Testontwerptabel ingevuld.
6. Testmanager geeft gedurende het gehele proces aan de opdrachtgever en andere
betrokkenen voldoende inzicht en sturingsmogelijkheden over:
Voortgang van het proces
Kwaliteit en risico’s van het testobject
Kwaliteit van het proces
Voordelen BDTM-aanpak:
- Door opdrachtgever stuurbaar proces
- Testmanager rapporteert en communiceert met informatie die zinvol is
