ÚVOD

Při Centru bezpečnostních a vojenskostrategických studií Univerzity obrany (dále jen CBVSS UO) jsou organizovány kurzy pro vyšší důstojníky a kurzy generálního štábu v prezenční a kombinované formě studia (dále jen KGŠ-P, KGŠ-K, KVD-P a KVD-K).

Tyto kariérové kurzy (dále jen KK) jsou součástí systému přípravy personálu ozbrojených sil České republiky[1]. Evaluace kvality vzdělávání v KK představuje řadu provázaných činností s využitím Kirkpatrickova modelu hodnocení efektivity.

1. Evaluace reakce. K tomu to účelu účastníci KGŠ-P provádí denní hodnocení tématu a lektora[2], dále účastníci všech KK vyplňují evaluační dotazníky ke studijním předmětům, celkově za kurz a k využití podpory e-learningovým prostředím LMS MOODLE. Vyplnění dotazníků je pro účastníky kurzů dobrovolné, probíhá po skupinách nebo individuálně a je anonymní. Následují otevřené diskuse účastníků kurzů s pedagogy a vedením CBVSS UO, které jsou dalším nástrojem k průběžnému zlepšování kurzů po obsahové i organizační stránce.
2. Evaluace poznání. K tomuto účelu jsou prováděna měření studijního progresu účastníků kurzů pomocí srovnávacích testů, vždy bezprostředně před zahájením a po skončení jednotlivých studijních předmětů. Vyplnění srovnávacích testů je pro účastníky kurzu neklasifikovanou studijní povinností a je anonymní. Hodnotí se průměrný studijní progres všech účastníků daného kurzu, a to celkově v předmětu i v jednotlivých otázkách. Úroveň znalostí v jednotlivých otázkách na vstupu a výstupu poskytuje pedagogům informaci o potřebě změn zaměření nebo metod výuky, ale také o samotném testu – jeho náročnosti a pokrytí problematiky předmětu. V souvislosti se značnými individuálními rozdíly ve vstupních znalostech a tím dosažitelného progresu se uvažuje o zavedení minima pro zápis do kurzu.
3. Evaluace přenosu vědomostí do praxe. K tomuto účelu jsou od akademického roku (dále jen AR) 2015-16 prováděna dotazníková šetření mezi absolventy KK. Respondenti jsou v této fázi subjektem i objektem hodnocení, kontrolní skupinou jsou jejich nadřízení a podřízení.
4. Evaluace dopadu vzdělávání na organizaci. K tomuto účelu jsou zaváděna dotazníková šetření mezi nadřízenými absolventů KGŠ s časovým odstupem.  

Míra zavedení Kirkpatrickova modelu v obecné praxi od první fáze k poslední strmě klesá, což může vést k nepřesným evaluačním závěrům[3]. Proto jsou u KK při CBVSS UO zaváděny třetí a čtvrtá fáze modelu, zatímco první dvě fáze jsou již několik let zavedeny. Za účelem provázání těchto fází, zjištění časových trendů a srovnání odpovědí různých respondentů byla provedena aktualizace dotazníků k ujednocení otázek při zohlednění odlišností stupňů a forem studia.

V kontextu systému evaluace kvality vzdělávání při CBVSS UO se tento článek zabývá validitou zpětné vazby v dotaznících celkově za kurz u KVD-K, tvořících přibližně 65 % účastníků všech KK.

1 PŘÍNOS ZAVEDENÍ DOTAZNÍKŮ ONLINE

Do AR 2015-16 byly dotazníky celkově za kurz účastníky vyplňovány individuálně v papírové podobě. V případě kurzů organizovaných v kombinované formě studia to znamenalo vyplňování dotazníků v danou dobu na daném místě při závěrečném soustředění. Tím byla omezena míra dobrovolnosti i čas a klid respondentů k promyšlení odpovědí, další nevýhodou byla nemožnost s účastníky prodiskutovat výsledky šetření pro nedostatek času na vyhodnocení. U absolventů kurzu s časovým odstupem byly tyto nedostatky odstraněny umožněním elektronického odeslání textové verze vyplněných dotazníků, tím však mohl být ovlivněn jejich subjektivní pocit anonymity. Společným nedostatkem byla nemožnost kontroly vyplnění požadovaných položek před odevzdáním dotazníku.

Od AR 2016-17 jsou proto účastníkům KVD-K evaluační dotazníky celkově za kurz zpřístupňovány online v dotazníkové aplikaci LMS MOODLE. Zavedení dotazníků online odstranilo výše uvedené nedostatky a přineslo výhody při zachování základních požadavků.

• Zůstává zachována dobrovolnost vyplnění.
• Zůstává zachována anonymita respondentů. Zaručena je nastavením dotazníkové aplikace LMS MOODLE, přestože z důvodu řízení přístupu je nutná identifikace přihlášením do Informačního systému UO.
• Zlepšila se přístupnost dotazníku z hlediska času (neomezená doba na vyplnění, nepřetržitě po několik dnů na konci kurzu) i místa (mohou vyplnit i účastníci nepřítomní na soustředění).
• Zlepšila se možnost obdržená data vyhodnotit bez ručního třídění a přepisování. Byly eliminovány nečitelné zápisy, ubylo komentářů psaných do nesprávné části dotazníku a nesrozumitelných formulací, které ztěžovaly zpracování výsledků.
• Zlepšila se možnost s respondenty při závěrečném soustředění prodiskutovat dílčí výsledky.
• Zlepšila se kompletnost obdržených dat. Lze odeslat jen kompletně vyplněný dotazník.
• Zlepšila se validita obdržených dat. Především výrazně ubylo jevů zjištěných u dotazníků v papírové podobě – stejných formulací respondentů sedících vedle sebe, nekonkrétních a nekonstruktivních komentářů, nevyvážených názorů a využití dotazníku k uvolnění frustrace.
• Zůstává srovnatelný výsledný počet odevzdaných dotazníků využitelných k evaluaci kurzu. Zvýšení tohoto počtu může být dosaženo rozdělením dotazníku na části, např. za 1. měsíc a za zbývající dobu kurzu. Viz Tab. 1.

Tabulka č. 1: Srovnání využití dotazníků v papírové podobě a online

2 METODA URČENÍ KONZISTENCE SAD ODPOVĚDÍ

Zavedení dotazníků online výrazně eliminovalo nevalidní sady odpovědi. Přetrvává však výskyt nevalidních sad, které jsou nekonzistentní ve smyslu rozporů v jednotlivých odpovědích. Tyto je nutno rozpoznat a ve vyhodnocení dotazníků filtrovat.

K rozpoznání tzv. lži-faktoru slouží metody srovnání odpovědí na speciální kontrolní otázky např. v osobních dotaznících a osobnostních testech[4]. Vychází se přitom z předpokladu, že odpovídá-li respondent na kontrolní otázky nekonzistentně, ukazuje to na nepravdivost či sníženou validitu celé sady odpovědí. K tomu je obvykle nutno vhodné kontrolní otázky do daného dotazníku přidat. To je však u evaluačních dotazníků KK nežádoucí i vzhledem k jejich uvedeným nedávným účelným aktualizacím. Proto byla navržena metoda výběru kontrolních otázek ze stávajícího dotazníku a kvantifikace konzistence sad odpovědí jednotlivých respondentů.

Dále bude metoda popsána na příkladu evaluačního dotazníku celkově za kurz u KVD-K v AR 2016-17. Dotazník byl zpřístupněn online, obsahoval 17 otázek se zpravidla se opakující úvodní formulací, proto celkový počet položek dotazníku byl 42. U většiny položek šlo o subjektivní hodnocení na dané třístupňové až pětistupňové škále, v několika případech byl umožněn doplňující volný komentář k vyjádření subjektivních hodnocení i doporučení a v jednom případě byla možnost doporučení pomocí vícenásobného výběru z dané nabídky. Komentáře byly vyžadovány pouze k hodnocením nejhorším stupněm, vyplnění ostatních položek bylo povinné, tedy nutné k odeslání dotazníku. Pro účely tohoto článku není uvedeno plné znění dotazníku ani všech odpovědí.

Respondentům bylo před zpřístupněním dotazníku objasněno, že vzhledem k určení kurzu a schválené základní učební dokumentaci lze v omezené míře měnit obsah, metody a formy vyučování, popřípadě časové parametry, nikoli však výrazně celkový objem látky a z něj vyplývající studijní zátěž. Z tohoto praktického omezení vycházela základní myšlenka pro posouzení konzistence odpovědí podle jejich vyváženosti:

• Doporučení respondentů např. na snížení časových parametrů kurzu by měla být spojena s jen minimálními doporučeními na zvýšení objemu látky nebo se subjektivním  hodnocením studijní zátěže jako nízké, popř. efektu kurzu jako vysokého.
• Apod., analogicky.

Na základě uvedené základní myšlenky byly z daných otázek dotazníku účelně vybrány kontrolní otázky, a to ve třech mezi sebou logicky souvisejících oblastech. Tyto pokrývají přibližně polovinu dotazníku (10 ze 17 otázek a 19 ze 42 položek), proto konzistence odpovědí v nich má vysokou vypovídací hodnotu o konzistenci celých sad odpovědí jednotlivých respondentů.

1. Objem

• Subjektivní hodnocení na dané škále (studijní zátěž v jednotlivých studijních předmětech).
• Doporučení úprav vybraných parametrů (výběr libovolného počtu stávajících studijních předmětů k podrobnějšímu probrání, komentář navrhující zařadit dílčí novou tematiku).

2. Čas

• Subjektivní hodnocení (komentář k délce kurzu, délce a četnosti studijních soustředění).
• Doporučení úprav vybraných parametrů číslem – počtem měsíců (délka kurzu) a na dané škále (délka a četnost studijních soustředění).

3. Efekt

• Subjektivní hodnocení na dané škále (využití studijních předmětů v praxi, zlepšení teoretické připravenosti pro další kariéru a rozvoj vybraných schopností).
• Úprava vnímaného efektu byla možná nepřímo prostřednictvím doporučení úprav uvedených parametrů objemu a času, případně komentářů v jiné části dotazníku.

Konzistence odpovědí každého respondenta byla posuzována podle rovnováhy odpovědí na otázky mezi definovanými oblastmi objemu, času a efektu. K tomu byly kvantifikovány hodnoty faktorů objemu , času  a efektu , a to na základě stanovení referenčních hodnot a přiřazení vah odchylek dílčích parametrů. Viz Tab. 2, Tab. 3 a Tab. 4.

Tabulka č. 2: Přiřazení hodnot faktoru objemu.

Tabulka č. 3: Přiřazení hodnot faktoru času

Tabulka č. 4:  Přiřazení hodnot faktoru efektu

Algoritmus určení konzistence sad odpovědí se odvíjel od stanovení hodnoty faktoru konzistence C jako součtu hodnot definovaných faktorů objemu V, času  T a efektu E, viz (1) a Tab. 5. 

                                                                                                                                     C = V + T + E    (1)

Tabulka č. 5: Určení konzistence sady odpovědí z absolutní hodnoty faktoru konzistence.

Vliv na výsledek, tedy na určení faktoru konzistence a rozdělení sad odpovědí na konzistentní a nekonzistentní, mají všechny jednotlivé kroky metody, od výběru kontrolních otázek po stanovení vah odchylek od referenčních hodnot odpovědí. Referenční hodnoty odpovědí lze vzhledem k obdrženým odpovědím stanovit:

• Předem – nezávisle (např. jako hodnotu reálného stavu, střed nabízené škály nebo jinou očekávanou hodnotu). Tento přístup je vhodný u otázek typu doporučení úprav vůči objektivně měřitelnému stavu. V tomto případě byl tento přístup použit u doporučení úprav parametrů času, viz Tab. 3.
• Dodatečně – závisle (např. jako průměr hodnot z obdržených odpovědí). Tento přístup je vhodný u otázek typu subjektivních hodnocení, popř. doporučení úprav stavu, který není objektivně měřitelný nebo nemá omezení očekávané hodnoty. V tomto případě byl tento přístup použit u subjektivních hodnocení efektu kurzu, studijní zátěže a doporučení na podrobnější probrání studijních předmětů, viz Tab. 2 a Tab. 4.

Průměr obdržených odpovědí zejména u subjektivních hodnocení může ležet mimo jakoukoli referenční hodnotu stanovenou předem – nezávisle, v ní naopak mohou ležet extrémní odpovědi v rámci dané skupiny respondentů. V takových případech je k vyhodnocení odchylek vhodné referenční hodnotu stanovit dodatečně – závisle, právě jako průměr obdržených odpovědí. Pak ovšem v jednotlivých sledovaných parametrech dochází k posunu normy v závislosti na charakteristikách skupiny posuzovaných sad odpovědí. Tím je ovlivněno vyhodnocení odchylek a tím i výsledné rozdělení posuzovaných sad odpovědí na konzistentní a nekonzistentní. Tatáž sada odpovědí tak může být posouzena odlišně v jiných skupinách sad odpovědí. Např. v zúžené skupině sad odpovědí, určených jako nekonzistentní, mohou být některé sady při opakovaném posouzení určeny jako konzistentní, ale také analogicky naopak.

V tomto případě se však uvedený nedostatek zásadně neprojevil, přestože 62,5 % referenčních hodnot bylo stanoveno dodatečně – závisle. 87,5 % nekonzistentních sad odpovědí totiž bylo určeno na základě odchylek od referenčních hodnot odchylek stanovených předem – nezávisle, tedy parametrů času. Doporučení autorů nekonzistentních sad odpovědí na úpravy parametrů času byla totiž protichůdná s jejich doporučeními k podrobnějšímu probrání studijních předmětů, případně se subjektivními hodnoceními stávající studijní zátěže a efektu kurzu. Příklady odpovědí na vybrané kontrolní otázky u nekonzistentních sad odpovědí jsou uvedeny níže.

• Zkrátit kurz na 1 měsíc, kratší a méně častá studijní soustředění vs. ve všech předmětech studijní zátěž hodnocena jako vysoká (3 ze 4; ø=2,29).
• Zkrátit kurz na 2 měsíce, kratší a stejně častá studijních soustředění vs. kurz provádět pouze prezenčně, přitom tématiku zachovat (komentář) vs. podrobněji probrat 2 ze 4 předmětů.
• Zkrátit kurz na 2 měsíce, stejně dlouhá a stejně častá studijní soustředění vs. zlepšení teoretické připravenosti a rozvoj schopností hodnoceny jako střední (3 z 5; ø=2,72).
• Zkrátit kurz na 3 měsíce, stejně dlouhá a méně častá studijní soustředění vs. podrobněji probrat 1 ze 4 předmětů a zlepšení teoretické připravenosti a rozvoj schopností hodnoceny jako střední (2,8 z 5; ø=2,72).
• Zkrátit kurz na 5 měsíců, stejně dlouhá a stejně častá studijní soustředění vs. podrobněji probrat 1 ze 4 předmětů a studijní zátěž hodnocena jako vysoká (3 z 4; ø=2,29).
• Zkrátit kurz na 6 měsíců, stejně dlouhá a stejně častá studijní soustředění vs. podrobněji probrat 3 ze 4 předmětů a studijní zátěž hodnocena až jako vysoká (2,5 ze 4; ø=2,29).
• Zkrátit kurz na 6 měsíců, kratší a méně častá studijní soustředění vs. ve všech předmětech studijní zátěž hodnocena jako vysoká (3 ze 4; ø=2,29).
• Prodloužit kurz na 12 měsíců, delší a častější studijní soustředění vs. dosažené zlepšení teoretické připravenosti pro další kariéru hodnoceno nejlepší známkou (1 z 5; ø=2,72).

3  ZJIŠTĚNÉ CHARAKTERISTIKY AUTORŮ NEKONZISTENTNÍCH SAD ODPOVĚDÍ

U nekonzistentních sad odpovědí lze sledovat společné charakteristiky, které je odlišují od ostatních sad odpovědí. Některé tyto charakteristiky přímo vyplývají z metody určení konzistence, protože jde o srovnání odpovědí na otázky použité jako kontrolní pro určení konzistence, které navíc rozhodující měrou rozhodly o nekonzistenci sady. Příkladem jsou rozdíly u parametrů času, které autoři nekonzistentních sad odpovědí většinou doporučovali snížit. Konkrétně délku kurzu ze stávajících 10 měsíců průměrně doporučovali zkrátit na 4,6 měsíce, zatímco ostatní respondenti méně razantně na 8,2 měsíce.

K porovnání nekonzistentních sad odpovědí s ostatními sadami odpovědí byly ve většině případů vybrány porovnávací otázky, které nebyly použity jako kontrolní k určení konzistence sad odpovědí. Tím je vyloučeno nebo výrazně eliminováno předurčení zjištěných charakteristik samotnou metodou určení konzistence sad odpovědí. Porovnávací otázky tvoří téměř polovinu dílčích položek dotazníku, proto rozdíly v odpovědích na porovnávací otázky mají vysokou vypovídací hodnotu o rozdílných charakteristikách porovnávaných skupin. Provedené porovnání tedy přesvědčivě ukazuje společné charakteristiky, které autory nekonzistentních sad odpovědí odlišují od ostatních respondentů.

a) Nižší kritičnost v subjektivních hodnoceních efektu kurzu na respondenty. Viz Tab. 6.

Zjištěna byla ze tří subjektivních hodnocení, totožných se sledovanými parametry efektu a tvořících 37,5 % všech sledovaných parametrů objemu, času a efektu. Ovšem pouze 12,5 % sad odpovědí, určených jako nekonzistentní, bylo takto určeno právě na základě nízké kritičnosti k efektu kurzu na respondenty, a to u jediného ze tří sledovaných parametrů efektu – dosažené teoretické připravenosti pro další kariéru, navíc především kvůli spojení s doporučeními na zvýšení všech parametrů času. Tedy metoda určení nekonzistentních sad odpovědí tuto jejich charakteristiku předurčila pouze v zanedbatelné míře.

b) Vyšší kritičnost v subjektivních hodnoceních průběhu kurzu. Viz Tab. 7.

Zjištěna byla ze tří subjektivních hodnocení, nepatřících ke sledovaným parametrům objemu, času a efektu. Tedy nebyla předurčena metodou určení nekonzistentních sad odpovědí.

c) Nižší konstruktivnost, nedostatečná adresnost a nekonkrétnost v doporučeních změn formou komentářů. Viz Tab. 8.

Zjištěny byly jako objektivní fakt, nepředurčený metodou určení nekonzistentních sad.

Tabulka č. 6: Srovnání sad odpovědí podle kritičnosti respondentů k efektu kurzu na ně samotné

Tabulka č. 7: Srovnání sad odpovědí podle kritičnosti respondentů k průběhu kurzu

Tabulka č. 8: Srovnání sad odpovědí podle konstruktivnosti komentářů a konkrétnosti doporučení

4  Další využití získaných poznatků

Jako nevalidní bylo u KVD-K v AR 2016-17 uvedenou metodou určeno 7 % požadovaných, resp. 23 % obdržených sad odpovědí, viz Tab. 1. Oproti dotazníkům v AR 2015-16 vyplňovaných v papírové podobě jde o sice podstatně menší, ale stále významnou část respondentů, jmenovitě vzhledem k provedeným opatřením:

• Dobrovolnost vyplnění dotazníku. Tedy nikdo nebyl nucen vyjadřovat případně vnitřně neujasněný názor.
• Zpřístupnění dotazníku online v LMS MOODLE po dobu delší než 1 týden na konci kurzu a neomezená doba na vyplnění. Tedy dostatečná doba na promyšlení a případné přeformulování odpovědí.
• Pozitivní motivace respondentů před zpřístupněním dotazníku. Bylo jim vysvětleno, že jejich odpovědi pomáhají upravovat kurz, konkrétně u jejich kurzu byla zohledněna dotazníková doporučení účastníků předchozího běhu mj. k časovým parametrům kurzu.

Ukazuje to na nutnost počítat s přirozeným výskytem respondentů s nekonzistentními názory a přijmout k tomu opatření.  Proto je při vyhodnocování evaluačních dotazníků kariérových kurzů při CBVSS UO záměr pokračovat ve filtrování odpovědí, i s využitím kvantifikace konzistence sad odpovědí. Cílem je pro průběžné aktualizace kurzů po obsahové i organizační stránce získat co nejvíce validní podklady.

Dalším požadavkem je objem získaných podkladů, tedy aby odpovědi poskytlo co nejvíce oslovených respondentů, viz Tab. 1. To však může být kontraproduktivní; jak ukazuje i srovnání uvedených zkušeností s vyplňováním dotazníků hromadně v papírové formě a online, požadavky na objem a kvalitu bývají často protichůdné.

Jednou z vyloučených variant řešení bylo u účastníků kurzů zrušit dobrovolnost vyplnění dotazníků a stanovit je jako neklasifikovanou studijní povinnost, podmiňující přístup ke klasifikovaným studijním povinnostem, např. k poslednímu testu v LMS MOODLE.

• U mnoha účastníků by to mohlo nepříznivě ovlivnit vnímání dotazníku jako překážky v plnění klasifikované studijní povinnosti, tím kvalitu jejího zvládnutí i kvalitu vyplnění dotazníku.
• Vzhledem k nastavené anonymitě dotazníků online by nebylo možné odeslané odpovědi změnit v době zbývající do konce kurzu, která je v dotaznících rovněž hodnocena.

Během AR 2017-18 je proto u KVD-K zavedeno řešení, které spojuje požadavky na kvalitu i kvantitu získaných odpovědí. Spočívá v ponechání dotazníků ve formě aplikace online, v ponechání dobrovolnosti jejich vyplnění a především v rozdělení dotazníku na vhodně vybrané části, které jsou účastníkům předkládány již v průběhu kurzu.

• Změny zavedené ještě během daného kurzu na základě odpovědí na část dotazníku by měly posílit motivaci účastníků pro vyplnění jeho další části.
• Postupné vyplňování částí dotazníku umožňuje účastníkům kurzů odpovídat na aktuální otázky, které mají v čerstvé paměti; na závěr je umožněno srovnání jednotlivých fází kurzu. Častější dotazování není vnímáno negativně, vzhledem k ověřené praxi denních hodnocení.
• Konzistenci sad odpovědí je nutno posuzovat odděleně pro jednotlivé části dotazníku, protože je téměř jistě vyplní rozdílné skupiny respondentů, což nelze ověřit z důvodu nastavené anonymity.

ZÁVĚR

Z uvedených poznatků je zřejmé, že nahrazením papírové podoby dotazníku celkově za kurz dotazníkovou aplikací online se nejen zlepšila přístupnost respondentům a usnadnilo vyhodnocení zpracovateli, ale především se značně zvýšila validita odpovědí. Vyplnění dotazníků online patrně respondenti věnovali lepší pozornost; vliv mohly sehrát i pochybnosti o zaručení anonymity – sice neopodstatněné, ale v tomto smyslu přínosné. Přestože dotazník online vyplnila menší část oslovených respondentů, zůstává srovnatelný počet využitelných sad odpovědí.

Přes opatření k eliminaci nevalidních odpovědí, k nimž podle získaných výsledků patří i forma dotazníku online, se nadále vyskytují odpovědi nevalidní ve smyslu nekonzistence sad odpovědí jednotlivých respondentů. Z toho lze usuzovat na přirozenost výskytu nekonzistence odpovědí a přijmout k tomu navržená opatření. Ta vedle kvality umožní zvýšit i kvantitu obdržených odpovědí, a to rozdělením dotazníku na části předkládané účastníkům od počátku kurzu a jejich pozitivní motivací k vyplnění dalších části zavedením možných zlepšení na základě jejich odpovědí již v průběhu jejich kurzu.

K filtrování nekonzistentních odpovědí byla navržena metoda určení konzistence sad odpovědí. Klíčem k metodě je z daného dotazníku vybrat několik kontrolních otázek – nebo jako ve zde popisovaném případě několik oblastí kontrolních otázek pokrývajících přibližně polovinu dotazníku – tak, aby u odpovědí na ně mohla být posouzena rovnováha v rámci těchto oblastí i mezi nimi. Nezbytným krokem metody je pro odpovědi na kontrolní otázky vhodně kvantifikovat referenčních hodnoty a váhy odchylek, z nichž vychází posouzení vnitřní rovnováhy sad odpovědí.

V tomto kontextu je symbolické, že i zdánlivě protichůdné požadavky a názory mohou být v rovnováze. Žádoucí rovnováhu u kariérových kurzů garantovaných CBVSS UO představuje optimum mezi zadáním primárního zákazníka – Ministerstva obrany a zpětnou vazbou sekundárního zákazníka – účastníků a absolventů kurzů i jejich pracovního okolí. Jednou z podmínek dosažení tohoto cíle je věnovat pozornost především validním odpovědím na evaluační dotazníky. Pokud se to podaří třeba i díky jejich rozeznání metodou určení konzistence sad odpovědí, pak tento výzkum splní svůj účel.

Vedlejším produktem stanovení nekonzistentních sad odpovědí jsou zajímavá zjištění společných charakteristik jejich autorů, odlišujících je od ostatních respondentů. Bylo přitom téměř vyloučeno předurčení těchto charakteristik samotnou metodou určení konzistence sad odpovědí pomocí vybraných kontrolních otázek, protože tyto charakteristiky byly zjištěny následným porovnáním odpovědí převážně na jiné otázky dotazníku. Porovnávací otázky v uvedeném případě tvoří téměř polovinu dotazníku, proto odpovědi na ně mají vysokou vypovídací hodnotu o rozdílných charakteristikách porovnávaných skupin respondentů. Bylo tedy přesvědčivě prokázáno, že autoři nekonzistentních sad odpovědí jsou kritičtější v subjektivních hodnoceních průběhu kurzu, avšak méně adresní, méně konkrétní a méně konstruktivní v doporučeních změn, současně jsou výrazně méně kritičtí k efektu kurzu na ně samotné a jejich připravenost pro další kariéru.

Představená metoda i vedlejší produkt – zjištěné společné charakteristiky autorů nekonzistentních sad odpovědí – jsou využitelné pro posouzení validity odpovědí a jejich filtrování při vyhodnocování dotazníků hodnocení kvality vzdělávání, spokojenosti a dotazníků obecně. Téměř u každé činnosti lze totiž posuzovat rovnováhu odpovědí na otázky v oblastech objemu, času a efektu, případně v jiných vhodně zvolených logicky souvisejících oblastech. Při takto vhodně zvolených oblastech, jako ve zde popisovaném případě dotazníku k průběhu kariérového kurzu, je výhodou metody vyloučení vlivu odborného zaměření či pracovního zařazení respondentů apod. na získané výsledky.

 Poznámky k textu a použitá literatura

[1] ČEP, David. Kariérové kurzy jako nedílná součást celoživotního vzdělávání důstojníků OS ČR. In: XXXV. mezinárodní kolokvium o řízení vzdělávacího procesu. Brno, 2017, s. 27-32. ISBN 978-80-7231-419-5.

[2] NĚMEČEK, Vojtěch, Jaroslav KOLKUS a František MIČÁNEK. Vojenské kariérové kurzy pro přípravu vyšších důstojníků. Vojenské rozhledy [online]. 2014, 2355(3) [cit. 2017-08-25]. ISSN 2336-2995. Dostupné z: http://www.vojenskerozhledy.cz/kategorie-clanku/vzdelavani-a-vycvik/vojenske-karierove-kurzy-pro-pripravu-vyssich-dustojniku.

[3] TENKL, Miroslav. Kirkpatrickův čtyř-úrovňový model: teorie, praktické využití a možná úskalí. Evaluační teorie a praxe [online]. 2014, 2014(1) [cit. 2017-08-25]. Dostupné z: https://www.evaltep.cz/inpage/kirkpatrick/.

[4] Typy otázek v dotazníku. Speciální typy otázek. Otázky na lži-faktor. Dotazník-online ... jak na dotazník [online]. b.r. [cit. 2017-08-25]. Dostupné z: http://www.dotaznik-online.cz/otazky-dotazniku.htm.