Systém zde popisovaný má umožnit vyučujícím vytvářet pro jednotlivé předměty databáze otázek, na jejich základě generovat testy a (v případě on-line testování) je předkládat studentům k vyplnění a následně (automaticky) hodnotit. Měl by vést k zjednodušení práce při ověřování znalostí.

Následující body ve stručnosti představují funkčnost a data, která by systém měl poskytovat.

• Otázka může být "obyčejná" nebo "klíčová" (odpověď na ni by měl student vždy znát) nebo "chyták" (info pouze pro vyučujícího). Otázka může být pouze jednoho typu.

Diplomová práce - zadání

1. Prostudujte dostupné systémy pro on-line testování znalostí
2. Seznamte se s možnostmi zabezpečení a omezení přístupu u webových aplikací na platformě Java
3. Navrhněte model funkčnosti a datový model aplikace pro automatické generování testů
4. Aplikaci ve vhodné technologii implementujte a prověřte její funkčnost na vhodném vzorku dat

(Mimo oficiální zadání: bod 1 vč. implementací z ASWI 2006)

Viz KategorieProjekty

Viz CategoryProjekty

• J.Fořt - KEV

Odkazy a informace

• http://etesty.mdcr.cz/ - podobný systém pro autoškoly ;-)

Zainteresované osoby

• P.Brada, M.Šimek, P.Herout - KIV
• J.Fořt - KEV

Výsledný systém má umožnit vyučujícím vytvářet pro jednotlivé předměty databáze otázek, na jejich základě generovat testy a (v případě on-line testování) je předkládat studentům k vyplnění a následně (automaticky) hodnotit. Měl by vést k zjednodušení práce při ověřování znalostí.

Funkce - viz kdo co může dělat, kde je také naznačeno pořadí důležitosti pro implementaci, a s čím se pracuje. První vlna je pro ASWI.

Uživatelé

• katedrální administrátor
• správce systému
• student
• vyučující

Funkce - viz obrázek, kde je také naznačeno pořadí důležitosti pro implementaci. První vlna je pro ASWI.

• editovat test
• exportovat otázky
• exportovat test
• generovat test
• importovat otázky
• importovat seznam studentů na předmětu
• odhlásit
• ohodnotit offline test
• prohlížet hodnocení
• prohlížet statistiky otázek
• prohlížet testy
• prohlížet vzorové otázky
• prohlížet záznamy o přístupech
• přihlásit
• přiřadit studenty k testu
• přiřadit vyučujícího k předmětu
• schválit vyučujícího
• správa kateder
• správa otázek
• správa předmětů
• správa skupin otázek
• tisknout vyplněný test
• tisknout zadání testu
• vyplnit online test
• zaregistrovat předmět
• zaregistrovat se
• změnit parametry testu
• zrušit/smazat test
• zveřejnit test

• Bude členěno na katedry a předměty, možno zaregistrovat sebe a předmět
• Zadávat otázky pro předmět až po schválení registrace katedrálním adminem.
• Systém bude umět importovat seznam studentů pro předmět ze STAGu? (parsováním HTML/txt výstupu STAGu?).

Zadávání otázek a odpovědí (MS)

• Systém bude umět importovat/exportovat otázky a odpovědi v XML a CSV formátech.

• Test se odevzdává volbou "odevzdat" nebo vypršením timeoutu.

Statistiky

• Ukládat/zobrazovat se bude historie testů, historie použití otázky a historie výsledků (gradebook).
• Každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).

• Realizace jako webová aplikace, která poběží na jednom serveru a bude přístupná uvnitř univerzity.

• Veškerá komunikace zabezpečená (HTTPS).
• Čas poslední úpravy se nebude evidovat. možná že by se hodilo z toho časem mít datový sklad s historií všech (změn) otázek i všeho ostatního, ale teď není třeba.

• Otázka může být "obyčejná" nebo "klíčová" (ty se mohou povinně objevit v testu) nebo "chyták" (info pouze pro vyučujícího). Otázka může být pouze jednoho typu.

• typ otázky: obyčejná/klíčová/chyták (default: obyčejná)

• vzorová (zda je možné ji zobrazit studentům předem)
• počet odpovědí; pokud je 1, znamená to že jde o otázku doplňovací
• [pro doplňovací] velikost prázdného místa pod zněním otázky (pro offline test)

Bude třeba také odlišit rozpracované otázky od kompletních, rozpracované nejde zařadit do testu a měly by být nějak zvýrazněny při editaci.

• v první verzi je možné použít i vygenerování HTML pro tisk z prohlížeče, případně export testu do CSV/XML pro import do Excelu kde se zformátuje.

• Klíčové otázky budou ve všech vygenerovaných variantách jednoho testu stejné.

Generování testů

Má parametry

• zda používat chytáky; pokud ano, kolik

Zveřejnění

Testy, které vyučující schválí ke zveřejnění, budou připraveny pro on-line vyplnění nebo pro tisk, a uloženy v db v komplet znění.

Při schválení ke zveřejnění se k parametrům testu přidá

• datum + rozmezí časů (kdyby bylo více testů v jeden den)
• [pro on-line] rozmezí/masky IP adres, ze kterých bude přístupný
• [pro on-line] maximální doba k vyplnění testu

Vyplňování a ohodnocení

• Studentovi, který se přihlásí, budou nabídnuty jen ty on-line testy, které jsou v daný čas a místě otevřené, pro předměty do kterých je zavedeno jeho jméno.
• Test se zobrazí teprve když student zvolí "vyplnit test", od té chvíle se začíná odpočítávat čas; zobrazuje se zbývající.
• Test se odevzdává volbou "odevzdat" nebo vypršním timeoutu.

• Přístup jen přes Orion jméno/heslo.
• Každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).

• čas poslední úpravy se nebude evidovat. možná že by se hodilo z toho časem mít datový sklad s historií všech (změn) otázek i všeho ostatního, ale teď není třeba.

Přehled funkcí

Viz obrázek, kde je také naznačeno pořadí důležitosti pro implementaci. První vlna je pro ASWI.

Nejasnosti, které je třeba upřesnit/domluvit/rozmyslet

Zadávání otázek a odpovědí do databáze (MS)

Testy (PB)

Systémové vlastnosti (PB)

• Otázka může být vylučující s jinou otázkou/otázkami. Pak patří do určité "vylučující" skupiny. Každá otázka je v nejvýše jedné takové skupině.
• Bodově se hodnotí buď otázka nebo odpověď(i).

• čas poslední úpravy otázky se nebude evidovat. možná že by se hodilo z toho časem mít datový sklad s historií všech (změn) otázek i všeho ostatního, ale teď není třeba.

• počet bodů za odpověď (pokud se nezadává, tj. boduje se celá otázka, rozpočítá se počet bodů otázky mezi všechny správné odpovědi a záporně mezi všechny chybné; součet bodů je 0)

• Pro off-line se předpokládá, že systém vyrobí PDFka? k vytisknutí (test k vyplnění a "slepou mřížku" pro kontrolu).

• ve všech variantách testu stejné otázky
• ve všech testech jedné varianty stejné pořadí otázek

Po vygenerování testu bude možné prohlížet náhled všech variant, ručně doplnit otázky a to jak doplněním z databáze (výměnou za vygenerovanou otázku) tak zadáním nové otázky (uloží se i do db).

Testy, které vyučující schválí, budou připraveny pro on-line vyplnění nebo pro tisk, a uloženy v db v komplet znění.

• Ukládat/zobrazovat se bude historie testů, historie použití otázky a historie výsledků (gradebook).

• Systém bude umět importovat seznam studentů pro předmět ze STAGu? (parsováním HTML/txt výstupu STAGu?).

• Vyplňování on-line testu, a práce s databází otázek - přístup jen přes Orion jméno/heslo. Každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).
• Studentovi, který se přihlásí, budou nabídnuty jen ty on-line testy, které jsou v daný čas a místě otevřené, pro předměty do kterých je zavedeno jeho jméno.

• MS: co je důležité: ERA model a kompletní zadání otázek do systému přes web, import (oba typy) a ještě bych chtěl vidět historii a gradebook. To se asi neobejde bez generování jednoduchého testu.

• MS: co je důležité: ERA model a kompletní zadání otázek do systému přes web, import (oba typy) a ještě bych chtěl vidět historii a gradebook. To se asi neobejde bez jednoduché generace testu.

• MS: co je důležité: ERA model a kompletní zadání otázek do systému přes web, import (oba typy) a ještě bych chtěl vidět historii a gradebook. To se asi neobejde bez jednoduché generace testu.

• MS: důležité: ERA model a kompletní zadání otázek do systému přes web, import (oba typy) a ještě bych chtěl vidět historii a gradebook. To se asi neobejde bez jednoduché generace testu.

• MS: důležité: ERA model a kompletní zadání otázek do systému přes web, import (oba typy) a ještě bych chtěl vidět historii a gradebook.

• MS: důležité: ERA model a kompletní zadání otázek do systému přes web, import (oba typy)

• MS: důležité: ERA model a kompletní zadání otázek do systému

• MS: coje důležité: ERA model a kompletní zadání otázek do systému

• MS: ddd

• Pro off-line se předpokládá, že systém vyrobí PDFka? k vytisknutí (bez správných odpovědí a "slepou mřížku" pro kontrolu).

• Pro off-line se předpokládá, že systém vyrobí PDF k vytisknutí (bez správných odpovědí a "slepou mřížku" pro kontrolu).

Testy, které vyučující schválí, budou připraveny pro on-line vyplnění nebo pro tisk, a uloženy v db v komplet znění. Ukládat/zobrazovat se bude historie testů, historie použití otázky a historie výsledků (gradebook).

• Systém bude umět importovat/exportovat otázky a odpovědi v XML a CSV formátech.
• Bude členěno na katedry a předměty, možno zaregistrovat se a pak zadávat otázky.
• Vyplňování on-line testu, a práce s databází otázek - přístup jen přes Orion jméno/heslo. Každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).

Import

Systém bude umět importovat/exportovat otázky a odpovědi v XML a CSV formátech.

term

Systém bude umět importovat/exportovat otázky a odpovědi v XML a CSV formátech.

Systém bude umět importovat/exportovat otázky a odpovědi v XML a CSV formátech.

• MS: budou otázky typu "input box", kam může student dopsat odpověď? V tom případě by se měla zadávat ještě "mezera pod otázkou" (to má asi smysl jenom pro off-line testy, když by chtěl někdo rychle překlopit testy do systému).

Systém bude umět importovat/exportovat otázky a odpovědi v XML a CSV formátech.

• aktivní/neaktivní (bude/nebude se používat pro testy)

• Klíčové otázky budou ve všech vygenerovaných testech z jedné dávky stejné.

Po vygenerování testu bude možné jej ručně upravit, nebo doplnit otázky a to jak doplněním z databáze (výměnou za vygenerovanou otázku) tak zadáním nové otázky (uloží se i do db).

Testy, které vyučující schválí, budou připraveny pro on-line vyplnění nebo pro tisk, a uloženy v db v komplet znění.

• ukládat/zobrazovat se bude historie testů, historie použití otázky a historie výsledků (gradebook).

• do jaké "tématické" skupiny patří

• Mohou se generovat on-line nebo off-line testy.
• Pro off-line se předpokládá, že systém vyrobí PDFka? k vytisknutí (bez správných odpovědí a "slepou mřížku" pro kontrolu).

• Klíčové otázky budou ve všech vygenerovaných testech z jedné dávky stejné.

• do jaké tématické skupiny patří

• datum + rozmezí časů (kdyby bylo více testů v jeden den)
• kolik variant testu generovat (A, B, ...)
• popiska (pro obecný text)
• zda se body za špatné odpovědi odečítají, nebo berou jako nula

• počet otázek v testu
• které "tématické" skupiny otázek budou zařazeny (default: vše)

Mohou se generovat on-line nebo off-line testy; pro off-line se předpokládá, že systém vyrobí PDFka? k vytisknutí (bez správných odpovědí a "slepou mřížku" pro kontrolu).

• Bodově se hodnotí buď otázka nebo odpověď(i).

• Body se hodnotí buď otázka nebo odpověď(i).

• text + 1 obrázek (volitelně)

• do jaké "vylučující" skupiny patří (default: žádná)
• počet bodů za otázku (pokud se nezadá, spočte se součtem bodů za správné odpovědi)

Odpověď

• počet bodů za odpověď (pokud se nezadá, rozpočítá se počet bodů otázky mezi všechny správné odpovědi a záporně mezi všechny chybné; součet bodů je 0)

• typ otázky: obyčejná/klíčová/triková (default: obyčejná)

Zadávání otázek a odpovědí do databáze

• Otázka může být "obyčejná" nebo "klíčová" (ty se mohou povinně objevit v testu) nebo "triková" (info pouze pro vyučujícího). Otázka může být pouze jednoho typu.
• Otázky jsou členěny do "tématických" skupin např. po přednáškách, tématech předmětu, apod. Každá otázka je v právě jedné takové skupině.
• Otázka může být vylučující s jinou otázkou/otázkami. Pak patří do určité "vylučující" skupiny. Každá otázka je v právě jedné takové skupině.
• Body se hodnotí buď:
  • otázka -
  • odpověď -

• typ otázky: "obyčejná"/"klíčová"/"triková" (default: obyčejná)
• do jaké "tématické" skupiny patří
• do jaké "vylučující" skupiny patří (default: null)
• počet bodů za otázku (počet bodů za otázku se nezadává, ale spočte se součtem bodů za správné odpovědi

• zda je "obyčejná" nebo "klíčová" (ty se mohou povinně objevit v testu) nebo "triková" (info pouze pro vyučujícího)

Zadávání otázek do databáze

• Otázky jsou multiple-choice, tj. výběr M z N (kde M <= N a M > 0); speciální případy jsou single choice (výběr 1 z N) a samostatná otázka ("výběr" 1 z 1).
• Otázky jsou členěny do "tématických" skupin např. po přednáškách, tématech předmětu, apod. Každá otázka je v právě jedné skupině.
• Otázka může být vylučující s jinou otázkou/otázkami. Pak patří do určité "vylučující" skupiny.

Otázka

• do jaké skupiny otázek patří (členění po po přednáškách, tématech předmětu, apod.)
• jestli je vylučující s nějakou jinou otázkou
• počet bodů za otázku - počet bodů za otázku se nezadává, ale spočte se součtem bodů za správné odpovědi

• MS: počet chybných odpovědí musí být větší než počet správných!!

Po vygenerování testu je možné jej ručně upravit, nebo doplnit otázky a to jak doplněním z databáze (výměnou za vygenerovanou otázku) tak zadáním nové otázky (uloží se i do db).

Míchat otázky do testu je možno podle na sobě nezávislých (ortogonálních) kritérií:

• MS: budou otázky typu "input box", kam může student dopsat odpověď? V tom případě by se měla zadávat ještě "mezera pod otazkou" (to má asi smysl jenom pro off-line testy, když by chtěl někdo rychle překlopit testy do systému)

• MS: budou otázky typu "input box", kam může student dopsat odpoveď? V tom případě by se měla zadávat ještě "mezera pod otazkou" (to má asi smysl jenom pro off-line testy, když by chtěl někdo rychle překlopit testy do systému)

• každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).

• MS: ukládat/zobrazovat by se měla historie testů, historie použití otázky a historie výsledků (gradebook).

• PH: každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).

• PH: každý přístup do DB bude logován, aby se dalo zpětně zjistit,

• MS: počet spávných odpovědí musí být větší než počet chybných!!

• MS: budou otázky typu "input box", kam může student dopsat odpoveď? V tom případě by se měla zadávat ještě "mezera pod otazkou" (to má asi smysl jenom pro off-line testy, když by chtěl někdo rychle překlopit testy do systému).

• MS: budou otázky typu "input box", kam může student dopsat odpoveď? V tom případě by se měla zadávat ještě "mezera pod otazkou" (to má asi smysl jenom pro off-line testy, když by chtěl nekdo ).

Mohou se generovat on-line nebo off-line testy; pro off-line se předpokládá, že systém vyrobí PDFka? k vytisknutí (s/bez správných odpovědí).

• Otázky jsou členěny do skupin otázek; např. po přednáškách, tématech předmětu, apod. Každá otázka je v právě jedné skupině.

MS: ukládat/zobrazovat by se měla historie testů, historie použití otázky a historie výsledků (gradebook).

MS: ukládat/zobrazovat by se měla historie testů, historie použití otázky a historie výsledků (gradebook)

• MS: budou otázky typu "input box", kam může student dopsat odpoveď? V tom případě by se měla zadávat ještě "mezera pod otazkou".

• MS: budou otázky typu "input box", kam může student dopsat odpoveď?

• budou otázky typu "input box", kam může student dopsat odpoveď?

• které skupiny otázek budou zařazeny (default: vše)

• které skupiny otázek budou zařazeny (default: vše)
• ve všech testech (variantách) stejné otázky
• ve všech testech stejné pořadí stejných otázek
• ve všech testech stejné pořadí odpovědí u stejných otázek

MS: ukládat/zobrazovat se bude historie testů, historie použití otázky a historie výsledků (gradebook)

• MS: určitě zadávat; stačilo by přiřadit každé takové otázce stejnou "vylučující" skupinu, která by byla defaultně null

• zadání otázky - text + 1 obrázek (volitelně)
• zda je "obyčejná", "klíčová" (ty se mohou povinně objevit v testu) anebo "triková" (info pouze pro vyučujícího)
• počet bodů za otázku se nezadává, ale spočte se součtem bodů za správné odpovědi

• text + 1 obrázek (volitelně)

Mohou se generovat on-line nebo off-line testy; pro off-line se předpokládá, že systém vyrobí PDFko? k vytisknutí.

MS:

Nejasnosti, které je třeba upřesnit/domluvit/rozmyslet

PH: myslím, že to není třeba, počet správných odpovědí se zjistí z odpovědí, kde je uvedeno, zda je správná či špatná

PH: každý přístup do DB bude logován, aby se dalo zpětně zjistit, zda tam někdo nepřistupuje s ukradeným heslem (stejný systém, jako při přihlašování do Orionu, kdy se vypíše, že jsem byl naposledy přihlášen dne XY).

• počet správných odpovědí

• zda bude ve všech testech stejné pořadí odpovědí u stejných otázek

• zda budou ve všech testech (variantách) stejné otázky

• zda se body za špatné odpovědi (nezaškrtnutá správná, zaškrtnutá chybná) odečítají, nebo berou jako nula

Nejasnosti

Nejasnosti

• jak/zda zadávat, zda je otázka vylučující s některými jinými
• výsledek projektu v rámci ASWI bude jen (malá) podmnožina funkčnosti - která to má být? na čem nám nejvíc záleží?
  • PremekBrada: bez plnění db otázek se neobejdeme, a pak bych se odvážil odhadnout že se stihne ještě vygenerování testu podle natvrdo nastavené šablony (třeba "offline" = 1 varianta, stejné pořadí otázek)

Shrnutí zadání pro semestrálku ASWI (http://moje.zcu.cz/wps/portal/predmety/kiv/aswi) a následný projekt.

Generování testů z databáze otázek

Shrnutí zadání pro semestrálku ASWI:http://moje.zcu.cz/wps/portal/predmety/kiv/aswi a následný projekt.

Otázky v databázi

• Otázky jsou multiple-choice, tj. výběr M z N (kde M <= N a M > 0); speciální případy jsou single choice (výběr 1 z N) a samostatná otázka ("výběr" 1 z 1)
• Otázky jsou členěny do skupin otázek; např. po přednáškách, tématech předmětu, apod. Každá otázka je v max. 1 skupině.

Ke každé otázce je zadáno

• zadání otázky - text + 1 obrázek
• zda je "obyčejná", "klíčová" (ty se mohou povinně objevit v testu) a "triková" (info pouze pro vyučujícího)
• počet odpovědí
• (počet bodů za otázku se nezadává, ale spočte se součtem bodů za správné odpovědi)
• (vypočítává se z dat testů) kolikrát byla použita v testu
• ? zda je vylučující s některými jinými (UJASNIT)

Ke každé odpovědi je zadáno

• text + 1 obrázek
• správná/špatná odpověď
• počet bodů za odpověď (bráno záporně u špatných)

Testy

Mohou se generovat on-line nebo off-line testy; pro off-line se předpokládá že systém vyrobí PDFko? k vytisknutí.

Generování testů má parametry

• pro jaké datum + rozmezí časů
• (pro on-line) rozmezí/masky IP adres, ze kterých bude přístupný
• kolik variant testu generovat
• popiska (pro obecný text)

Míchat otázky do testu je možno podle na sobě nezávislých (orthogonálních) kritérií:

• celkový počet bodů testu
• které skupiny otázek budou zařazeny
• zda bude ve všech testech stejné pořadí otázek
• zda bude ve všech testech stejné pořadí odpovědí
• zda používat klíčové otázky; pokud ano, kolik
• zda používat trikové otázky; pokud ano, kolik

Klíčové otázky budou ve všech vygenerovaných testech z jedné dávky stejné.

Po vygenerování testu je možné jej ručně upravit, najmě doplnit otázky a to jak doplněním z databáze (výměnou za vygenerovanou otázku) tak zadáním nové otázky (uloží se i do db).

Testy, které vyučujcí schválí, budou připraveny pro on-line vyplnění nebo pro tisk, a uloženy v db v komplet znění.

Systémové vlastnosti

Bude členěno na katedry a předměty, možno zaregistrovat se a pak zadávat otázky.

Vyplňování on-line testu, a práce s databází otázek - přístup jen přes Orion jméno/heslo.