Õppematerjalide koostamise protsess ja kvaliteet

Hans Põldoja, viimati muudetud 19.04.2016

Õppematerjalide kavandamine ja koostamine kuulub üldisemalt õpidisaini (ingl instructional design) valdkonda. Õpidisaini all mõistetakse põhimõtteid ja tegevusi, mis on seotud õppematerjalide, õpitegevuste ja õpisüsteemide arendamisega (Molenda, Reigeluth, & Nelson, 2003). Õpidisaini-alaste arendustegevuste kavandamiseks ja läbiviimiseks on mitmeid erinevaid protsessimudeleid, millest üks tuntumaid on ADDIE mudel. ADDIE mudeli juured ulatuvad 1970. aastatesse USA armee koolitussüsteemide väljatöötamise juurde, kuigi täpne ADDIE mudeli algallikas on teadmata (Molenda, 2003). ADDIE mudel jagab õpisüsteemide arenduse viieks etapiks:

  • analüüsi etapp (ingl Analysis);
  • kavandamise etapp (ingl Design);
  • väljatöötamise etapp (ingl Development);
  • kasutamise etapp (ingl Implementation);
  • hinnangu andmise etapp (ingl Evaluation).

Algselt lineaarsest ADDIE mudelist on aastate jooksul tehtud mitmeid kohandusi, millest uuemates on hinnangu andmine tõstetud keskseks tegevuseks, mis toimub iga etapi järel (Allen, 2006). Lisaks ADDIE mudelile on olemas terve rida teisi õpidisaini mudeleid, millest tuntumad on Kempi mudel, Dick ja Carey mudel ja 4C/IC mudel (Merriënboer, Clark, & Croock, 2002). Kempi ning Dick ja Carey mudelid pärinevad samuti mõlemad 1970. aastatest. 4C/IC mudel pärineb 2002. aastat ning arvestab tänapäevaste õppimiskäsitustega pannes olulise rõhu tegevuskesksele õpidisainile.

Tegevused õppematerjalide koostamisel

ADDIE mudel sobib hästi tüüpilise õppematerjali arendusprotsessi tegevuste lahtikirjutamiseks, seetõttu kirjeldab käesolev materjal õppematerjali koostamise protsessi ADDIE mudeli näitel. Sõltuvalt lõppeesmärgist võivad ADDIE mudeli etapid sisaldada erinevaid tegevusi. Branch (2009, lk 3) soovitab ADDIE mudeli etappide all järgmisi tegevusi:

Analüüsi etapi tegevused:

  • koolitusvajaduse kindlakstegemine;
  • õpieesmärkide määratlemine;
  • sihtgrupi analüüs;
  • ressurssivajaduse analüüs;
  • tehnilise platvormi valik;
  • projektiplaani koostamine.

Kavandamise etapi tegevused:

  • tegevuste analüüs;
  • õpiväljundite sõnastamine;
  • testimisstrateegia koostamine;
  • eelarvekalkulatsioonid.

Väljatöötamise etapi tegevused:

  • sisu väljatöötamine;
  • täiendava meediasisu valimine või loomine;
  • õppija juhendmaterjalide koostamine;
  • õpetaja juhendmaterjalide koostamine;
  • muudatuste ja täienduste sisseviimine;
  • piloottestimine.

Kasutamise etapi tegevused:

  • õpetajate ettevalmistamine;
  • õpilaste ettevalmistamine.

Hinnangu andmise etapi tegevused:

  • hinnangukriteeriumide määratlemine;
  • hindamisvahendite valik;
  • hindamise läbiviimine.

Õppematerjali sisu väljatöötamine

Õppematerjali sisu väljatöötamist on samuti võimalik etappideks jagada. Mitmed autorid (Mimirinis & Dafoulas, 2005; Villems et al., 2012) soovitavad SCATE (eesti keeles SÕKAL) mudelit, mille järgi pööratakse õppesisu väljatöötamisel tähelepanu viiele osale:

  • Sissejuhatus (ingl Scope) — sissejuhatus, eesmärgid, õpiväljundid, vajalikud eelteadmised, tehnilised nõuded õppematerjali kasutamiseks;
  • Õppematerjalid (ingl Content) — tekst, illustratsioonid ja meediasisu;
  • Kinnistamine (ingl Activity) — tegevused õpitava kinnistamiseks, nt ülesanded ja enesekontrollitestid;
  • Arutlemine (ingl Thinking) — teksti integreeritud küsimused ja mõtlemisülesanded;
  • Lisamaterjalid (ingl Extra) — viited lisamaterjalidele.

Õppematerjali kvaliteedi hindamine

Õppematerjali kvaliteedi hindamine kuulub ADDIE mudeli viimasesse etappi. Õppematerjali kvaliteedi hindamiseks on välja töötatud terve rida hindamismudeleid, mida võib valmis kujul kasutusele võtta või oma konteksti jaoks kohandada.

Üheks enam viidatud õppematerjali kvaliteedi hindamismudeliks on LORI mudel (.pdf) (Learning Object Review Instrument) (Leacock & Nesbit, 2007; Nesbit, Belfer, & Leacock, 2003). LORI hindamismudeli eesmärgiks on võimaldada ekspertidel mõõduka ajakuluga hinnata õppematerjali kvaliteedi erinevaid aspekte. Ühte õppematerjali hindab mitu eksperti ning nende tagasiside põhjal pannakse kokku koondhinnang. LORI hindamismudel koosneb 9 komponendist, mida hinnatakse 5-astmelisel Likerti skaalal:

  1. sisu kvaliteet — tõepärasus, täpsus, ideede tasakaalustatud esitus, sobiv detailsuse aste;
  2. õpieesmärkide kooskõla — õpieesmärkide, tegevuste, hindamismeetodite ja sihtgrupi omavaheline kooskõla;
  3. tagasiside ja kohandumine — kohandatud sisu ja tagasiside, mis põhineb õppija tegevustel ja kasutajamudelil;
  4. motiveerimine — võime õppijate sihtgruppi motiveerida;
  5. esitluse kujundus — visuaalse ja audiaalse info kujundus õppimise ja mäluprotsesside toetamiseks;
  6. interaktsiooni kasutatavus — navigeerimise lihtsus, kasutajaliidese etteennustatavus ja abivahendite kvaliteet;
  7. ligipääsetavus — juhtimiselementide ja esitlusformaatide sobivus erivajadustega ja mobiilsetele kasutajatele;
  8. taaskasutatavus — sobivus kasutamiseks erinevates õpisituatsioonides ja erineva taustaga õppijatega;
  9. standarditele vastavus — vastavus rahvusvahelistele standarditele ja spetsifikatsioonidele.

Peale LORI mudeli on veel terve rida õppematerjalide kvaliteedi hindamismudeleid. Sofos ja Kostas (2009) võrdlevad oma artiklis 12 erinevat hindamismudelit ning pakuvad nende põhjal välja pedagoogilised kriteeriumid õppematerjalide hindamiseks.

Enamik õppematerjalide hindamismudeleid on koostatud ekspertide jaoks või autoritele enesehindamiseks ning on sageli õppijate jaoks keeruliselt sõnastatud. Üheks mudeliks, mis sobib õppijatega kasutamiseks, on LOES-S hindamismudel (Learning Object Evaluation Scale for Students) (Kay & Knaack, 2009). LOES-S ankeet koosneb 12 väitest, mis on jagatud 3 gruppi: õppimine, kvaliteet ja kaasahaaravus. Õppijad hindavad väiteid 5-astmelisel Likerti skaalal. Lisaks selle on kaks vabas vormis küsimust selle kohta, mis õppematerjali juures meeldis ja ei meeldinud.

e-kursuste kvaliteedi hindamine

Õppematerjalide kvaliteedi hindamisega on seotud ka e-kursuste kvaliteedi hindamine. Viimastel aastatel on aktuaalseks teemaks MOOC-tüüpi avatud kursused. Selliste kursuste kvaliteedi hindamiseks on koostatud OpenupEd kvaliteedimudel (.pdf) (Rosewell, 2014), mis koosneb 8 komponendist, mida hinnatakse 4-astmelisel skaalal (ei ole saavutatud; osaliselt saavutatud; suures osas saavutatud; täielikult saavutatud):

  1. avatus õppijatele;
  2. sisu avatus;
  3. õppijakeskne lähenemine;
  4. sobivus iseseisvaks õppimiseks;
  5. erinevate meediumite kasutus;
  6. tunnustamise võimalused;
  7. kvaliteedikesksus;
  8. mitmekesisuse toetamine.

Õppematerjalide ja e-kursuste hindamismudelid Eestis

HITSA Innovatsioonikeskuse juures tegeleb õpiobjektide ja e-kursuste kvaliteedi temaatikaga kvaliteedi töörühm. Kvaliteetsete e-kursuste tunnustamiseks on töötatud välja e-kursuse kvaliteedimärgi taotlemise protsess ja hindamispõhimõtted. Oma kursusele kvaliteedimärki taotlevate õppejõudude jaoks on koostatud 27 küsimusest koosnev enesehindamise mudel (.pdf). Enesehindamisele järgneb kursuse hindamine ekspertide poolt, kes kasutavad osa hindamismudelist (20 küsimust). Täpsem ülevaade e-kursuste kvaliteedihindamise protsessist on antud artiklis (Plank, Villems, Pilt, Dremljuga-Telk, Varendi, & Sutt, 2013).

HITSA Innovatsioonikeskuse kvaliteedi töörühm on koostanud ka mitu juhendit digitaalsete õppematerjalide ja e-kursuste kvaliteedi tagamiseks:

Üldhariduskoolide õppematerjale koondavas Koolielu repositooriumis on välja töötatud õppematerjalide kvaliteedinõuded ja hindamismudel:

Kutse- ja kõrghariduse õppematerjale koondavas HITSA Innovatsioonikeskuse repositooriumis täpsed kvaliteedinõuded puuduvad.

Õppematerjalide kvaliteedi tagamine repositooriumides

Paljude repositooriumide puhul on probleemiks õppematerjalide ja nende metaandmete kõikuv kvaliteet. Repositooriumides olevate õppematerjalide kvaliteedi tagamiseks on mitmeid viise, mis on seotud üheltpoolt õppematerjalide avaldamise ja hindamise protsessiga ning teiselt poolt erinevate tehnoloogiliste lahendustega. Sellisteks kvaliteedi tagamise viisideks on:

  • õppematerjali eelhindamine moderaatorite poolt;
  • õppematerjali hindamine kasutajate poolt;
  • õppematerjali ühistoimetamine;
  • soovitussüsteemid;
  • metaandmete automaatne genereerimine.

Üheks traditsiooniliseks viisiks õppematerjalide kvaliteedi tagamisel on õppematerjali läbivaatamine moderaatorite poolt enne selle avaldamist. Sellist süsteemi kasutab näiteks Koolielu portaal. Antud lähenemise eeliseks on see, et minimaalsetele kvaliteedinõuetele mitte vastavad materjalid ei saa avaldatud. Süsteemi puuduseks on materjalide läbivaatamisele kuluv aeg. Samuti on võimalik, et tagasilükatud materjalide autorid ei panusta materjali parandamisse ning sellised õppematerjalid jäävadki avaldamata.

Teiseks võimalikuks lähenemiseks on õppematerjali hindamine kasutajate poolt. Sellist lähenemist kasutab näiteks MERLOT repositoorium, kus kasutajad hindavad õppematerjale kolmest kriteeriumist lähtudes: sisu kvaliteet, potentsiaalne efektiivsus õppevahendina ning kasutuslihtsus. Kasutajapoolsete hinnangute toimimiseks on vajalik lihtsa kuid sisulise hindamismudeli olemasolu. Ainult üks hinne ei anna piisavat infot materjali kvaliteedi kohta, kuid väga detailne hindamismudel teeb kasutajapoolsete hinnangute andmise liiga töömahukaks. Kasutajatepoolset hindamist võib kombineerida sisu eelneva läbivaatamisega moderaatorite poolt.

Alternatiiviks materjalide hindamisele on nende toimetamise avamine kõigile kasutajatele. Selle asemel, et materjali puudustele hindamisega tähelepanu juhtida, võivad teised kasutajad materjali parandada ja täiendada. Selline lähenemine on tõestanud oma toimimist Vikipeedia puhul, kuid selle jaoks on vajalik kriitiline hulk aktiivseid kasutajaid. Õppematerjalide repositooriumidest põhineb ühistoimetamisel LeMill. Paraku on senise kogemuse põhjal jäänud koostöös õppematerjalide täiendamine suhteliselt tagasihoidlikuks. 2010. aasta andmetel oli ainult 5,5% õppematerjalidest toimetatud mitme kasutaja poolt (Leinonen, Purma, Põldoja, & Toikkanen, 2010).

Õppematerjalide tajutavat kvaliteeti repositooriumides võib parandada ka tehniliste lahenduste abil. Soovitussüsteeme (ingl recommender systems) kasutades võib kasutajatele näidata eelisjärjekorras õppematerjale, mis vastavad kasutaja profiilile ning on mingite kriteeriumide põhjal kvaliteetsemad (näiteks vaatamiste arv). Heaks näiteks soovitussüsteemidest on sarnaste videote soovitamine YouTubes või ostude soovitamine Amazonis. Repositooriumide puhul laialt tuntud hästi toimivad näited veel puuduvad, kuid soovitussüsteemid on haridustehnoloogia alal üheks oluliseks uurimisteemaks. Paremate soovitussüsteemide loomisele aitab kaasa ka õpianalüütika lahenduste kaudu kogutud info.

Lisaks õppematerjalide kvaliteedile on paljudes repositooriumides probleemiks metaandmete kvaliteet. Autorid täidavad õppematerjali avaldades enamasti ainult osa võimalikest metaandmete väljadest. Täidetud väljade osakaalu on võimalik suurendada metaandmete automaatse genereerimise teel (materjali tüübi, formaadi, keele vms automaatne tuvastamine). Samuti on võimalik osa välju kasutaja profiili põhjal eelnevalt täita. Näiteks LeMill pakub õppematerjali keeleks vaikimisi kasutajaprofiilis esimesena määratud keelt.

Kasutatud kirjandus

Allen, W. C. (2006). Overview and evolution of the ADDIE training system. Advances in Developing Human Resources, 8(4), 430–441.

Branch, R. M. (2009). Instructional Design: The ADDIE Approach. New York, NY: Springer.

Kay, R. H., & Knaack, L. (2009). Assessing learning, quality and engagement in learning objects: the Learning Object Evaluation Scale for Students (LOES-S). Educational Technology Research and Development, 57(2), 147–168. doi:10.1007/s11423-008-9094-5

Leacock, T. L., & Nesbit, J. C. (2007). A Framework for Evaluating the Quality of Multimedia Learning Resources. Educational Technology & Society, 10(2), 44–59. Loetud aadressil http://www.ifets.info/journals/10_2/5.pdf

Leinonen, T., Purma, J., Põldoja, H., & Toikkanen, T. (2010). Information Architecture and Design Solutions Scaffolding Authoring of Open Educational Resources. IEEE Transactions on Learning Technologies, 3(2), 116–128. doi:10.1109/TLT.2010.2

Merriënboer, J. J. G., Clark, R. E., & Croock, M. B. M. (2002). Blueprints for complex learning: The 4C/ID-model. Educational Technology Research & Development, 50(2), 39–61. doi:10.1007/BF02504993

Mimirinis, M., & Dafoulas, G. A. (2005). Enriching a pedagogical model for the implementation of a virtual training environment (pp. 419–420). In Proceedings of the Fifth IEEE International Conference on Advanced Learning Technologies (ICALT’05). IEEE. doi:10.1109/ICALT.2005.141

Molenda, M. (2003). In Search of the Elusive ADDIE model. Performance Improvement, 42(5), 34–36. doi:10.1002/pfi.4930420508

Molenda, M., Reigeluth, C. M., & Nelson, L. M. (2003). Instructional Design. In L. Nadel (Ed.), Encyclopedia of Cognitive Science (Vol. 2, pp. 574–578). London: Nature Publishing Group.

Nesbit, J., Belfer, K., & Leacock, T. (2003). Learning Object Review Instrument (LORI): User Manual. Loetud aadressil http://web.archive.org/web/20040126041853/http://elera.matchbox.surrey.sfu.ca/eLera/Home/Articles/LORI 1.5.pdf

Plank, T., Villems, A., Pilt, L., Dremljuga-Telk, M., Varendi, M., & Sutt, E. (2013). Quality Assurance Processes in E-Learning – An Estonian Case. International Journal for Innovation and Quality in Learning, 1(1), 20–28. Loetud aadressil http://www.papers.efquel.org/index.php/innoqual/article/view/16

Rosewell, J. (2014). OpenupEd label, quality benchmarks for MOOCs. Loetud aadressil http://www.openuped.eu/images/docs/OpenupEd_quality_label_-_Version1_0.pdf

Sofos, A., & Kostas, A. (2009). Pedagogically-Oriented Evaluation Criteria for Educational Web Resources. eLearning Papers, 17.

Villems, A., Kusmin, M., Peets, M.-L., Plank, T., Puusaar, M., Pilt, L., et al. (2012). Juhend kvaliteetse õpiobjekti loomiseks. (M. Dremljuga-Telk, Ed.). Tallinn: Eesti Infotehnoloogia Sihtasutus.

Creative Commons License
Õppematerjalide koostamise protsess ja kvaliteet by Hans Põldoja is licensed under a Creative Commons Attribution-ShareAlike 3.0 Estonia License.