До проблеми математико-статистичного виміру метапам’яті

Размещено на http://www.allbest.ru/

УДК 15.21.41.13 159.953

До проблеми математико-статистичного виміру метапам'яті

В. О. Волошина

кандидат психологічних наук, науковий співробітник Науково-дослідна лабораторія когнітивної психології, викладач кафедри психолого-педагогічних дисциплін Національний університет «Острозька академія»

Т. А.Довгалюк

молодший науковий співробітник Науково-дослідна лабораторія когнітивної психології, викладач та аспірант кафедри психолого-педагогічних дисциплін Національний університет «Острозька академія»

У статті на основі теоретичного аналізу узагальнено параметри метапам'яті, які важливо системно й точно оцінювати і якісно інтерпретувати. Тому в контексті параметрів метапам'яті запропоновано математико-статистичний апарат їх дослідження. Також проаналізовано та охарактеризовано основні математико-статистичні критеріїв оцінювання показників метапам'яті.

Ключові слова: метапам'ять, точність метапам'яттєвих суджень, індекс упевненості, індекс калібрування, індекс резолюції, показник дійсного знання, показник адекватності.

Волошина В. О., Довгалюк Т. А. К проблеме математико-статистического измерения метапамяти

В статье на основе теоретического анализа обобщены параметры метапамяти, которые важно системно и точно оценивать, а также качественно интерпретировать. Поэтому в контексте параметров метапамяти предложен математико-статистический аппарат их исследования. Также проведен анализ и дана характеристика основным математико-статистическим критериям оценки показателей метапамяти.

Ключевые слова: метапамять, точность суждений метапамяти, индекс уверенности, индекс калибровки, индекс резолюции, показатель истинного знания, показатель адекватности.

Voloshyna V. О., Dovgaliuk Т. А. То the problem of mathematical and statistical metamemory measurements

On the basis of theoretical analysis of metamemory, authors generalized parameters that are important to systematical and accurate assess and proper interpretation. Therefore, the authors in this context proposed a mathematical and statistical unit of study. Also, in the analysis, they described the basic mathematical and statistical indicators metamemory evaluation criteria.

Key words: metamemory accuracy, confidence index, calibration, resolution, knowledge index, indicator ofadequacy.

Постановка проблеми. Концепція метапам'яті є доволі молодим науковим напрямом, що був започаткований у другій половині XX ст. Разом із концепцією було запропоновано методи дослідження процесів метапам'яті, що з роками набувають усе більшого значення та конкретизації. Це зумовлено передусім важливістю реалізації одного з найважливіших принципів психології - принципу об'єктивності. Як і вся сфера досліджень психології, у сфері вивчення метапам'яті особистості важливим є адекватність і правильність використання об'єктивних методів - методів математичної статистики. Метапам'ять-психічний параметр суб'єкта, який, на відміну від інших когнітивних процесів, зумовлений суб'єктивним виміром процесів пам'яті. Зокрема, метапам'яттєвий моніторинг як процес метапам'яті характеризується через самоспостереження, періодичне оцінювання (моніторинг) суб'єктом того, що відбувається на пізнавальному (об'єктивному) рівні. Такі оцінки і є носіями суб'єктивної природи сфери дослідження метапам'яті. Власне, саме цей аспект вивчення потребує більш систематичного та об'єктивного використання математичного апарату, який дав би змогу адекватно проаналізувати досліджуванні параметри оцінювання метапам'яті. метапам'ять психічний когнітивний

Ступінь розробленості проблеми. До проблеми обґрунтування математичних методів аналізу параметрів метапам'яттєвих суджень не раз зверталися зарубіжні вчені, зокрема С. Ліхтенштейн і Б. Фішхофф, Г. Шроу, А. Бронштейн, 3. Зікафуз, Т. Нельсон і Л. Наренс, Б. Спеллман, А. Блумфілд, Р. Бьорк, Дж. Дунлоскі, Ф. Джонсон та інші. Провівши теоретичний аналіз об'єктивних методів оцінювання даних, ми узагальнили питання, довкола яких була зосереджена увага науковців, а саме:

1. Підбір шкал для вимірювання показників метапам'яттєвих суджень (рангова шкала, номінальна шкала тощо) [9].

2. Застосування загальних математико-статис- тичних критеріїв оцінювання експериментальних даних (пошук внутрішньогрупових і міжгрупових відмінностей тощо) [8; 9].

3. Використання спеціальних математико-ста- тистичних критеріїв оцінювання експериментальних даних (обчислення параметрів метапам'яттєвих суджень, оцінювання наявності/відсутності «ілюзіїзнання» тощо) [4; 10].

Отже, мета статті полягає в обґрунтуванні ма- тематико-статистичних критеріїв оцінювання різних параметрів метапам'яті й описі процедурних особливостей їх проведення та якісної інтерпретації отриманихданих.

Виклад основного матеріалу. Здійснивши теоретичний аналіз відповідних досліджень, ми виокремили такі параметри метапам'яттєвих суджень:

- рейтинги метапам'яттєвих суджень - кількісний параметр, що вимірюється шляхом оцінювання суб'єктом і присвоєння ним числового значення ймовірності майбутнього або правильності здійсненого відтворення (найчастіше використовуються шкали: дихотомічна, рейтингова, відсо- тково-інтервальна та відсотково-аналогова);

- точність метапам'яттєвих суджень (також використовується термін «.прогностична валід- ність») - параметр метапам'яті, отриманий у результаті обчислення кореляційного зв'язку між рейтингами метапам'яттєвих суджень і об'єктивним показником продуктивності відтворення (коефіцієнт кореляція Спірмена або коефіцієнт гам- ма-кореляції Гудман-Крускала - G);

- індекс упевненості - параметр оцінювання метапам'яттєвих суджень, що констатує характер відповідності суб'єктивної оцінки й об'єктивного показника продуктивності відтворення: ефект надмірної впевненості (англ, overconfidence) або надмірної невпевненості (англ, underconfidence) (O/U індекс);

- індекс калібрування - параметр оцінювання метапам'яттєвих суджень, що констатує відповідність суб'єктивної оцінки ймовірності правильного відтворення пропорції правильних відповідей у певній імовірнісній категорії (індекс калібрування (С) і калібраційна крива);

- індекс резолюції - параметр оцінювання метапам'яттєвих суджень, що констатує варіативність розподілу суб'єктивних оцінок імовірності правильного відтворення щодо всієї множини ймовірнісних категорій (індекс резолюції - R);

- показник дійсного знання про функціонування процесів пам'яті - параметр, що констатує ймовірнісну продуктивність пам'яті (індекс Кп);

- показник адекватності - загальний параметр оцінювання метапам'яттєвих суджень, що констатує міру їх відповідності об'єктивному показникові продуктивності відтворення з урахуванням індексів резолюції, калібрування та показника дійсного знання про функціонування процесів пам'яті (показник Браєра - Вг).

Т. Нельсон і Л. Наренс, запропонувавши модель метапам'яті, обґрунтували основні особливості проведення експериментальних досліджень і аналізу отриманих даних у цій сфері [9]. Автори запропонували фіксувати всі показники метапам'яті (рейтинги метапам'яттєвих суджень, час реакції тощо). Метапам'яттєві судження є суб'єктивною оцінкою ймовірності коректного функціонування процесів пам'яті (засвоєння, збереження та відтворення), які фіксуються респондентами в певній шкалі оцінювання. Окремі праці були присвячені питанню ефективності використання тієї чи іншої шкали вимірювань [8]. Зокрема, було підтверджено, що вибір шкали впливає на валідність і надійність досліджуваних характеристик метапам'яті [7]. Адже кожна зі шкал оцінювання варіює й детермінує рівень суб'єктивної диференціації оцінки ймовірності продуктивності процесів пам'яті. До найбільш поширених видів шкал, що використовуються в дослідженнях метапам'яті, можна зарахувати такі: дихотомічна («Так» - «Ні»), рейтингова (вимірюється в балах, часто 6- або 7-бальна система), відсотково-інтервальна (вимірюється у відсотках, часто в інтервалах із кроком у 20%) і відсоткова-аналогова (вимірюється у відсотках, від 0% до 100% із точним заміром). Ці шкали дають змогу визначити, як респонденти контролюють і оцінюють продуктивність функціонування об'єктивного рівня пам'яті. Т. Нельсон і Л. Наренс аналізували інтроспективні судження аналогічно до психофізіологічної парадигми. Проте згодом цю парадигму довелося змінити як у результаті теоретичних міркувань, так і через практичні спостереження. Це спричинило доволі серйозну проблему в дослідженнях метапам'яті. На думку вчених, потрібно було уникнути змішування окремих параметрів [10]: 1) точність метапам'яттєвого судження та 2) поріг прийняття рішення для його здійснення. Власне, ці аспекти спонукали до розробки спеціальної методологічної бази проведення досліджень і аналізу експериментальнихданих у сфері вивчення метапам'яті.

Для обрахунку точності метапам'яттєвих суджень Т. Нельсон і Л. Наренс запропонували використовувати кореляційний аналіз, де оцінні показники метапам'яттєвих суджень (згідно з вищезазначеними шкалами) зіставляються із показниками відтворення (частіше використовується дихотомічна шкала «правильно-неправильно»).

Однак, як зазначили автори [9], звичайні кореляції, такі як рангова кореляція Спірмена або кореляція попарних добутків Пірсона, не простежують усіх зв'язків і похибка їх вимірювань є доволі високою для досліджень метапам'яті. Тому дослідники запропонували використовувати коефіцієнт гам- ма-кореляції Гудман-Крускала (G), оскільки він надає можливість зіставити всю множину суб'єктивних оцінок респондента з множиною об'єктивного параметра цієї оцінки (продуктивність відтворення) та вивести показникдля кожного респондента окремо [9].

Оскільки метапам'яттєві судження належать до виміру, який оцінює ймовірність того, що процес запам'ятовування буде вдалим, постає проблема співвідношення суб'єктивних оцінок із «угаданими» варіантами відповідей у випадку, наприклад, виконання тесту на розпізнавання. Це не відображатиме дійсний об'єктивний показник пам'яті. Кілька таких «угадувань» у співвідношенні із суб'єктивними оцінками можуть дати хибну картину точності показника прогностичної валідності метапам'яттєвих суджень. Саме тому коефіцієнт гамма-кореляції Гудман-Крускала (G) є одним із точних критеріїв, що враховує вказану похибку вимірювань і дає змогу обрахувати більш надійний показник прогностичної валідності. Крім того, очікуване значення G є чутливим щодо змін у відповідях респондента [7]. Після оцінювання всіх доступних методів ми дійшли висновку, що G є одним із найкращих критеріїв оцінювання точності метапам'яттєвих суджень.

Отже, прогностична валідність - це кількісна характеристика, яка дає нам інформацію про точність метапам'яттєвих суджень, де 0 - це низька прогностична валідність і демонструє різку розбіжність між метарівнем і об'єктивним рівнем ме- тапам'яті (100% упевненості в разі неправильного відтворення або 0% упевненості в разі правильного), а 1/-1 - висока прогностична валідність, де обидва рівні відповідають один одному.

Як було попередньо зазначено, структура метапізнання складається із двох основних когнітивних процесів: 1) моніторинг - мислення про те, що ми знаємо, 2) контроль - саморегулювання та управління пізнавальними процесами, підбір стратегій тощо [9]. У сукупності ці процеси становлять важливий аспект навчання й розвитку. Однак потенційною помилкою є переоцінювання або недооцінювання об'єктивного рівня знань, що в науковій літературі визначається як «ілюзія про знання» [1]. Отже, «ілюзія про знання» може виникати на рівні вищезгаданих процесів. У когнітивній психології виділяють такі ефекти, що пов'язані з виникненням «ілюзії про знання», і позначають помилки на рівні метапам'яті:

- ефект надмірної впевненості [1];

- ефект надмірної невпевненості [5];

- ефект складності - легкості [3].

Ефект надмірної впевненості полягає в регулярному переоцінюванні своїх знань. Він виникає найбільш часто й означає, що індивід у своїх судженнях самовпевнений щодо точності відтворення ним інформації. Наприклад, студент під час тесту оцінює, що його відповіді на 99% правильні, хоча насправді він помиляється в більше ніж 45% усіх відповідей. Цей ефект був названий найбільш «широко розповсюдженим і потенційно катастрофічним» із усіх когнітивних викривлень, де індивід стає потенційною жертвою ілюзії. Негативним аспектом тут є наслідок переоцінювання власних знань - «ілюзія контролю». Не маючи правильного уявлення про об'єктивні знання, студент належним чином не контролюватиме запам'ятовування, уважаючи, що він компетентний у своїх знаннях [5]. Ефект надмірної невпевненості повністю протилежний попередньому й полягає в тому, що суб'єкт недооцінює свій потенціал. Дослідження в цій галузі виявили, що обидва ефекти безпосередньо пов'язані з індивідуально-психологічними властивостями особистості, зокрема з показниками особистісної тривожності [6]. Ефект складності - легкості має стосунок до характеристик матеріалу навчання або складності самого завдання. Він виявляється як парадоксальна тенденція до переоцінювання ймовірності успіху під час вирішення важкого завдання й недооцінювання вірогідності успіху під час вирішення легкого завдання.

Для того щоб констатувати, який ефект наявний у досліджуваного, потрібно використати спеціально розроблені математико-статистичні критерії оцінювання суб'єктивних оцінок імовірності. Зокрема, С. Ліхтенштейн і Б. Фішхофф запропонували для констатації перших двох ефектів використати O/U індекс (overconfidence/underconfidence index), або ж індекс упевненості [5]. Розглянемо специфіку цього критерію для аналізу характеру суб'єктивної оцінки в контексті ефектів надмірної впевненості й невпевненості. Отже, такий аналіз метапам'яттєвих суджень потрібно здійснити за формулою [5, с. 161]:

т

^o/u=N^ⁿ_t(r_t-^c_t),

t=1

деЫ- загальна кількість суджень, n_t- кількість суджень, надана в межах конкретної категорії, Т - кількість категорій (напр., у 7-бальній шкалі можна виокремити 7 категорій (варіантів присвоєння балів), r_t- імовірність призначення до певної категорії (0,1 для 10% упевненості, 0,2 для 20% упевненості, 1 для 100% упевненості тощо), c_t - пропорція правильних показників відтворення до кількості наданих суджень для всіх категорії.

Кінцевий показник O/U індексу коливається в діапазоні від -1 до +1, де значення від -1 до 0 констатує ефект надмірної невпевненості, а від 0 до +1 - ефект надмірної впевненості. Однак цієї формули недостатньо, щоб констатувати останній ефект - ефект легкості-складності. Для цього потрібно визначити, які саме пункти були легкими, а які - складними, і, лише розподіливши так ці дані, здійснити аналіз за допомогою O/U індексу.

Індекс калібрації- параметр оцінювання метапам'яттєвих суджень, що констатує відповідність оцінки суб'єктивної ймовірності розподілу пропорції правильних відповідей у певній категорії. Мається на увазі те, що коли середня впевненість дорівнює, наприклад, 70%, то ідеально калібрована вважатиметься та відповідь, що належатиме до категорії 70%. Такі обрахунки й висновки можна зробити методом обрахунку індексу калібрування (С), а також за допомогою графічного моделювання калібраційної кривої (див. рис. 1).

Індекс калібрування (С) обчислюється шляхом ділення змінних у дискретні категорії (діапазони), таких як у межах діапазону 0,61-0,70, а потім обраховується розбіжність між суб'єктивною оцінкою ймовірності й часткою правильних відповідей для кожної категорії ймовірності метапам'яттєвих суджень окремо. Щоб отримати числовий еквівалент значення відповідності суб'єктивних оцінок метапам'яттєвих суджень об'єктивним показникам у межах конкретної категорії ймовірності, його потрібно обрахувати за формулою [5, с. 161]: т

^{c=Nlnt(^)2 '}

t=i

де С - індекс калібрування; N - загальна кількість суджень, n_t - кількість суджень, надана в межах конкретної категорії, Т - кількість категорій, r_t - імовірність призначення до певної категорії (0,1 для 10% упевненості, 0,2 для 20% упевненості, 1 для 100% упевненості тощо), c_t- пропорція правильних показників відтворення до кількості наданих суджень для всіх категорії.

Надалі інтерпретація цього показника здійснюється досить просто. Ідеально каліброваними відповідями суб'єктивної ймовірності метапам'ят- тєвих суджень уважатимуться ті значення, що будуть наближеними або дорівнюватимуть 0. Кінцевий показник індексу калібрування коливається в діапазоні від 0 до +1, де значення, що відхилятимуться у бік +1, уважатимуться як такі, що не є відповідними (каліброваними). А це означатиме, що респондент в одних категоріях імовірності під час метапам'яттєвих суджень регулярно пере-, недооцінював. На відміну від O/U індексу, індекс калібрування дає не інформацію щодо характеру оцінки (надмірно впевнений\недовпевнений), а лише показник, що характеризує міру відхилення від ідеальної відповідності присвоєння метапам'яттєвих суджень до певної категорії. Варто наголосити на тому, що індекс калібрування обраховується індивідуально для кожного респондента.

Щоб мати можливість прослідкувати закономірність калібрування метапам'яттєвих суджень, використовують також груповий метод оцінювання калібрації - графічне моделювання калібра- ційної кривої. Його також можна використовувати для індивідуальних цілей, але в такому випадку цей метод буде неефективним і менш надійним. Отже, щоб змоделювати калібраційну криву, необхідно обрахувати пропорцію правильних відповідей у межах конкретної категорії ймовірності метапам'яттєвих суджень і побудувати калібраційну криву.

Як ми бачимо з рис. 1, на ньому зображені три лінії, що відповідають ідеальній калібрації, надмірній недовпевненості й надмірній упевненості. Лінія ідеальної калібрації демонструє ідеальну відповідність у розподілі пропорції правильних відповідей щодо певної категорії ймовірності. Тобто, для категорії ймовірності в 50% загальна пропорція усіх правильних відповідей становить теж 50%. Відповідно, лінія надмірної недовпевненості демонструє, що в категорії 50% пропорція всіх правильних відповідей у цій категорії перевищує межу в 50% і становить 75%. А це означає, що респонденти були надміру невпевненими, а об'єктивний показник - перевищив їхні очікування. За тією самою аналогією лінія надмірної впевненості демонструє, що для категорії 50% респонденти були схильні більшою мірою завищувати свої очікування, так як пропорція правильних відповідей у межах цієї категорії становила 10%.

Цей показник оцінювання метапам'яттєвих суджень є важливим і може показати міру їхньої відповідності для кожної категорії, а графічний метод моделювання калібраційної кривої може прослідкувати динаміку (спад\піднесення) калібрування метапам'яттєвих суджень для кожної категорії окремо й показати, де респонденти схильні більше помилятися. За допомогою калібраційної кривої можна прослідкувати ефект легкості-важкості в здійсненні метапам'яттєвих суджень, але, щоб дійсно констатувати це, потрібно додатково проводити аналіз наявності в списку легких і важких стимулів.

Індекс резолюції- параметр оцінювання метапам'яттєвих суджень, що констатує варіативність розподілу суб'єктивних оцінок імовірності правильного відтворення щодо всієї множини цих категорії. Для того щоб визначити, наскільки добре індивід може дискримінувати свої суб'єктивні оцінки щодо правильних і неправильних відповідей, незалежно від їх абсолютного рівня впевненості, часто використовують оцінку індексу резолюції (resolution - R) [5]. Цей критерій дає змогу оцінити рівномірність розподілу рейтингів метапам'яттєвих суджень щодо певної категорії ймовірності. Тобто, він допомагає визначити, чи респондент не давав однотипних відповідей, а також наскільки чутливо й варіативно може приписувати своїм суб'єктивним відчуттям оцінки різних еквівалентів. Для обрахування індексу резолюції (R) потрібно використати формулу [5, с. 162]:

=їїІ"'^(с' t=і

де R - індекс резолюції; N - загальна кількість суджень, n_t - кількість суджень, надана в межах конкретної категорії, Т - кількість категорій, c_t - пропорція правильних показників відтворення до кількості наданих суджень для всіх категорії, с - пропорція правильних показників у межах однієї категорії.

Якщо респондент має високу дискримінатив- ність відповідей, тобто метапам'яттєві судження не були однотипними і він давав відповіді різного характеру - R=1, якщо ж значення близьке 0 - респондент давав однотипні відповіді в межах однієї категорії. Цей показник запропонований А. Марфі [5] і надає можливість прослідкувати, наскільки індивід може диференціювати суб'єктивні відчуття й визначати цю ймовірність у своїх судженнях.

Показник дійсного знання про функціонування процесів пам'яті - параметр оцінювання мета- пам'яттєвих суджень, що продуктивність імовірності в контексті показника використання бази дійсного та актуального знання в момент здійснення метапам'яттєвого судження. Для цього потрібно використати формулу [5, с. 162]:

Kn = с(1 -- с),

де Кп - показник дійсного знання; с - пропорція правильних показників відтворення до кількості наданих суджень для всіх категорії.

Показник дійсного знання обраховується окремо для кожного респондента. У дослідженнях метапам'яті його вкрай рідко використовують, так як показник дійсного знання не є інформативним щодо більш специфічних параметрів оцінювання метапам'яттєвих суджень. Однак його оцінювання важливе для обрахування іншого критерію - показника адекватності метапам'яттєвих суджень.

Показник адекватності - параметр оцінювання метапам'яті, який відображає відповідність суб'єктивних оцінок імовірності правильного відтворення до ідеального. Цей параметр метапам'яті є одним із останніх під час обраховування даних і визначається він за формулою Браєра (Brier score). Формула Браєра є універсальною формулою, об'єднує всі попередньо наведені нами критерії оцінювання метапам'яттєвих суджень. За результатами формули найкращим уважається той, який максимально наближений до 0. Власне, критерій Браєра відображає показник адекватності метапам'яттєвих суджень, тобто відповідності суб'єктивних оцінок імовірності щодо продуктивності до ідеального (такого, що є ідеальним при об'єктивному показникові продуктивності відтворення) [5, с. 163]. Формула обчислення є доволі простою:

Br=Kn+C-R,

де Вг - показник Браєра, Кп - показник дійсного знання; С - індекс калібрування; R - індекс резолюції.

Висновки. Отже, проаналізувавши теоре- тико-методологічну базу вивчення процесів ме- тапам'яті, ми систематизували математичний апарат для дослідження процесів метапам'яті. Зокрема, ми дійшли висновку, що науковці школи метапізнання мають значні напрацювання та розробили математичний апарат для їх вивчення. Кількісні методи досліджень дають змогу точно прослідкувати закономірності й на їх ґрунті більш правильно описати їхню якісну характеристику.

Аналіз літератури засвідчив наявність спеціальних методів математико-статистичного аналізу даних у сфері метапам'яті. Ми виявили, що основним параметром метапам'яті, який кількісно піддається виміру та подальшій статистичній обробці, є метапам'яттєві судження. Було з'ясовано, що найчастіше використовуються ті параметри метапам'яттєвих суджень, які оцінюють точність (прогностична валідність, що обраховується за допомогою гамма-кореляції Гудман-Крускала), характер упевненості (індекс упевненості), відповідність об'єктивному показникові відтворення в певній категорії (індекс калібрування, метод графічного моделювання калібраційної кривої), варіативність розподілу (індекс резолюції) й адекватність (показник Браєра) суб'єктивної оцінки. Однак не всі параметри оцінювання використовуються в межах одного дослідження, адже, як ми бачимо, статистичний аналіз за кожним із критеріїв є громіздким процесом обрахування. Тому систематизація цих ма- тематико-статистичних методів і підходів до параметрів оцінювання метапам'яті уможливлює їх використання в сучаснихвітчизнянихдосліджен- нях когнітивної психології.

Література

1. Eakin D.K. Illusions of knowing: Metamemory and memory under conditions of retroactive interference /

2. D.K. Eakin II Journal of Memory and Language, Special Issue. - 2005. - № 52. - P. 526-534.

3. Koriat A. Monitoring one's own knowledge during study: A cue-utilization approach to judgments of learning / A. Koriat II Journal of Experimental Psychology: General. - 1997. - Vol. 126. - P. 349-370.

4. Koriat A. The intricate relationships between monitoring and control in metacognition: Lessons forthe cause-and-effect relation between subjective experience and behavior/A. Koriat, H. Ma'ayan,

R. Nussinson II Journal of Experimental Psychology: General. - 2006. - № 135. - P. 36-69.

5. Lichtenstein S. Calibration of probabilities: The state of the art to 1980 / S. Lichtenstein, B. Fischhoff, L.D. Phillips II In D. Kahneman, P. Slovic, A. Tversky (Eds.), Judgment under uncertainty: Heuristics and biases. - 1982. - P. 306-334.

6. Lichtenstein S. Do those who know more also know more about how much they know? /

S. Lichtenstein, B. Fischhoff II Organizational Behavior and Human Performance. - 1977. - №2.-P. 159-183.

7. Lichtenstein S. Training for calibration /

S. Lichtenstein, B. Fischhoff II Organizational Behavior&Human Performance.-1980.-№26,- P. 149-171.

8. Nelson T.O. Metamemory: Atheoretical framework and new findings / T.O. Nelson, L. Narens II In G. Bower (Ed.). The psychology of learning and motivation. - New York : academic press, 1990. - P. 125-173.

9. Nelson T. Why investigate metacognition? /

T. Nelson, & L. Narens II In J. Metcalfe & A. P. Shimamura (Eds.), Metacognition : Knowing about knowing. - Cambridge, MA : MIT Press, 1994. - P. 1-27.

10. Nelson T. Metamemory: Atheoretical framework and new findings / T. Nelson, L. Narens// In G. Bower (Ed.), The Psychology of learning and motivation: Advances in research and theory. - San Diego, CA: Academic Press. - 1990. - Vol. 26. - P. 125-123.

11. Spellman B.A. Measuring memory and metamemory: Theoretical and statistical problems with assessing learning (in general and using gamma (in particular) to do so / B.A. Spellman, R.A. Bjork & A. Blumenthal II In J. Dunlosky & R. A. Bjork (Eds.). A handbook of metamemory and memory. - Hillsdale, NJ : Psychology Press, 2008. - P. 95-114

Размещено на Allbest.ru