Научение методом проб и ошибок называется

Научение в результате оперантного обусловливания

Как
мы видели, реактивные формы поведения
возникают в результате таких событий,
при которых организм в основном пассивно
испытывает
внешние воздействия на какие – то его
врожденные структуры.

Между
тем для животных организмов особенно
характерна активность:
в любое время
организм должен взаимодействовать со
средой, стремясь удовлетворять свои
потребности или избегать опасных
ситуаций. Поэтому обстоятельства, в
которые попадает организм и к которым
он вынужден приспосабливаться, выбирая
те или иные действия, способствуют
формированию многих новых форм поведения.

Бихевиористы
назвали такие формы поведения оперантными
(от лат. operatio
– действие),
поскольку в этом случае все начинается
с действия, совершаемого над окружающей
средой; оно вызывает какие – то
последствия, от которых и зависит, будет
ли организм повторять это действие или,
наоборот, избегать его. Таким образом,
выработка подобных форм поведения
осуществляется в результате закрепления
тех действий, последствия которых для
организма желательны, и отказа от
действий, приводящих к нежелательным
последствиям.

К оперантному
научению можно отнести три разновидности:
научение методом проб и ошибок, путем
формирования реакции и путем наблюдения.

Научение методом проб и ошибок

При
научении методом проб
и ошибок индивидуум,
встретившись с каким – либо препятствием,
совершает попытки преодолеть его и при
этом, постепенно отказываясь от
неэффективных действий, находит в конце
концов решение задачи.

Такой
тип научения был открыт Торндайком
(Thorndike,
1890) – одним
из первых ученых, заинтересовавшихся
процессами научения (рис. 7,2). В своих
опытах Торндайк использовал так
называемые проблемные клетки, в которые
он помещал голодных кошек (рис. 7.3).
Некоторые клетки открывались в том
случае, если животное тянуло за веревку,
а в других нужно было приподнять запорный
крючок. Торндайк подсчитывал, сколько
попыток и сколько времени требовалось
кошке для того,
чтобы решить стоящую перед ней задачу
– выйти из клетки и получить пищу,
помещенную снаружи.

Рис. 7.2. Эдуард Торндайк,
американский психолог (1874 – 1949). Он
впервые стал изучать решение животными
задач в лабораторных условиях. Работы
Торндайка привели его к теории научения
методом проб и ошибок и к закону эффекта,
на котором основана эта теория.

Рис. 7.3. «Проблемная
клетка», разработанная Торндайком в
1911 году. Кошка, помещенная в такую клетку,
должна была методом проб и ошибок
научиться нажимать на деревянную педаль,
что благодаря системе блоков и веревок
позволяло открывать дверцу.

Наблюдая
за животными, Торндайк заметил, что
сначала их действия были чисто случайными,
но в конце концов кошка «нечаянно»
задевала веревку или крючок, освобождалась
и получала вознаграждение. Однако по
мере увеличения числа попыток действия
животных все больше сосредоточивались
вокруг «ключевого» участка клетки, и
число ошибок, а также и время, проведенное
в клетке, быстро сокращалось. Торндайк
представил эти результаты в виде кривых
(рис. 7.4) и вывел закономерности, позволяющие
объяснить эффективность такого метода
«проб и ошибок». Согласно важнейшей из
этих закономерностей – закону
эффекта, –
в случае,
если какое-то действие приводит к
желательным результатам, вероятность
его повторения возрастает, а если к
нежелательным последствиям – снижается
(см. документ 7.2).

Рис. 7.4. Кривые научения
методом проб и ошибок. Сходные кривые
получал Торндайк по данным своих опытов
на кошках. Видно, что чем больше проб
совершает животное, тем меньше становится
число ошибок.

Однако научение
методом проб и ошибок само по себе не
очень эффективно. Если бы новые формы
поведения удавалось «изобрести» лишь
случайным образом, было бы трудно
объяснить быстрое приобретение новых
навыков людьми и домашними животными.
Без сомнения, вполне вероятно, что на
протяжении миллионов лет именно такой
процесс приводил к выработке различных
навыков у наших предков. Но не менее
очевидно, что по мере совершенствования
этих навыков и упрочения власти человека
над окружающей средой постепенно
складывались новые способы формирования
и передачи новых типов поведения.

Скиннер
– признанный вождь американских
бихевиористов в последние 30 лет –
систематизировал теорию Торндайка,
пытаясь объяснить, каким образом в
структурированной среде формируется
множество различных типов поведения.
При этом Скиннер вскрыл принципы
оперантного
обусловливания и
формирования
реакций путем
последовательных приближений.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

метод проб и ошибок

Полезное

Научение – это  выработка в процессе онтогенеза  приспособительных форм поведения. Научение обеспечивает постоянное пополнение и изменение наших знаний, а также приобретение новых навыков и умений. Для научения необходима память, т.к. она представляет механизм, с помощью которого накапливается прошлый опыт, который может стать источником адаптивного поведения. Научение требует определённого времени и реализуется с помощью нейрофизиологических механизмов разного уровня: межклеточного, внутриклеточного, молекулярного.

Существует несколько классификаций научения. Все виды научения делят на две группы: неассоциативное и ассоциативное, кроме того, выделяют простое и сложное научение.  По критерию активности животного или человека в ходе научения выделяют 4 группы научения:

I.Пассивное (реактивное) научение  имеет место во всех случаях, когда организм, не прилагая целенаправленных усилий реагирует на какие-то внешние факторы и когда в нервной системе формируются новые следы памяти. Формами пассивного научения являются: привыкание, сенситизация, импринтинг и  классические условные рефлексы.

А) Привыкание (габитуация)  – выражается в ослаблении поведенческой реакции при повторных предъявлениях стимула. Примером поведенческого привыкания является угасание ориентировочного рефлекса в случае многократно повторяющегося раздражителя, не имеющего значения для организма. Благодаря привыканию  мы можем игнорировать раздражители, не несущие никакой новизны и не имеющие для нас значения, сосредоточивая внимание на более важных явлениях. Привыкание  – это особый приспособительный нервный процесс, его не следует путать с утомлением и адаптацией анализаторов, т.к. его можно вызвать изменением стимула.

Б) Сенситизация – усиление реакции организма на повторяющийся стимул, если он вызывает каждый раз неприятные ощущения (например,  жужжание мухи, писк комара). В данном случае научение носит негативный характер. В основе механизма этого вида научения лежит механизм синаптического облегчения (посттетанической потенциации), которое улучшает проведение в синапсах после короткого раздражения афферентных путей.

В) Импринтинг – запечатление в памяти новорождённого окружающей действительности. Это особая форма научения, основанная на врождённой предрасположенности к определённым сочетаниям раздражителей и возникающих ответных реакциях в ранний период развития организма. В отличие от ассоциативного или инструментального обучения импринтинг может реализоваться только в определённый период онтогенеза, так называемый сенситивный (чувствительный)  период. Первые данные о наличии чувствительных периодов в раннем онтогенезе, при которых происходит запечатление, были получены Конрадом Лоренцом на выводковых птицах. Учёный назвал такой тип обучения  импринтингом. Различают несколько форм проявления импринтинга:

1. 1.        Запечатление образов и объектов: родителей, братьев, сестёр, вида пищи т.д.
2. 2.        Усвоение поведенческих актов (дети повторяют действия родителей). Это так называемое имитационное поведение, разновидностью этого импринтинга является половой импринтинг – половое поведение особей внутри своего вида.
3. 3.        Реакция следования –  автоматическое следование новорождённого за родителями. Реакция следования происходит не только  за запечатлённым объектом, но и за близкими ему по форме. При этом запечатляться может любой предмет.

Считают, что двигательным эквивалентом реакции следования животных у ребёнка является улыбка, смена мимики, реакция оживления уже на втором месяце жизни.

Импринтинг имеет сходство как с безусловными, так и условными  рефлексами:

• также как и безусловные рефлексы эти реакции сохраняются, как правило,  в течение всей жизни.
• являются врождёнными, однако для их проявления требуются определённые условия. Например, реакция следования является врождённой, но в процессе жизни превращается в приобретённую (если изолировать детёныша от родителей сразу после рождения на определённый промежуток времени, то реакция следования не формируется, т.е. конкретная реакция  по наследству не передаётся, имеется только готовность к её выполнению у новорождённого).

Импринтинг отличается  и от  безусловных, и от условных  рефлексов:

• он проявляется в определённые критические  (сенситивные) периоды.
• запечатление происходит очень быстро, иногда с первого раза.

Открытие сенситивных периодов в развитии головного мозга и поведения птиц явилось стимулом для проведения исследований на млекопитающих. Наблюдение за развитием детей свидетельствует о том, что важную роль в нервно-психическом развитии ребёнка имеет импринтинг, влияющий на будущее поведение, предопределяя  его на долгие годы, По-видимому, в развитии  детей имеются критические периоды, но они сдвинуты на более поздние сроки, чем у животных. В частности, существует мнение, что возраст от 6 недель до  6 месяцев является критическим для формирования отношений ребёнка с матерью.

1. Классические условные рефлексы по И.П.Павлову – положительные и отрицательные.

II. Оперантное научение (от лат. оperatio –действие) – это научение, в ходе которого организм добивается полезного результата с помощью активного поведения. Имеется три вида оперантного научения –  метод проб и ошибок, инструментальный условный рефлекс и самораздражение.

А) Метод проб и ошибок.  Амер. Уч. Э.Торндайк (один из основоположников бихевиоризма, от англ. behavior – поведение) помещал кошек в проблемные клетки, которые открывались в том случае, если кошка предпринимала какие-либо действия. Когда кошка выходила из клетки, она получала пищу. По мере повторения этой процедуры (увеличения числа проб и ошибок) скорость выполнения задачи возрастала.

Б) Инструментальный условный рефлекс – научение действию с помощью  вознаграждения (подкрепления). Этот вид оперантного научения происходит по сигналу в отличие от  научения методом проб и ошибок, который осуществляется без сигнала. Например, животное по световому сигналу нажимает на рычаг и выключает электрический ток, чтобы избежать раздражения, т.е. использует какой-то инструмент, отсюда и название этого вида научения.

В) Самораздражение структур мозга для получения удовольствия, положительных эмоций.  Если крысе вживить раздражающий электрод в латеральную область гипоталамуса, поместить её в камеру Скиннера и предоставить ей возможность осуществлять самораздражение, нажимая на рычаг, крыса будет осуществлять самораздражение настолько интенсивно, что возникает опасность её гибели от истощения.

III. Когнитивное научение (рассудочное) основано на формировании функциональной структуры среды, т.е. на извлечении законов связей между её отдельными компонентами. К когнитивному научению относится: научение путём наблюдения, рассудочная деятельность, психонервная деятельность. Некоторые исследователи к этой форме научения относят вероятностное прогнозирование.

А) Научение путём наблюдения, в результате которого выполняются действия путём непосредственного наблюдения за действием других. Различают два вида этого научения: простое подражание и викарное научение.

1. 1.       Простое подражание. Например, обезьяна в общении с исследователями научилась мыть банан перед едой, не понимая, зачем она это делает.
2. 2.       Викарное научение. Осуществляется также  с помощью наблюдения, но при этом результат действия оценивается. Такое научение свойственно только человеку. Особенно часто используют научение путём наблюдения дети, причем в раннем детстве оно является преимущественно подражательным. С возрастом начинает преобладать викарное научение.

Б) Рассудочная деятельность. Представление о рассудочной деятельности животных ввёл в научный оборот в 1960 г. Л.В.Крушинский. Наиболее характерное свойство элементарной рассудочной деятельности животных заключается в их способности улавливать простейшие эмпирические законы, связывающие предметы и явления окружающей среды, и возможность оперировать этими законами при построении программ поведения в новых ситуациях.Рассудочная деятельность отличается от любых форм обучения тем, что она осуществляется при первой же встрече организма с необычной ситуацией, создавшейся в среде его обитания.         Наблюдения за поведением животных привели Л.В.Крушинского к заключению о том, что их способность к экстраполяции направления движения раздражителя можно рассматривать как одно из элементарных проявлений рассудочной деятельности. Под экстраполяцией  понималась  способность животных определять направление дальнейшего перемещения значимого для него раздражителя.

Для исследования способности животных к экстраполяции (экстраполяционным рефлексам) в лаборатории Л.В.Крушинского проводился эксперимент, сущность которого  заключалась в следующем: перед животным помещалась ширма с щелью. За ширмой располагали две кормушки, одна из которых пустая, а другая с пищей. После того, как животное  в течение нескольких секунд подкармливалось через щель, кормушки раздвигались в разные стороны. Животное должно было определить направление движения кормушки с кормом и, обежав ширму, достичь её.

При исследовании способности к экстраполяции разных представителей животного мира, оказалось, что  первое место среди млекопитающих занимали волки и красные лисицы. У птиц самая высокая способность к экстраполяции наблюдается в семействе врановых птиц. Рептилии, в частности, ящерицы и крокодилы, решали задачу уже при первых её предъявлениях, тогда как рыбы и амфибии с ней не справлялись.

В лаборатории Л.В.Крушинского исследовался также вопрос о соотношении обучаемости и элементарной рассудочной деятельности. Результаты показали, что доля правильных решений задачи при многократном её  предъявлении  уменьшается у тех видов животных, для которых был характерен высокий показатель при первом предъявлении, и наоборот – постепенное увеличение доли правильных решений у плохо экстраполирующих животных. Таким образом был установлен парадоксальный результат: у животных с высоким уровнем рассудочной деятельности многократное предъявление экстраполяционной задачи ухудшает её решение.  По мнению Л.В.Крушинского, это объясняется тем, что правильное решение вызывает резкое возбуждение головного мозга, что приводит при следующих предъявлениях к ухудшению решения задачи. А у животных с невысоким уровнем рассудочной деятельности нарушений деятельности мозга не происходит, в результате обучению правильному решению задачи проходит успешно. Следовательно, степень развития рассудочной деятельности обусловливает тот исходный фон, с которого начинается формирование поведения при участии индивидуального опыта. Чем выше уровень элементарной рассудочной деятельности, тем пластичнее и адаптивнее поведение.

Таким образом сложное приспособительное поведение животных, с точки зрения Л.В.Крушинского, строится из трёх основных компонентов ВНД: инстинктов, условных рефлексов и рассудочной деятельности, благодаря которой организм сразу вырабатывает программу адаптивного поведения в новых условиях, внезапно сложившихся ситуациях и способен выбрать наиболее адекватную тактику поведения в новой обстановке, прогнозируя развитие событий.

В) Психонервная деятельность (или образное поведение, или образная память). Психонервная деятельность исследовалась И.С. Бериташвили в 1926 г.  Суть психонервной деятельности состоит в том, что у высших позвоночных животных при первом же восприятии конкретных явлений окружающей действительности (пищи, врага и т.д.) возникает определённый образ. Этот образ сохраняется, и, каждый раз, когда он воспроизводится при восприятии данной среды или какого-либо его компонента, животное ведёт себя точно так же, как  и при непосредственном восприятии.  И.С. Бериташвили считал, что нервным субстратом психонервной деятельности является неокортекс.  В отличие от условнорефлекторной деятельности психонервный образ

• не требует повторяемости, а формируется сразу;
• быстро перестаёт вызывать определённое поведение, если не сопровождается удовлетворением биологической потребности;
• требует обязательного участия коры головного мозга, прежде всего её лобных отделов;
• психонервная деятельность определяет включение и выключение условных и безусловных рефлексов, а также последовательность их протекания.

Индивидуальное поведение, первично направляемое психонервным образом, при повторной тренировке автоматизируется и осуществляется по всем закономерностям условнорефлекторной деятельности.

Г) Вероятностное прогнозирование, под которым понимается предвосхищение будущего, основанное на вероятностной структуре прошлого опыта и информации о наличной ситуации. Оба эти фактора являются основой для создания гипотез о предстоящем будущем. В соответствии с таким прогнозом осуществляется подготовка к действиям в предстоящей ситуации, приводящим к наибольшей вероятности достижения цели. Высшие позвоночные и человек в своей деятельности постоянно опираются на вероятностное прогнозирование. Например, когда человек переходит улицу, он прогнозирует ситуацию на проезжей части и интервал времени для безопасного пересечения дороги.

IV. Научение путём инсайта (озарения) – это внезапное нестандартное правильное решение задачи. Этот вид научения является следствием объединения опыта, накопленного в памяти, с той информацией, которой располагает индивид при решении проблемы.

В заключение необходимо отметить, что в конкретных ситуациях для достижения приспособительного результата индивид чаще всего использует не один, а несколько видов научения.

Э.Торндайк разработал, так называемые, проблемные клетки, в которые помещал голодное животное, в частности, кошку. В клетке было расположено устройство, с помощью которого можно было открыть дверцу, например, педаль, и выбежать наружу, где находилась пища. При этом из клетки пища была хорошо видна, но достать ее было невозможно. Голодная кошка, впервые посаженная в такую клетку, начинает производить множество различных действий, в частности, пытается дотянуться до пищи, совершает круговые движения и т.д. В определенный момент она может случайно соприкоснуться с запирающим механизмом, в результате чего дверца клетки открывается и кошка выбегает к пище. После этого животное снова помещают в проблемную клетку. Так проделывают до тех пор, пока оно не “догадается” сразу же нажать на педаль, как только окажется в этих условиях. По мере увеличения количества опытов животное все меньше совершает бесполезных движений, все меньше затрачивает времени на разрешение задачи. Э.Торндайк построил на основе этих опытов график научения, на котором отразил зависимость между номером опыта и временем, проведенным кошкой в клетке. График имел вид кривой, медленно спускающейся вниз. Характер кривой говорил о том, что у животного в процессе научения нет внезапного понимания смысла задачи, а оно научается случайно, действуя методом проб и ошибок. Поэтому Торндайк назвал эту форму приобретения опыта “методом проб и ошибок и случайного успеха”.

Положения теории.

 Во-первых, Э.Торндайк выдвинул положение о том, что научение у животных происходит благодаря образованию ассоциации между определенной ситуацией и определенным движением. Например, кошка научается открывать дверцу клетки благодаря тому, что у нее образуется ассоциация между движением, связанным с нажатием на педаль, и данной проблемной ситуацией. В результате этого, как только ее помещают в данную проблемную ситуацию, она сразу же совершает ассоциированное с этой ситуацией движение. Революционный смысл данного положения заключался в том, что понятие “ассоциация” применялось для объективных явлений. Прежняя психология утверждала, что ассоциация при научении возникает между субъективными феноменами сознания (мыслями, идеями, образами). Понимание ассоциации, предложенное Э.Торндайком, давало перспективы для объективного изучения процессов научения у животных, субъективный мир которых недоступен для научного анализа. В то время это было прогрессивным шагом в развитии науки о поведении животных.

Во-вторых, Э.Торндайк сделал акцент на том, что инструментальное научение начинается с активной реакции животного на проблемную ситуацию. Согласно рефлекторной теории поведения, животные совершают какие-либо движения только на вполне определенные внешние стимулы, на которые в организме есть предуготовленные способы реагирования. Это могут быть либо безусловные стимулы, которые вызывают врожденную реакцию (безусловный рефлекс по терминологии И.П.Павлова), либо условные раздражители, которые вырабатываются в течение жизни на основе этих врожденных реакций.  Проблемная ситуация – это такой внешний стимул, на который в организме животного нет предуготовленных способов реагирования. Но животное активно отвечает на такую ситуацию определенным поведением (исследовательской активностью). Таким образом, способ усвоения знания при инструментальном и условно-рефлекторном научении отличается тем, что в первом случае животное активно разрешает задачу, а во втором случае ему отводится роль пассивного статиста.

В-третьих, Э.Торндайк предложил такой механизм научения, который убирал из объяснительной схемы субъективное понятие цели. Раньше психологи утверждали, что у животного в проблемной ситуации появляется цель и стремление к ее достижению. Э.Торндайк же следовал известному правилу Моргана, которое он провозгласил еще в 1894 году в своей книге “Введение в сравнительную психологию”: “Ни в коем случае нельзя считать какое-либо действие результатом упражнения более высокой психической способности, если его можно объяснить на основе способности, стоящей ниже по психологической шкале”. Согласно Э.Торндайку животное заставляет обучаться не некое сознательное стремление к цели, а проблемная ситуация. Схема научения ранней психологии выглядела следующим образом: проблемная ситуация приводит к появлению у животного сознательного стремления к достижению цели, что, в свою очередь, приводит к определенной двигательной активности, заканчивающейся разрешением задачи. Схема научения Э.Торндайка: проблемная ситуация вызывает у животного запрограммированное проявление различных, случайных движений (хаотическая двигательная активность), из которых в ходе научения отбираются лишь те, которые раз за разом приводят к разрешению поставленной задачи. Другими словами, животное  — это, в какой-то степени, машина, которая запрограммирована отвечать на незнакомую ситуацию определенным набором движений, из которого в процессе научения происходит отбор нужных. Таким образом, из объяснительной схемы научения была безболезненно убрана субъективная категория сознательной цели.

Наконец, Э.Торндайк раскрыл также механизм отбора, благодаря которому закрепляются нужные движения. Этот механизм связан с действием, так называемого, закона эффекта: для реакции, за которой следует состояние удовлетворения, вероятность повторения в сходной ситуации возрастает, а для реакции, вызывающей неприятные воздействия, вероятность повторения снижается.

Из закона следует, что связь между движением и проблемной ситуацией устанавливается потому, что после совершения этого движения животное испытывает субъективное состояние удовлетворения
(положительную эмоцию). Другими словами, по Э.Торндайку подкреплением в научении служит эмоция, которая возникает после совершения определенного движения, которое приводит к разрешению задачи и удовлетворению определенной потребности, например, голода. По И.П.Павлову, как было уже сказано, подкреплением служит сам процесс предъявления безусловного стимула, безотносительно к субъективному состоянию, которое испытывает при этом животное. В этом аспекте павловское понимание подкрепления больше удовлетворяло представителей классического бихевиоризма, так как убирало из объяснительной схемы субъективное понятие эмоции, состояние удовлетворения. В этой связи Э.Торндайка нельзя отнести к истинным последователям бихевиоризма. Несмотря на то, что подход бихевиристов был с формальной точки зрения более научным, нежели у Э.Торндайка, представляется, что система эмоционального подкрепления, которая играет важное значение в обучении человека, возникла не на пустом месте, а имеет свою эволюционную историю. По-видимому, одной из причин возникновения у животных субъективного эмоционального мира было возрастание у таких организмов эффективности процессов научения. Поэтому концепция Э.Торндайка в этом пункте представляется более верной, по крайней мере, по отношению к определенной группе животных (в частности, к высшим позвоночным).