Тамара Казарина
Аналитическое наблюдение (психодиагностика)
Введение
Метод экспертных оценок используется в психодиагностике в очень широком спектре задач и процедур. Он используется фактически везде, где имеет место не стандартизированный переход от диагностических признаков к диагностическим выводам. Сюда относятся и проективные методики, и контент-анализ продуктов деятельности, и включенное наблюдение, и анализ материалов беседы. Но в наиболее явной форме он используется, как правило, в сочетании с так называемым стандартизированным аналитическим наблюдением.
Публикация «Аналитическое наблюдение (психодиагностика)» размещена в разделах
Что такое аналитическое наблюдение? Чем оно отличается от обычного наблюдения? Где заканчивается поисковое и начинается собственно стандартизованное наблюдение? Казалось, что может быть проще, чем наблюдать за интересующим нас объектом. К этому самому простому методу сбора информации мы прибегаем всякий раз, когда у нас отсутствуют какие-либо другие более изощренные, более совершенные методы. Так чаще всего и происходит на практике. Исходя из ложного представления о том, что наблюдение - самый простой метод, методически малограмотные исполнители прибегает к стихийному и неорганизованному наблюдению. На самом деле такое неорганизованное наблюдение оказывается малоэффективным занятием.
Цель работы:
- изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных решений;
-использование аналитического наблюдения во всех сферах психологии.
1. Аналитическое наблюдение
При правильном, научном подходе к наблюдению даже минимально организованное поисковое наблюдение все равно характеризуется рядом признаков, которые делают его эффективным:
1) Наличие цели и предмета наблюдения. Мы должны ответить себе на вопрос, за чем наблюдаем и с какой целью. В психодиагностике необходимо сформулировать для себя перечень психических свойств, которые являются предметом наблюдения. А цель может быть зафиксирована так: в какой степени выражены указанные психические свойства у наблюдаемых объектов (в нашем случае - у детей).
2) Наличие процедурной схемы наблюдения; одинаковой для всех объектов наблюдения. В каких условиях происходит наблюдение (в классе, на перемене, во время ответа у доски, во время выполнения самостоятельной или контрольной письменной работы, во внеклассных играх и мероприятиях и т. п.? Сколько времени продолжается один сеанс наблюдения? Сколько всего сеансов предусматривается и с какой периодичностью? Сколько объектов наблюдения охватывается одним наблюдателем за один сеанс (1 ребенок или сразу весь класс из 30 и более человек? Понятно, что было бы неправильно, не ответив себе на эти вопросы; заведомо обречь себя на стихийный перекос: за одними детьми мы больше наблюдали на уроке, за другими — вне урока и т. п. Кстати, о количестве объектов наблюдения. Нецелесообразно планировать за один сеанс следить более, чем за 7 объектами одновременно.
Как видим, серьезное аналитическое наблюдение требует значительных усилий уже на этапе планирования и практически полной загрузки наблюдателя на этапе осуществления плана. Это крайне трудно сочетать с активным решением педагогических задач (ведение урока, руководство классом). Поэтому целесообразно освобождать наблюдателя на время наблюдения от непосредственной занятости педагогической работой.
3) Наличие признаков наблюдения. Это критический пункт плана наблюдения, по которому различаются поисковое и стандартизированное наблюдение. В поисковом наблюдении задача заключается в том, чтобы как раз обнаружить, выделить и однозначно описать признаки наблюдения. Речь идет о любых симптомах, поведенческих проявлениях (поступках) и других внешних признаках, по которым можно сделать вывод о наличии определенной выраженности искомого психического свойства. Выделение системы признаков — главный продукт поискового этапа, после которого наблюдение становится собственно аналитическим, то есть производится анализ признаков.
2. Стандартизированное наблюдение
В стандартизированном наблюдении набор признаков уже задан в инструкции, подготовленной для наблюдателя другим исполнителем - автором данной методики стандартизированного наблюдения. Если наблюдение производится в практических, а не в исследовательских целях, то поисковое наблюдение никогда не завершается на поисковом этапе, и после выделения минимального набора признаков наблюдение переходит на этап реализации - этап фиксации выделенных признаков и статистики (частоты) их появления у наблюдаемых объектов. Иногда этот этап называется кодированием.
Приведем простейший пример. Пусть нас интересует такое психическое свойство детей, как «экзаменационная тревожность». Этот термин пришел из психологической службы вузов, где студентам постоянно приходится сдавать экзамены. В школе он обозначает особую тревожность детей при выполнении любого задания, за которое они заведомо будут аттестованы (в частности, за ответ у доски). Каковы внешние признаки тревожности? Один из очевидных признаков - «мышечный тремор» (обыкновенная дрожь). В состоянии тревожного возбуждения дрожат не только руки, но и мышцы голосовых связок, что придает голосу характерную неровную интонацию. Выраженный мышечный тремор (в стадии, сильно заметной для постороннего наблюдателя, очевидно, является более «сильным» признаком тревожности, чем изменение окраски лица (как известно, покраснение или побледнение является следствием так называемой вазомоторной, или сосудистой, реакции, появляющейся в состоянии тревожного возбуждения). За «выраженный тремор» следует начислять 3 очка, за «выраженную вазомотору» - 2 очка, а например, за единичную речевую запинку (синтаксический и интонационный сбой в произнесении фразы или оговорка) - 1 очко.
Таким образом, полная инструкция для стандартизированного наблюдения должна включать максимально развернутые описания кодифицированных признаков (лучше с обоснованием их связи с диагностическими категориями). Под кодификацией признака понимается то краткое обозначение, под которым данный признак фиксируется в протоколе наблюдения. Распространенный вариант - использование трехбуквенных обозначений. Например, «трм» - тремор, «взм» - вазомоторика, «зпк» - запинка.
3. Надежность и валидность наблюдений
Как обеспечиваются надежность и валидность наблюдения? То есть, как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность? Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объектами и событиями не менее двух независимых наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят «живое» наблюдение, либо они имеют дело с видеозаписью. После получения независимых протоколов между протоколами рассчитываются хорошо известные психологам с университетским образованием коэффициенты сопряженности (аналог коэффициентов корреляции для качественных признаков - Рунион, 1982). Значение вычисленного коэффициента сопряженности указывает на сводный показатель «надежность+валидность». Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей. Степень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Огрубление можно сказать, что относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера «надежности-валидности» наблюдения. Таком образом, в любом методе экспертной оценки в качестве меры «надежности-валидности» выступает согласованность оценок независимых экспертов.
Очевидно, что подобный эксперимент по измерению надежности и валидности наблюдения не есть удел и задача практиков. Этим должны заниматься те, кто разрабатывает методику стандартизированного наблюдения. Но. Но в отличие от психометрической стандартизации теста (см. следующий раздел 2.3, важно апробировать не только качество методики и однозначность инструкции, но и проверить то, насколько квалифицированными исполнителями оказались данные конкретные наблюдатели-кодировщики.
4. Экспертное оценивание
Экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора). Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.
Экспертные оценки часто используются при выборе, например:
- одного варианта технического устройства для запуска в серию из нескольких образцов,
- группы космонавтов из многих претендентов,
- набора проектов научно-исследовательских работ для финансирования из массы заявок,
- при выборе инвестиционных проектов для реализации среди представленных….
5. Этапы экспертного оценивания
Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.
1. Постановка цели исследования
Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.
2. Выбор формы исследования, определение бюджета проекта
Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.
Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.
После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.
3. Подготовка информационных материалов
Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.
4. Подбор экспертов
Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.
Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.
5. Проведение экспертизы
Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.
6. Анализ результатов
На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.
6. Виды экспертных оценок
Существующие виды экспертных оценок можно классифицировать по признакам:
1. По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
2. По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.
3. По решаемым задачам: генерирующие решения и оценивающие варианты.
4. По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические.
6. По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.
7. Проведение экспертизы
Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:
- Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
- Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
После получения ответов экспертов необходимо провести их оценку. Это позволяет:
1) Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности и признать отсутствие согласованного мнения.
2) Оценить ошибку исследования.
3) Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.
Заключение
Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.
Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы. Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Но необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.
Список литературы
1. Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки. - М. : Наука, 1973. - 79 с.
2. Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки в принятии плановых решений. Учеб. пособие. - М. : Экономика, 1976. 287 с.
3. Евланов Л. Г., Кутузов В. А. Экспертные оценки в управлении. - М. : Экономика, 1978. 133 с.
4. Литвак Б. Г. Экспертные оценки и принятие решений. - М. : Патент, 1996.
5. Менеджмент. Учеб. пособие. / Под ред. Ж. В. Прокофьевой. - М. : Знание, 2000. - 288 с.
6. Моисеев Н. Н. Математические задачи системного анализа. - М. : Наука, 1981. - 487 с.
7. Орлов А. И. Экспертные оценки. // Заводская лаборатория. – М. :1996. Т. 62. №1. С. 54-60.
8. Орлов А. И. Экспертные оценки. Учеб. пособие. - М. : 2002.
9. Статистические методы анализа экспертных оценок. - М. : Наука, 1977. - 384 с.
10. Шмелева А. Г. Основы психодиагностики. Учебное пособие для студентов педвузов / под общ. редакцией А. Г. Шмелева — Москва, Ростов-на-Дону: «Феникс», 1996, 544 с.
Электронные ресурсы
1. Характеристики методов экспертных оценок [Электронный ресурс] : #"justify">Экспертное оценивание. / Википедия. [Электронный ресурс] : #"justify">Экспертные оценки. // StatSoft : SPC Consulting. [Электронный ресурс] : https://www.spc-consulting.ru/app/expert.htm
2. Экспертная оценка https://www.calltouch.ru/glossary/ekspertnaya-otsenka/
