Текст бизнес-книги "Метод экспертных оценок. Теория и практика"

Автор книги: Светлана Гуцыкова

Раздел: Управление и подбор персонала, Бизнес-книги

Светлана Валерьевна Гуцыкова
Метод экспертных оценок

© Учреждение Российской академии наук

Институт психологии РАН, 2011

* * *

Предисловие

Метод экспертных оценок получает в наши дни все большее применение для определения соответствия характеристик людей и созданных ими артефактов запросам и потребностям общественной практики. Особенно широко этот метод используется в области исследования персонала, при проведении профессионального отбора и аттестации специалистов, оптимизации управленческих технологий. Вместе с тем, вплоть до настоящего времени в нашей стране отсутствуют специальные издания, в которых систематически были бы рассмотрены вопросы теории, методологии и практики применения экспертного метода для оценки персонала и профессиональной пригодности специалистов.

В предлагаемой читателям книге изложены современные представления о сущности метода экспертных оценок, процедурах экспертного исполнения, способах анализа экспертных сведений. Логика ее структуры такова: от рассмотрения того, что есть метод экспертных оценок, его места в кругу других методов исследования и управления персонала, валидности и надежности экспертных оценок (глава 1) – к рассмотрению факторов (и прежде всего, индивидуально-личностных особенностей экспертов), влияющих на экспертное исполнение (глава 2).

Автором предложена оригинальная схема, показывающая место метода экспертных оценок в кругу других методов оценки персонала; рассмотрены требования, предъявляемые к процедурам экспертного оценивания, при этом особо подчеркнута важность согласованности экспертных оценок.

Положительной стороной работы является стремление автора к комплексному рассмотрению всего круга вопросов, связанных с применением экспертного метода при оценке профессиональной пригодности специалистов. В частности, детально проанализированы индивидуально-психологические особенности экспертов (своеобразие протекания у них процессов восприятия, запоминания и мышления, личностные особенности), влияющие на экспертное оценивание. Показаны особенности принятия экспертных решений на основе рациональных и эмоциональных критериев. В итоге автором предложен алгоритм экспертного оценивания исполнения профессионально важных качеств.

Доктор психологических наук, профессор А. А. Обознов

Глава 1
Метод экспертных оценок в диагностике персонала

Методы оценки персонала, источники оценочной информации и метод экспертных оценок

Метод экспертных оценок достаточно широко используется в решении самых разнообразных задач. В последнее время, наряду с объективными методами оценки, он приобретает все большее распространение в решении задач профессионального отбора и аттестации специалистов, а также оптимизации управленческих технологий. Экспертные оценки являются наиболее распространенным способом получения и анализа качественной информации в ситуациях, когда остро ощущается недостаток объективных данных. Применение субъективных оценок обусловлено необходимостью решения задач при отсутствии ряда наблюдений за проявлением аналогичных событий в прошлом или другой объективной информации (Бешелев, Гурвич, 1980; Литвак, 1996; Шошин, 1997; и др.).

Метод экспертных оценок отличает высокая прогностичность в отношении эффективности профессиональной деятельности. Использование аргументированных экспертных суждений позволяет повысить обоснованность принимаемых кадровых решений и учесть во всей возможной полноте факторы, оказывающие влияние на их результат (Бешелев, Гурвич, 1980).

Экспертный метод зарекомендовал себя как незаменимый инструмент в практике центров оценки и развития персонала. Оценка поведенческих проявлений кандидата центра оценки или его компетенций составляет ключевую часть оценочных мероприятий с последующим вынесением итогового суждения об уровне развития профессиональных компетенций. На этом основании в дальнейшем принимаются решения о повышении квалификации и обучении, кадровых перестановках, оплате труда и пр.

Применение метода экспертных оценок особенно актуально в социономических профессиях в связи со сложностью выработки единых требований к процессу и результату труда, а также к самому субъекту профессиональной деятельности. Экспертные оценки используются в качестве основного источника получения информации о потенциальном кандидате в этих профессиях.

В целом, экспертиза представляет собой унитарный конструкт, который может быть широко использован в самых разных областях. Но единого определения экспертизы на данный момент времени не существует (Jennings et al., 2005). В этой связи особенно остро встают вопросы психологического содержания экспертного мнения, выраженного в экспертных оценках.

В настоящее время отсутствует единый конструкт, который описывал бы все многообразие процессов, начиная от восприятия оцениваемого специалиста и актуализации имплицитных представлений эксперта об образе успешного профессионала до конечной экспликации экспертного мнения в рамках предложенных эксперту шкал. Отсутствие единого конструкта существенно затрудняет операционализацию экспертного опыта. «Общее у всех вариантов экспертиз состоит в том, что специалист дает ответ на вопрос; а вот различия – в том, как он приходит к этому ответу, каким образом предъявляет и обосновывает его» (Братченко, 2006, с. 64).

Анализ исторически сложившихся областей исследовательского изучения экспертных методов позволяет выделить два направления. Первое направление связано с использованием экспертных методов в контексте оценки результатов и промежуточных параметров профессиональной деятельности. Оно отражает множественные представления о том, что такое выполнение работы, какие конструкты могут быть использованы для операционализации этого понятия, какой измерительный инструмент оценки может быть применен. В работах данного направления значительное место принадлежит обсуждению точности и ошибок оценивания, а также сопоставлению разнообразных видов измерений.

Второе исторически сложившееся направление фокусируется в основном на процессах становления специалиста в качестве эксперта в какой-либо сфере деятельности, характеристиках и предикторах экспертного исполнения, механизмах принятия решений и переменных, опосредующих этот процесс. Отдельное внимание в рамках этого направления уделено различию когнитивных и эмоциональных оценок и анализу влияний на них установок и личностных оценок.

Оба указанных направления накопили обширный эмпирический материал, который может быть применен при практическом использовании метода экспертных оценок.

Наряду с решением задач, имеющих выраженное практическое звучание, метод экспертных оценок находит применение и при решении ряда методологических задач, а именно для анализа и классификации видов профессиональной деятельности и определения критериев ее эффективности. Он может быть использован в целях комплексной процедуры анализа профессиональной деятельности или, в более узком плане, для анализа выполняемой работы.

Широко используемый в зарубежных источниках применительно к оценке персонала термин «анализ работы» представляет собой сбор данных, описывающих наблюдаемые профессиональные действия работников, выполненную работу и приемы, посредством которых достигается конечный результат, а также верифицируемые характеристики профессиональной среды, включающие физические, механические, социальные и информационные элементы. Полный «анализ работы» охватывает не только выполняемые задачи и ситуации, в которых осуществляется работа (инструменты, оборудование, условия труда), но также и качества, необходимые для ее выполнения (Мучински, 2004).

В рамках традиций отечественной психологической школы составляющие полного анализа работы в виде качеств, необходимых для успешного выполнения профессиональной деятельности, находят свое отражение в концепте профессиональной пригодности субъекта деятельности. Известно, что понятие профессиональной пригодности используется для характеристики человека с точки зрения его соответствия требованиям трудовой деятельности. Профессиональную пригодность принято понимать как интегральную характеристику субъекта труда, отражающую степень индивидуальных возможностей выполнения трудовых функций на заданном уровне эффективности, надежности и безопасности в течение определенного времени (Бодров, 2006, с. 351).

Определение степени профессиональной пригодности базируется на учете ряда индивидуальных характеристик человека, неудовлетворительное развитие которых может служить причиной недостаточной пригодности и противопоказанием для эффективного выполнения деятельности в условиях, когда отсутствует возможность их компенсации.

Выявление профессиональных требований к личности, предъявляемых условиями конкретной деятельности, является одним из важнейших этапов в разработке системы диагностики и прогнозирования профессиональной пригодности. Используемые для этого методические подходы могут включать эмпирико-экспериментальный путь, предполагающий массовое психологическое обследование и последующее сопоставление психологических показателей с эффективностью деятельности; методы алгоритмического анализа деятельности и составление психограммы; экспертную оценку перечня требований профессии к человеку и соответственно оценку профессионально важных качеств (Бодров, 2006, с. 380).

Оценка профессиональной пригодности в обязательном порядке предполагает сопоставление целого спектра разнородных качеств специалиста с требованиями, предъявляемыми характером и спецификой профессиональной деятельности. «Основной принцип, используемый при оценке деловых, профессиональных и личных качеств специалистов, касается взаимосвязи между характеристиками личности человека и его деятельностью: деятельность формирует многие профессионально значимые качества личности, изучение и оценка которых позволяет сделать вывод о возможностях реализации профессионального потенциала человека и эффективности его деятельности в этой сфере» (Почебут, Чикер, 2002, с. 182).

Оценки профессиональной пригодности и ее более широкого контекста – профессиональной успешности сопряжены с источниками оценочной информации, а также с релевантностью полученных с их помощью данных. Источники оценочной информации о персонале в той или иной сфере профессиональной деятельности принято подразделять на объективные, кадровые и субъективные. При этом специалисты, занимающиеся разработкой систем оценки в контексте проблем управления персоналом, указывают на сложность создания сбалансированных систем оценки, которые были бы способны предоставлять точную информацию, служащую основой для принятия обоснованных решений в формировании кадровой политики (Бобиенко, 2006; Беркутова, Крониковская, Мартьянова, Пономарев, 2007).

В настоящее время используется достаточно широкий спектр методов оценки. Он продиктован разнообразием ситуаций, в которых эти методы могут быть востребованы, и зависит от специфики объекта и предмета оценки. В частности, метод экспертных оценок насчитывает большое количество вариаций использования, но, к сожалению, приходится констатировать отсутствие «общепринятой научно обоснованной классификации методов экспертных оценок и тем более – однозначных рекомендаций по их применению» (цит. по: Братченко, 2006, с. 68).

В отечественной и зарубежной практике управления различают три группы методов, применяемых для целевых и плановых, а также текущих или оперативных оценок персонала: качественные, количественные и комбинированные (Беркутова, Крониковская, Мартьянова, Пономарев, 2007). Процедура экспертного оценивания может входить в состав каждого из них.

Качественные методы представляют собой методы описательного характера; они не используют количественных показателей, относящихся к качествам обследуемых претендентов. К числу наиболее распространенных качественных методов относят матричный метод, метод эталона, метод групповой дискуссии, метод оценки выполнения и систему произвольных характеристик (Беркутова, Крониковская, Мартьянова, Пономарев, 2007). Кратко опишем каждый из них.

Матричный метод предполагает сравнение фактических характеристик оцениваемого кандидата с набором качеств, которые требуются для выполнения профессиональной деятельности.

Метод эталона основан на сравнении фактических навыков и поведения оцениваемого кандидата с показателями наиболее успешных, или «эталонных», работников в данной области.

Метод групповой дискуссии позволяет выявить в соответствии с определенными критериями наиболее инициативных представителей группы, способных к самостоятельным и логичным, взвешенным решениям.

Метод оценки выполнения связан с оценкой экспертами работы сотрудника за определенный промежуток времени. Он схож с системой произвольных характеристик, предполагающих произвольную форму оценки и включающей профессиональные достижения и недостатки в деятельности оцениваемого кандидата за некоторый период времени.

В качестве количественных методов оценки метод экспертных оценок может быть реализован в виде методов рангового порядка, заданной балльной оценки и свободной балльной оценки. Наиболее часто в психологических исследованиях находит применение именно метод свободной балльной оценки, состоящий в присвоении экспертом определенного количества баллов каждому исследуемому качеству оцениваемого специалиста с последующим получением итоговой оценки.

Метод рангового порядка базируется на процедуре ранжирования оцениваемых сотрудников по определенному критерию – от лучшего к худшему и определении итоговой суммы порядковых номеров конкретного работника, полученных за выполнение поставленных задач.

Метод заданных балльных оценок основан на присвоении определенного количества баллов за каждое достижение оцениваемого работника с последующим определением общего делового уровня в виде количества набранных им баллов.

Комбинированные методы сочетают в себе совокупное использование описательного принципа и количественных характеристик. Метод экспертных оценок может быть реализован в виде метода суммируемых оценок, который заключается в выявлении экспертами определенной частоты проявления каких-либо качеств оцениваемого и присвоении балльных оценок за тот или иной уровень частоты. Также он может быть реализован как метод заданной группировки сотрудников, предполагающий их распределение по ограниченному числу переменных к одной из групп, отражающих уровень профессиональной успешности кандидата.

Таким образом, мы видим, что метод экспертных оценок объединяет достаточно разнообразные приемы, но общим их признаком при реализации является «преимущественное использование внутренних средств деятельности» экспертом (Климов, 1998, с. 271).

Так, Е. А. Климов относит экспертные методы к опросным методам и выделяет следующие их разновидности: индивидуальная психологическая экспертиза; психологический консилиум; метод независимых характеристик объекта, или рейтинг.

Индивидуальная психологическая экспертиза предполагает, что ее субъектом является один-единственный специалист, тогда как объектом оценки может быть множество людей и ситуаций. Согласно Е. А. Климову, единицами деятельности эксперта-психолога в случае такой экспертизы выступают «логические действия подведения под понятие или действия конкретизации (поиска или построения частного принципа, соответствующего общему понятию или принципу)» (Климов, 1998, с. 271). Средствами же деятельности эксперта являются распознающие или разрешающие алгоритмы, приводящие к решению соответствующих задач, а само построение подобных алгоритмов относится к категории творческих задач. Распознающие или разрешающие алгоритмы могут быть «существенно индивидуализированы с учетом неповторимого своеобразия личности самого эксперта и составлять необходимую основу его профессионального мастерства» (там же, с. 272).

Суть психологического консилиума как экспертного метода, по мнению Е. А. Климова, состоит в том, чтобы добиться максимально согласованного мнения группы экспертов в решении поставленной перед ними задачи.

Метод независимых характеристик объекта, или рейтинг, предполагает привлечение в качестве экспертов лиц определенной профессиональной принадлежности, которые могут быть источником информации и эмпирически обоснованных оценок изучаемых лиц по уровню их профессиональной квалификации.

Исторический экскурс показывает, что работы по оценке кадров и широкому использованию в этих целях метода экспертных оценок в нашей стране начали активно осуществляться с конца 1960-х годов в связи с появлением коэффициентной системы оценки на хозрасчетных предприятиях. Коэффициентная система оценки кадров предполагала сведение целого спектра экспертных, личностных и профессиональных оценок к единому показателю. Основными недостатками коэффициентной системы являлись невозможность обоснования формул расчетов вводимых коэффициентов, их весовых долей, а также снижение вариативности интерпретации получаемых результатов (Чикер, Почебут, 2002, с. 180). Следствием этого служила известная доля формализма и субъективизма в расчетах и невозможность углубленного осмысления многих личностных характеристик оцениваемых специалистов.

Это привело к разработке, наряду с коэффициентной системой оценки, комплексного подхода к оценке кадров. Идея комплексного подхода находит свое отражение в работах Б. Г. Ананьева. В практическом плане идея комплексного подхода к оценке кадров реализуется за счет использования системы взаимодополняющих и взаимозависимых личностных, социальных и социально-психологических показателей, позволяющих снизить ошибки в оценке персонала.

Алгоритм любой комплексной оценки, по мнению Л. Г. Чикер, В. А. Почебут, необходимым образом должен включать прояснение следующих важных моментов: цель оценки; объект оценки; методы оценки; субъект оценки; время, место, порядок проведения оценки; результат оценки. В качестве субъекта оценки могут быть привлечены эксперты на уровне разных должностных категорий; использованы групповая оценка личности; самооценка деловых, личностных и профессиональных качеств; оценка параметров личности психологом.

При реализации алгоритма комплексной оценки ключевым принято считать выбор методов оценки. Предпочтение отдается комплексу разнообразных методов. Применяемые для оценки методы должны удовлетворять ряду требований. Они должны быть простыми, оперативными, гибкими и достаточно универсальными, а также иметь описание правил сбора, обработки и интерпретации полученной информации (там же, с. 182).

В рамках организационной психологии принято выделять следующие проблемы организаций, для решения которых необходима оценка персонала, базирующаяся на алгоритме комплексной оценки: 1) аттестация персонала; 2) подбор и расстановка персонала; 3) подготовка руководителей и повышение их профессиональной компетентности и управленческой культуры; 4) совершенствование управления коллективом; 5) сокращение персонала (там же). «Оценка результатов профессиональной деятельности выполняет административные, информационные и мотивационные функции и является необходимым условием эффективного развития организаций» (там же, с. 194). Она позволяет сократить расходы на дорогостоящие мероприятия по подготовке, обучению и повышению квалификации сотрудников организации.

Применяющиеся для этих целей методики оценки персонала целесообразно различать по трем критериям: 1) приведение или неприведение всех полученных данных к единому коэффициенту; 2) широта и комплексность используемых методов; 3) объем предлагаемых рекомендаций (там же, с. 181).

Вернемся к источникам оценочной информации. Одним из них являются объективные данные. Объективные данные, позволяющие охарактеризовать выполнение профессиональной деятельности и прогнозировать профессиональную успешность, базируются, как правило, на сведениях о производительности. Основной массив объективных данных составляют данные о производительности труда, объеме выполняемых работ, их качестве и ряде других технико-экономических показателей. Основой для их оценки служат, как правило, нормированные задания, или установленные на основе дифференцированных нормативов времени объемы работ, которые должны быть выполнены за определенное время с соблюдением требований к качеству конечного результата труда.

В качестве показателей производительности может выступать количество единиц производимой продукции за фиксированный промежуток времени (для оператора автоматического устройства), объемы продаж (для продавцов и менеджеров), объем и скорость введения информации (выполнение компьютерных задач) и прочее. Наиболее тщательно изучены в настоящее время критерии для оценки работников производственных подразделений.

Отдельного упоминания заслуживает достаточно хорошо зарекомендовавший себя метод рабочих образцов. Применение метода рабочих образцов предполагает, что потенциальному кандидату предоставляются предварительно разработанные примеры проблем, связанных с реализацией профессиональной деятельности, с просьбой разрешить их, как если бы он находился в процессе выполнения работы. Так, пример рабочих образцов для механика основан на том, что его деятельность связана с успешностью использования инструментов, точностью и общими техническими способностями.

Задания, разработанные с учетом этих особенностей, позволяют выяснить успешность кандидата в данных сферах (Мучински, 2004).

Примером успешного применения метода рабочих образцов может служить и разработанные для технических служащих американских Военно-воздушных сил задания по проведению так называемых проблемных стрельб, или стрельб, которые осуществляются в проблемных условиях (Pokorny et al., 1996). В основу рабочих образцов разработчиками были положены представления о когнитивном и поведенческом компонентах навыков проблемной стрельбы. Когнитивная модель навыков соответствует основным требованиям к профессиональным знаниям специалистов и предполагает скоординированность трех типов знаний: системных, процедурных и стратегических.

Исследование, направленное на оценку эффективности разработанной и опробованной обучающей системы, показало, что данные рабочих образцов высоко прогностичны в оценке эффективности работы специалистов. Они позволяют проанализировать изменения в специфических компонентах среднего исполнения индивидуумов и выявить различия между группами служащих, прошедших и не прошедших обучение (Pokorny et al., 1996).

Следует, однако, отметить, что разработка рабочих образцов затруднена для некоторых видов деятельности. Необходимо также учитывать, что ни один из объективных показателей производительности не может служить полной характеристикой успешности профессиональной деятельности и отражать показатели концептуальных критериев успешности, которые в конечном итоге они и призваны измерять.

Так, П. Мучински перечисляет следующие недостатки, присущие объективным данным о производительности:

1. Различия в профессиональных достижениях должны отражать истинные различия в том, насколько человек эффективен в своей профессиональной деятельности. Однако различия в трудовых достижениях нередко могут объясняться и целым рядом факторов, не зависящих от работников. К примеру, значительную роль в сфере продаж играют глобальные аспекты экономического характера, и лишь исходя из них можно рассматривать объективные показатели как отражающие определенный уровень выполнения профессиональной деятельности. Проблема колебаний в определении успешного выполнения работы, связанная с воздействием внешних факторов трудового процесса, относится, по мнению П. Мучински, к проблеме контаминации критериев.

2. Объективные показатели не позволяют получить полной картины. Это касается, в частности, вопроса о качестве работы, которое не менее значимо, чем количественные показатели. Если количественные показатели предоставляют информацию на уровне среза применительно к данному моменту времени, то в показателях качества работы заложен значимый, по словам П. Мучински, прогностичный компонент.

Данный прогностичный компонент следует принимать во внимание, учитывая, что количественные показатели могут быть ниже, так как часть трудового времени может быть затрачена на перспективные в плане будущего результата действия. Это касается, например, дискреционного компонента работы или обдумывания, присущего всем видам профессиональной деятельности (Мучински, 2004, с. 244).