Типология в оценке персонала (спойлер: нужно менять подход)
Всем привет! Это Максим Луцик, я новый разработчик тестов в Digital Assessment ЭКОПСИ. И я тоже буду писать для нашего канала.
В психологической диагностике можно заметить противопоставление двух путей исследования личности – изучение черт и типов.
Основное различие между ними выражается в том, что при исследовании черт мы получаем континуальную переменную — конкретное числовое значение. При выделении типов нам доступны только дискретные категории — принадлежность к одному из типов. Например, у конкретного респондента жизнестойкость выражена на «12» и его характеризует тип «Искатель».
Когда мы исследуем типы, то чаще всего пользуемся классификацией, которая является результатом умозрительных заключений автора теории, а не эмпирически полученной структурой. Для удобства, здесь и далее, в роли популярной типологической диагностики возьмем методику: «16 типов Майерс-Бриггс — MBTI». Данная типология была составлена авторами на основе книги К. Юнга «Психологические типы».
Эмпирический подход, напротив, предполагает опору на реальные данные. Так, Р. Кеттел при разработке диагностики 16PF выделил большой список прилагательных, предложил респондентам оценить своих близких по выраженности этих характеристик, а затем сгруппировал результаты в отдельные 16 шкал с помощью факторного анализа.
Еще одним отличием является основное допущение в теории черт – черты реально существуют и присущи всем людям (можно внести только одно уточнение: присущи с разным уровнем). У кого-то доброжелательность выражена на «1», а у кого-то — на «14»). Но чистые типы — такие, как их представляет автор, — вряд ли существуют в природе. Они всегда остаются смешанными, связанными с другими. Вряд ли сейчас можно встретить чистого «Героя». Скорее, в нем будет что-то от «Героя», что-то от «Искателя» и что-то от других типов.
Что же происходит с типологическими диагностиками на практике (на примере диагностик Майерс-Бриггс и адаптации PMAI)?
— При повторном тестировании 50% респондентов в результате имеют иной тип личности (Pittenger, 2005).
— Если обращаться к типологии М-Бриггс, то в факторной структуре вместо 16 типов выделяется 6 первичных факторов. (Krznaric, 2013).
— В отечественной версии PMAI показатели надёжности также находятся в пределах от 0,26 до 0,51 для каждого из архетипов, предлагаемых как типы личности. (Капустина, 2019). (напомним: допустимым является значение надежности от 0,6).
Отличающиеся результаты повторного тестирования и неудовлетворительное значение коэффициента надёжности связано с тем, что получаемый результат — дискретный. Так, если респондент в первом замере набрал условные 20 баллов для архетипа Мудреца и был охарактеризован в соответствии с этим типом, а через месяц набрал 18 баллов по этому архетипу и 21 по архетипу Воин, то в результате он имеет уже совсем другой тип личности. Т.е. даже минимальные внутренние колебания баллов влияют на получаемый тип.
Несмотря на это, типологический подход позволяет получить общий образ респондента, а значит, и большое количество информации о нем. Поэтому вопрос: «стоит ли пользоваться типологическими методиками?» остается открытым. Однозначно понятно лишь то, что их необходимо улучшать.
И наше мнение, что дискретные категории должны уступить своё место смешанным типам личности или изучению выраженности типов.
#все_об_оценке_персонала
Всем привет! Это Максим Луцик, я новый разработчик тестов в Digital Assessment ЭКОПСИ. И я тоже буду писать для нашего канала.
В психологической диагностике можно заметить противопоставление двух путей исследования личности – изучение черт и типов.
Основное различие между ними выражается в том, что при исследовании черт мы получаем континуальную переменную — конкретное числовое значение. При выделении типов нам доступны только дискретные категории — принадлежность к одному из типов. Например, у конкретного респондента жизнестойкость выражена на «12» и его характеризует тип «Искатель».
Когда мы исследуем типы, то чаще всего пользуемся классификацией, которая является результатом умозрительных заключений автора теории, а не эмпирически полученной структурой. Для удобства, здесь и далее, в роли популярной типологической диагностики возьмем методику: «16 типов Майерс-Бриггс — MBTI». Данная типология была составлена авторами на основе книги К. Юнга «Психологические типы».
Эмпирический подход, напротив, предполагает опору на реальные данные. Так, Р. Кеттел при разработке диагностики 16PF выделил большой список прилагательных, предложил респондентам оценить своих близких по выраженности этих характеристик, а затем сгруппировал результаты в отдельные 16 шкал с помощью факторного анализа.
Еще одним отличием является основное допущение в теории черт – черты реально существуют и присущи всем людям (можно внести только одно уточнение: присущи с разным уровнем). У кого-то доброжелательность выражена на «1», а у кого-то — на «14»). Но чистые типы — такие, как их представляет автор, — вряд ли существуют в природе. Они всегда остаются смешанными, связанными с другими. Вряд ли сейчас можно встретить чистого «Героя». Скорее, в нем будет что-то от «Героя», что-то от «Искателя» и что-то от других типов.
Что же происходит с типологическими диагностиками на практике (на примере диагностик Майерс-Бриггс и адаптации PMAI)?
— При повторном тестировании 50% респондентов в результате имеют иной тип личности (Pittenger, 2005).
— Если обращаться к типологии М-Бриггс, то в факторной структуре вместо 16 типов выделяется 6 первичных факторов. (Krznaric, 2013).
— В отечественной версии PMAI показатели надёжности также находятся в пределах от 0,26 до 0,51 для каждого из архетипов, предлагаемых как типы личности. (Капустина, 2019). (напомним: допустимым является значение надежности от 0,6).
Отличающиеся результаты повторного тестирования и неудовлетворительное значение коэффициента надёжности связано с тем, что получаемый результат — дискретный. Так, если респондент в первом замере набрал условные 20 баллов для архетипа Мудреца и был охарактеризован в соответствии с этим типом, а через месяц набрал 18 баллов по этому архетипу и 21 по архетипу Воин, то в результате он имеет уже совсем другой тип личности. Т.е. даже минимальные внутренние колебания баллов влияют на получаемый тип.
Несмотря на это, типологический подход позволяет получить общий образ респондента, а значит, и большое количество информации о нем. Поэтому вопрос: «стоит ли пользоваться типологическими методиками?» остается открытым. Однозначно понятно лишь то, что их необходимо улучшать.
И наше мнение, что дискретные категории должны уступить своё место смешанным типам личности или изучению выраженности типов.
#все_об_оценке_персонала
Recruiter.com
A Critique of The Myers Briggs Type Indicator (MBTI)—Part I: One Expert’s Review
Meyers Briggs is a well used personality test often used in the context of employment screening and assessment. This article offers a critique of the MBTI.
👍13
Будущее оценки персонала
Недавно спорил с консультантом из Большой четверки, что будет с оценкой персонала. С одной стороны, есть тренд на гуманизацию бизнеса и HR'а, внимание к опыту кандидатов и сотрудников. С другой — все большая цифровизация размывает границы между личным и виртуальном. Из-за чего блекбоксовые инструменты, цифровой след и «оценка без оценки» — могут через 5-10 лет стать нормой (уже, конечно, не для нас, а для будущих поколений). Думаю, что в реальности все придет к какой-то «очеловеченной» цифре. Когда да, блек-бокс, но с понятными и развивающими результатами. Или оценка эмоций, речи с ИИ, но с доказанным отсутствием bias'а. При этом дойдет до какой-то границы — например, уверен, оценки по лайкам в FB в бизнесе никогда не будет.
А мы проводим исследование, посвященное будущему оценки персонала. Вы можете пройти опрос и в числе первых получить отчет с результатами. На какие вопросы вы получите ответы:
— Какие инновационные технологии оценки есть на российском рынке?
— Что может стать альтернативой компетенциям?
— Что будет с традиционными технологиями оценки в ближайшем будущем?
Пройти опрос
Недавно спорил с консультантом из Большой четверки, что будет с оценкой персонала. С одной стороны, есть тренд на гуманизацию бизнеса и HR'а, внимание к опыту кандидатов и сотрудников. С другой — все большая цифровизация размывает границы между личным и виртуальном. Из-за чего блекбоксовые инструменты, цифровой след и «оценка без оценки» — могут через 5-10 лет стать нормой (уже, конечно, не для нас, а для будущих поколений). Думаю, что в реальности все придет к какой-то «очеловеченной» цифре. Когда да, блек-бокс, но с понятными и развивающими результатами. Или оценка эмоций, речи с ИИ, но с доказанным отсутствием bias'а. При этом дойдет до какой-то границы — например, уверен, оценки по лайкам в FB в бизнесе никогда не будет.
А мы проводим исследование, посвященное будущему оценки персонала. Вы можете пройти опрос и в числе первых получить отчет с результатами. На какие вопросы вы получите ответы:
— Какие инновационные технологии оценки есть на российском рынке?
— Что может стать альтернативой компетенциям?
— Что будет с традиционными технологиями оценки в ближайшем будущем?
Пройти опрос
Критерии «невалидности» и псевдонаука в оценке
Всем привет, это снова Максим, и мы опять вглядываемся в «дно» российской оценки!
В последнее время всё реже встречаются предложения оценить персонал с помощью астрологии, графологии и нумерологии. По всей видимости, рынок уже понял, что это малоработающие и антинаучные методы. Но сегодня я встретил нейрометрию. Согласитесь, звучит достаточно научно, сразу вызывает ассоциации с нейропсихологией и развивающимся нейроассесментом. Как указывают авторы, нейрометрия позволяет предсказать склонности человека на основе активности различных зон мозга. Казалось бы, где здесь загвоздка?
Давайте разбираться. Сформулируем принципы, которые помогут выявить антинаучные инструменты оценки. Что у них общего?
Отсутствие преемственности
Каждый инструмент нуждается в теоретическом обосновании измеряемых феноменов.
Например, за пониманием интеллекта стоят феномены вербального и невербального IQ, а они раскрываются как способность видеть связи между понятиями и абстрактными объектами.
В то же время, преемственность может проявляться не только в опоре на теорию, но и в использовании принятых в научном сообществе процедур. При разработке методик, основанных только на данных, исследователи опираются на принятые методы анализа заданий.
Эмоциональность и сенсационность заявлений
Если авторы не опираются на уже имеющиеся данные, и используют ненаучные процедуры, то их теория может представляться как сенсационная. Феномен Хигира — яркий пример сенсационности теории. Напомню, что эта теория говорит о связи имени, судьбы и профессиональных склонностей человека.
Критика в адрес научного сообщества и отсутствие самокритики
Когда авторы не опираются на имеющиеся результаты, не делают ссылки, то все, что им остается – это критиковать другие работы, которые не смогли прийти к похожим выводам и разработке такого же инструментария. Критика чужих работ зачастую сопряжена с отсутствием самоанализа, некритичной оценкой полученных результатов (если они были). Нумерологи предпочитают не обращать внимание на результаты, опровергающие их теорию.
Отсутствие компетентных разработчиков.
Если в команде нет специалистов, которые находятся в контексте оценки и обладают необходимыми компетенциями, то кто тогда будет разрабатывать инструмент?
Этот критерий относится ко всем «античным» практикам (физиогномике, астрологии и т.д), чьи принципы были сформулированы уже давно, до появления требований к инструментам и возможности анализировать данные.
Эти принципы могут быть применены практически к любым научным достижения. А к оценочным инструментам есть еще одно требование, более специфическое.
Отсутствие результатов психометрической проверки
Любая новая форма методики, внесение пунктов, изменение инструкции, адаптация на другой язык и, конечно же, разработка нового инструмента – всё это должно пройти этапы валидизации.
Более подробно про значение необходимых показатели (валидность, точность, надежность) методики можно прочитать в посте.
Отсутствие этих показателей сразу же вызывает сомнения: На самом ли деле измеряемый конструкт совпадает с тем, что заявляют авторы? Связан ли он с внешними критериями (результативностью, вовлеченностью и прочими)? Без валидизации невозможно утверждать об эффективности инструмента.
Распространённая в России соционика хоть частично и опирается на теорию Юнга, но из-за малого количества исследований имеет неоднозначный научный статус (раз, два).
А что с нейрометрией? Увлекательная концепция рушится о реальность. Вместо необходимых инструментов для измерения ЭЭГ используется обычный ЭКГ чип, не предназначенный для считывания ритма мозга. 9 видов интеллекта по Гарднеру авторы произвольно заменяют лишь на 7 (принцип преемственности). И даже наличие публикации не спасают ситуацию. В исследовании изучается лишь точность считывания ритмов в состояниях, а не конкретных граней интеллекта, что и приводит к несовпадению результатов нейрометрической оценки со стандартизованными методиками (принцип психометрической проверки).
#все_об_оценке_персонала
Всем привет, это снова Максим, и мы опять вглядываемся в «дно» российской оценки!
В последнее время всё реже встречаются предложения оценить персонал с помощью астрологии, графологии и нумерологии. По всей видимости, рынок уже понял, что это малоработающие и антинаучные методы. Но сегодня я встретил нейрометрию. Согласитесь, звучит достаточно научно, сразу вызывает ассоциации с нейропсихологией и развивающимся нейроассесментом. Как указывают авторы, нейрометрия позволяет предсказать склонности человека на основе активности различных зон мозга. Казалось бы, где здесь загвоздка?
Давайте разбираться. Сформулируем принципы, которые помогут выявить антинаучные инструменты оценки. Что у них общего?
Отсутствие преемственности
Каждый инструмент нуждается в теоретическом обосновании измеряемых феноменов.
Например, за пониманием интеллекта стоят феномены вербального и невербального IQ, а они раскрываются как способность видеть связи между понятиями и абстрактными объектами.
В то же время, преемственность может проявляться не только в опоре на теорию, но и в использовании принятых в научном сообществе процедур. При разработке методик, основанных только на данных, исследователи опираются на принятые методы анализа заданий.
Эмоциональность и сенсационность заявлений
Если авторы не опираются на уже имеющиеся данные, и используют ненаучные процедуры, то их теория может представляться как сенсационная. Феномен Хигира — яркий пример сенсационности теории. Напомню, что эта теория говорит о связи имени, судьбы и профессиональных склонностей человека.
Критика в адрес научного сообщества и отсутствие самокритики
Когда авторы не опираются на имеющиеся результаты, не делают ссылки, то все, что им остается – это критиковать другие работы, которые не смогли прийти к похожим выводам и разработке такого же инструментария. Критика чужих работ зачастую сопряжена с отсутствием самоанализа, некритичной оценкой полученных результатов (если они были). Нумерологи предпочитают не обращать внимание на результаты, опровергающие их теорию.
Отсутствие компетентных разработчиков.
Если в команде нет специалистов, которые находятся в контексте оценки и обладают необходимыми компетенциями, то кто тогда будет разрабатывать инструмент?
Этот критерий относится ко всем «античным» практикам (физиогномике, астрологии и т.д), чьи принципы были сформулированы уже давно, до появления требований к инструментам и возможности анализировать данные.
Эти принципы могут быть применены практически к любым научным достижения. А к оценочным инструментам есть еще одно требование, более специфическое.
Отсутствие результатов психометрической проверки
Любая новая форма методики, внесение пунктов, изменение инструкции, адаптация на другой язык и, конечно же, разработка нового инструмента – всё это должно пройти этапы валидизации.
Более подробно про значение необходимых показатели (валидность, точность, надежность) методики можно прочитать в посте.
Отсутствие этих показателей сразу же вызывает сомнения: На самом ли деле измеряемый конструкт совпадает с тем, что заявляют авторы? Связан ли он с внешними критериями (результативностью, вовлеченностью и прочими)? Без валидизации невозможно утверждать об эффективности инструмента.
Распространённая в России соционика хоть частично и опирается на теорию Юнга, но из-за малого количества исследований имеет неоднозначный научный статус (раз, два).
А что с нейрометрией? Увлекательная концепция рушится о реальность. Вместо необходимых инструментов для измерения ЭЭГ используется обычный ЭКГ чип, не предназначенный для считывания ритма мозга. 9 видов интеллекта по Гарднеру авторы произвольно заменяют лишь на 7 (принцип преемственности). И даже наличие публикации не спасают ситуацию. В исследовании изучается лишь точность считывания ритмов в состояниях, а не конкретных граней интеллекта, что и приводит к несовпадению результатов нейрометрической оценки со стандартизованными методиками (принцип психометрической проверки).
#все_об_оценке_персонала
👍7❤1
Уважаемые коллеги,
Приглашаем вас 26 апреля в 11.00 (мск) на вебинар, который проведут Павел Безручко и Юрий Шатров.
«Оценка персонала в государственном секторе: инструменты и подходы»
На вебинаре вы узнаете:
• Полный перечень инструментов оценки персонала — от центра оценки до полиграфа
• Как эти инструменты используются в государственном секторе?
Участие бесплатное, после предварительной регистрации https://clck.ru/gMnTL
#вебинары_и_выступления
Приглашаем вас 26 апреля в 11.00 (мск) на вебинар, который проведут Павел Безручко и Юрий Шатров.
«Оценка персонала в государственном секторе: инструменты и подходы»
На вебинаре вы узнаете:
• Полный перечень инструментов оценки персонала — от центра оценки до полиграфа
• Как эти инструменты используются в государственном секторе?
Участие бесплатное, после предварительной регистрации https://clck.ru/gMnTL
#вебинары_и_выступления
🔥7👍4
Yva была куплена канадской платформой для HR-аналитики
Форбс передает, что Yva.ai — стартап по выявлению выгорания, принадлежавший ABBYY — был куплен канадской компанией Visier. Сумма сделки не разглашается, Visier в результате сделки получит технологии Yva.ai, на работу в Visier перейдут больше 30 разработчиков и аналитиков данных. Чуть больше подробностей — в пресс-релизе на сайте Visier.
Продажа канадской компании сейчас означает если не приостановку продаж в РФ, то их существенное снижение. С одной стороны, мне всегда жаль, когда с рынка уходит сильный провайдер (несмотря на то, что где-то мы конкуренты). А Иву я всегда воспринимал как сильного провайдера — есть технологии в виде обученных нейросетей, есть сильная команда, с которой интересно поговорить за рынок, есть активный маркетинг.
С другой — понимаю, что управлять непрофильным активом всегда сложно. Он всегда сравнивается с основным бизнесом, практически всегда в пользу последнего. Плюс подобный продукт достаточно непросто довести до клиента — от него требуется развитая культура сбора данных, доверие к внешнему провайдеру, готовность к внедрению или непростому пилоту. А взамен — не HCM или её отдельный модуль, а поинт-солюшн, решающий важную, но небольшую задачу. Поэтому поздравляю Давида Яна и его команду с продажей.
#рынок
Форбс передает, что Yva.ai — стартап по выявлению выгорания, принадлежавший ABBYY — был куплен канадской компанией Visier. Сумма сделки не разглашается, Visier в результате сделки получит технологии Yva.ai, на работу в Visier перейдут больше 30 разработчиков и аналитиков данных. Чуть больше подробностей — в пресс-релизе на сайте Visier.
Продажа канадской компании сейчас означает если не приостановку продаж в РФ, то их существенное снижение. С одной стороны, мне всегда жаль, когда с рынка уходит сильный провайдер (несмотря на то, что где-то мы конкуренты). А Иву я всегда воспринимал как сильного провайдера — есть технологии в виде обученных нейросетей, есть сильная команда, с которой интересно поговорить за рынок, есть активный маркетинг.
С другой — понимаю, что управлять непрофильным активом всегда сложно. Он всегда сравнивается с основным бизнесом, практически всегда в пользу последнего. Плюс подобный продукт достаточно непросто довести до клиента — от него требуется развитая культура сбора данных, доверие к внешнему провайдеру, готовность к внедрению или непростому пилоту. А взамен — не HCM или её отдельный модуль, а поинт-солюшн, решающий важную, но небольшую задачу. Поэтому поздравляю Давида Яна и его команду с продажей.
#рынок
Forbes.ru
Канадский разработчик купил выявляющий выгорание сотрудников сервис у создателя ABBYY
Канадская компания Visier купила активы стартапа Yva.ai, который основал входивший в список Forbes бизнесмен Давид Ян. Сервис умеет выявлять выгорание сотрудников и предсказывать их увольнения. Сумма сделки не раскрывается
👍9😢2
Коллеги, всем привет.
Мы делаем карту технологических решений в российской оценке. Я знаю многих, но часть рынка точно прошла мимо меня. Поэтому напишите мне (@lopech) или в комментарии под постом, если предлагаете следующие решения и хотите попасть на эту карту:
— Оценка резюме с ИИ. «Машина» автоматически подбирает резюме под профиль вакансий.
— Цифровые профили. Человек проходит тест, а в результате — прямой прогноз его результативности / вероятности ухода. Т.е. без использования конструктов по типу компетенций, мотивации, ценностей, соответствия должности или культуре компании, а сразу иллюстрация бизнес-вэлью человека.
— Имплицитная диагностика / автоматизированная проективная диагностика. Человек выбирает изображения / звуки, происходит автоматическая оценка его скрытых установок и личностных черт. Люшер не в счет))
— Нейроассессмент. Датчики считывают мозговую деятельность человека и таким образом оценивают его интеллект, компетенции.
— Геймифицированная оценка. ИИ автоматически оценивает человека по тому, как он играет в видеоигру. Кейс-тесты (SJT) с игровой фабулой сюда же.
Список решений будет опубликован в мае 2022 в отчете по исследованию «Будущее оценки персонала».
Мы делаем карту технологических решений в российской оценке. Я знаю многих, но часть рынка точно прошла мимо меня. Поэтому напишите мне (@lopech) или в комментарии под постом, если предлагаете следующие решения и хотите попасть на эту карту:
— Оценка резюме с ИИ. «Машина» автоматически подбирает резюме под профиль вакансий.
— Цифровые профили. Человек проходит тест, а в результате — прямой прогноз его результативности / вероятности ухода. Т.е. без использования конструктов по типу компетенций, мотивации, ценностей, соответствия должности или культуре компании, а сразу иллюстрация бизнес-вэлью человека.
— Имплицитная диагностика / автоматизированная проективная диагностика. Человек выбирает изображения / звуки, происходит автоматическая оценка его скрытых установок и личностных черт. Люшер не в счет))
— Нейроассессмент. Датчики считывают мозговую деятельность человека и таким образом оценивают его интеллект, компетенции.
— Геймифицированная оценка. ИИ автоматически оценивает человека по тому, как он играет в видеоигру. Кейс-тесты (SJT) с игровой фабулой сюда же.
Список решений будет опубликован в мае 2022 в отчете по исследованию «Будущее оценки персонала».
🔥21👍3
Коллеги, приглашаем вашу компанию принять участие в исследовании «Цифровизация в области организационной эффективности».
Участие в исследовании даст вам информацию о том:
• Какое ПО используют крупнейшие компании для решения задач в сфере организационной эффективности?
• Для каких целей подходят выбранное ПО?
• Насколько удобно ПО в работе?
Результаты исследования бесплатны для компаний-участников.
Чтобы принять участие в исследовании, переходите по ссылке: https://clck.ru/gk2yd
Участие в исследовании даст вам информацию о том:
• Какое ПО используют крупнейшие компании для решения задач в сфере организационной эффективности?
• Для каких целей подходят выбранное ПО?
• Насколько удобно ПО в работе?
Результаты исследования бесплатны для компаний-участников.
Чтобы принять участие в исследовании, переходите по ссылке: https://clck.ru/gk2yd
👍3
Исследование одной строкой
Использование цифровых технологий в коммуникации во внерабочее время повышает эффективность сотрудников. Но если такого цифрового взаимодействия становится много — эффективность снижается.
Статья
#исследования
Использование цифровых технологий в коммуникации во внерабочее время повышает эффективность сотрудников. Но если такого цифрового взаимодействия становится много — эффективность снижается.
Статья
#исследования
👍4
Ассессмент от клиента: Red Bull Wingfinder
Мне всегда нравится, когда клиенты — компании из реального сектора — разрабатывают что-то своё диджитальное в оценке. Многие помнят SJT от Икеи, затем — тесты способностей от Макдональдса. И, конечно, квест от Хайникена. А сегодня посмотрите на бесплатную батарею тестов от Ред Булла.
Этот случай интерес тем, что не просто завлекает, дает примерные представления о работе и отсеивает совсем не подходящих и не заинтересованных. Здесь Ред Булл проводит настоящую комплексную оценку. Сначала личностный опросник из около 50 вопросов, предъявленных в виде картинок и — иногда — текста. По словам, авторов, внутри зашит иплицитный тест (IAT). Затем — пять (!) серий теста на внимательность а-ля таблицы Горбова–Шульте. В каждой серии по 10–20 заданий. Третий раздел состоит из заданий на продолжение ряда чисел, по словам авторов, предъявляемых в адаптивной логике. А последний — это кейс-тест (SJT).
Все это долго — Ред Булл обещает 35 минут. У меня даже заняло больше — под 45. Но интересно и сложно. В таких решениях всегда есть выбор «маркетинг и привлечение или точная оценка». Тест от Ред Булла тянется скорее ко второму. При этом во всех разделах заигрывает с участником — показывает веселые картинки, смешные ситуации.
Откуда такая наука? Модель оценки (что измеряем) основана на представлениях о «наниманибельности» (employability) от Hogan, Chamorro-Premuzic и Kaiser. Думаю, первого не надо представлять. Остальные два исследователя тоже связаны с Хоганами. А основная команда разработчиков была из University College, London и Columbia University, New York.
Если пройдете тест — скачивайте PDF-отчет (красная кнопка справа на странице с результатами). Он намного богаче веб-версии результатов.
Пройти тест от Ред Булла (на английском)
#рынок
Мне всегда нравится, когда клиенты — компании из реального сектора — разрабатывают что-то своё диджитальное в оценке. Многие помнят SJT от Икеи, затем — тесты способностей от Макдональдса. И, конечно, квест от Хайникена. А сегодня посмотрите на бесплатную батарею тестов от Ред Булла.
Этот случай интерес тем, что не просто завлекает, дает примерные представления о работе и отсеивает совсем не подходящих и не заинтересованных. Здесь Ред Булл проводит настоящую комплексную оценку. Сначала личностный опросник из около 50 вопросов, предъявленных в виде картинок и — иногда — текста. По словам, авторов, внутри зашит иплицитный тест (IAT). Затем — пять (!) серий теста на внимательность а-ля таблицы Горбова–Шульте. В каждой серии по 10–20 заданий. Третий раздел состоит из заданий на продолжение ряда чисел, по словам авторов, предъявляемых в адаптивной логике. А последний — это кейс-тест (SJT).
Все это долго — Ред Булл обещает 35 минут. У меня даже заняло больше — под 45. Но интересно и сложно. В таких решениях всегда есть выбор «маркетинг и привлечение или точная оценка». Тест от Ред Булла тянется скорее ко второму. При этом во всех разделах заигрывает с участником — показывает веселые картинки, смешные ситуации.
Откуда такая наука? Модель оценки (что измеряем) основана на представлениях о «наниманибельности» (employability) от Hogan, Chamorro-Premuzic и Kaiser. Думаю, первого не надо представлять. Остальные два исследователя тоже связаны с Хоганами. А основная команда разработчиков была из University College, London и Columbia University, New York.
Если пройдете тест — скачивайте PDF-отчет (красная кнопка справа на странице с результатами). Он намного богаче веб-версии результатов.
Пройти тест от Ред Булла (на английском)
#рынок
🔥7👍4
У нас, у ЭКОПСИ, есть еще один канал про оценку персонала (а всего их три). Про центры оценки и экспертную оценку в целом.
И на нем выходят занятнейшие посты. Например, про историю центров оценки. Или про то, какие методологии можно вшивать в аналитические кейсы. Или какие когнитивные искажения могут догнать оценщика и как с ними справляться.
Присоединяйтесь, читайте. Вы оцените!
И на нем выходят занятнейшие посты. Например, про историю центров оценки. Или про то, какие методологии можно вшивать в аналитические кейсы. Или какие когнитивные искажения могут догнать оценщика и как с ними справляться.
Присоединяйтесь, читайте. Вы оцените!
Forwarded from Пришел. Увидел. Оценил. (Sergey Smolentsev)
12.05.22 ИСТОРИЯ ЦЕНТРОВ ОЦЕНКИ: ОПЫТ ВЕЛИКОБРИТАНИИ
Британская модель ассессмента также, как и в Германии, изначально выстраивалась в войсках, затем в гражданской службе и лишь после получила распространение в коммерческих компаниях.
МЕТОДОЛОГИЧЕСКИЕ ИННОВАЦИИ
Важным вкладом британских психологов в развитие АЦ стало использование квазиреалистичных ситуаций, моделирующих важные аспекты реальной работы кандидатов.
Успешность действий в таких ситуациях должна была как можно меньше зависеть от специальных знаний, умений и опыта.
Моделировалась структура проблем и ролей (систем действий), что позволяло достичь высокую эмоциональную, мотивационную и ценностную вовлеченность испытуемого в выполнение экспериментальных заданий. При этом имитация сходства задач создавала высокую внешнюю валидность (face validity) оценки.
Еще одним нововведением стало использование групповых упражнений без лидера (Leaderless Group tests). Это позволило существенно сократить время, необходимое для проведения полноценного ситуационно-поведенческого тестирования. При проведении упражнений «без лидера» нет нужды всем без исключения кандидатам поочередно выполнять роль командира/ руководителя.
АРМЕЙСКИЙ ОПЫТ (УОСБИ)
Итак к началу 1942 года в Британии была сформирована отборочная комиссия военного министерства – War Office Selection Boards – WOSB (произносится как «уосби»).
Для оценки были выделены три группы критериев:
🔹установление социальных отношений с руководством, коллегами и подчиненными
🔹умение ориентироваться в практических ситуациях
🔹стойкость в трудных условиях
Были разработаны принципы согласования оценок, которые выносили разные специалисты, пользующиеся различными методиками. Основное – интеграция отдельных частных оценок в общий вердикт, ответственность за который принимал председатель комиссии.
ПРИМЕР ОЦЕНОЧНОЙ ПРОЦЕДУРЫ
Для лучшего понимания того, как все это могло выглядеть для рядовых участников небесполезно познакомиться с воспоминаниями одного из его участников:
«Однажды я, уже полностью обмундированный и экипированный, прервал свой базовый шестинедельный курс и поучаствовал в странном двухдневном событии, называемом W.O.S.B.
Мои воспоминания об этом приключении весьма фрагментарны: мне показали несколько загадочных картинок и пустой лист бумаги и предложили написать рассказы по всем этим картинкам (как я сейчас понимаю, это был вариант Теста Тематической Апперцепции).
Затем я перебирался через ручей, используя качающуюся веревку; вместе с группой сверстников на территории теннисного корта, где были навалены различного размера бревна, получил задание выбраться из этой ловушки, не касаясь проводов, через которые якобы был пропущен электроток.
Несколько месяцев спустя мне было присвоено звание младшего офицера королевской артиллерии.»
РЕЗУЛЬТАТЫ
За три года (с середины 1942 по середину 1945) на территории Великобритании оценку прошли 125 000 кандидатов из них принято 60 000.
Кроме того, ближе к окончанию военных действий данная система использовалась в освобожденных странах Европы, Северной Африки и Ближнего Востока (еще порядка 20 тысяч кандидатов, из которых принято чуть меньше половины).
#История_Центров_Оценки
Британская модель ассессмента также, как и в Германии, изначально выстраивалась в войсках, затем в гражданской службе и лишь после получила распространение в коммерческих компаниях.
МЕТОДОЛОГИЧЕСКИЕ ИННОВАЦИИ
Важным вкладом британских психологов в развитие АЦ стало использование квазиреалистичных ситуаций, моделирующих важные аспекты реальной работы кандидатов.
Успешность действий в таких ситуациях должна была как можно меньше зависеть от специальных знаний, умений и опыта.
Моделировалась структура проблем и ролей (систем действий), что позволяло достичь высокую эмоциональную, мотивационную и ценностную вовлеченность испытуемого в выполнение экспериментальных заданий. При этом имитация сходства задач создавала высокую внешнюю валидность (face validity) оценки.
Еще одним нововведением стало использование групповых упражнений без лидера (Leaderless Group tests). Это позволило существенно сократить время, необходимое для проведения полноценного ситуационно-поведенческого тестирования. При проведении упражнений «без лидера» нет нужды всем без исключения кандидатам поочередно выполнять роль командира/ руководителя.
АРМЕЙСКИЙ ОПЫТ (УОСБИ)
Итак к началу 1942 года в Британии была сформирована отборочная комиссия военного министерства – War Office Selection Boards – WOSB (произносится как «уосби»).
Для оценки были выделены три группы критериев:
🔹установление социальных отношений с руководством, коллегами и подчиненными
🔹умение ориентироваться в практических ситуациях
🔹стойкость в трудных условиях
Были разработаны принципы согласования оценок, которые выносили разные специалисты, пользующиеся различными методиками. Основное – интеграция отдельных частных оценок в общий вердикт, ответственность за который принимал председатель комиссии.
ПРИМЕР ОЦЕНОЧНОЙ ПРОЦЕДУРЫ
Для лучшего понимания того, как все это могло выглядеть для рядовых участников небесполезно познакомиться с воспоминаниями одного из его участников:
«Однажды я, уже полностью обмундированный и экипированный, прервал свой базовый шестинедельный курс и поучаствовал в странном двухдневном событии, называемом W.O.S.B.
Мои воспоминания об этом приключении весьма фрагментарны: мне показали несколько загадочных картинок и пустой лист бумаги и предложили написать рассказы по всем этим картинкам (как я сейчас понимаю, это был вариант Теста Тематической Апперцепции).
Затем я перебирался через ручей, используя качающуюся веревку; вместе с группой сверстников на территории теннисного корта, где были навалены различного размера бревна, получил задание выбраться из этой ловушки, не касаясь проводов, через которые якобы был пропущен электроток.
Несколько месяцев спустя мне было присвоено звание младшего офицера королевской артиллерии.»
РЕЗУЛЬТАТЫ
За три года (с середины 1942 по середину 1945) на территории Великобритании оценку прошли 125 000 кандидатов из них принято 60 000.
Кроме того, ближе к окончанию военных действий данная система использовалась в освобожденных странах Европы, Северной Африки и Ближнего Востока (еще порядка 20 тысяч кандидатов, из которых принято чуть меньше половины).
#История_Центров_Оценки
👍6
Обманывает — значит достоин работать с нами?
Иногда я слышу от менеджеров, использующих тесты для оценки своих сотрудников, следующую фразу: «Ведь если человек смог собрать группу поддержки и обмануть тест — он уже лидер / интеллектуально развит / мотивирован. И поэтому он достоин пройти дальше». Само утверждение парадоксально: таким образом менеджер признается, что его модель успешного человека в себя обман, причем обман его самого. Но правда глубже: менеджер считает, что точность тестов недостаточно высокая, и поэтому должны быть обходные пути для «нормальных» людей. Я могу согласиться, что конечное решение — за менеджером, и тесты могут только рекомендовать кандидатов. При этом с обманом работать все-таки надо. Потому что:
— Многие исследования показывают, что обман снижает точность оценки — критериальную валидность, т.е. связь с эффективностью (Holden, Wood, & Tomashewski, 2001; Holden, 2007; Topping & O’Gorman, 1997; Li & Bagger, 2006; Ones et al., 1996). То есть «вруны» занимают место более честных и эффективных участников.
— Обманщики чаще совершают девиантные поступки на работе (O’Neill et al., 2013).
— Наконец, если не контролировать обман — мы вызываем недоверие у честных участников, которые получают более низкие баллы и не проходят дальше.
Контролируйте обман, выявляйте его. Я в этом вижу даже культурную функцию: нам следует предотвращать легализацию обмана в российской культуре.
#все_об_оценке_персонала
Иногда я слышу от менеджеров, использующих тесты для оценки своих сотрудников, следующую фразу: «Ведь если человек смог собрать группу поддержки и обмануть тест — он уже лидер / интеллектуально развит / мотивирован. И поэтому он достоин пройти дальше». Само утверждение парадоксально: таким образом менеджер признается, что его модель успешного человека в себя обман, причем обман его самого. Но правда глубже: менеджер считает, что точность тестов недостаточно высокая, и поэтому должны быть обходные пути для «нормальных» людей. Я могу согласиться, что конечное решение — за менеджером, и тесты могут только рекомендовать кандидатов. При этом с обманом работать все-таки надо. Потому что:
— Многие исследования показывают, что обман снижает точность оценки — критериальную валидность, т.е. связь с эффективностью (Holden, Wood, & Tomashewski, 2001; Holden, 2007; Topping & O’Gorman, 1997; Li & Bagger, 2006; Ones et al., 1996). То есть «вруны» занимают место более честных и эффективных участников.
— Обманщики чаще совершают девиантные поступки на работе (O’Neill et al., 2013).
— Наконец, если не контролировать обман — мы вызываем недоверие у честных участников, которые получают более низкие баллы и не проходят дальше.
Контролируйте обман, выявляйте его. Я в этом вижу даже культурную функцию: нам следует предотвращать легализацию обмана в российской культуре.
#все_об_оценке_персонала
👍6🔥2❤1
Где обучиться разработке тестов? Где найти разработчиков — пихометриков? Я часто слышу эти вопросы со стороны самих оценщиков и клиентов. Конечно, есть литература. Ещё есть курс по разработке тестов, читаемый А. Г. Шмелевым на психфаке МГУ. Или магистерская программа в Институте образования Вышки. Но все это долго. Разработчики нужны компаниям уже сейчас, и — без шуток — курс на импортозамещение только подогрел эту нужду.
И тут коллеги из того самого Института образования разработали цикл курсов повышения квалификации по психометрике.
Цикл состоит из двух направлений:
— программы по разработке и квалифицированному использованию тестов и опросников;
— программы по статистическому моделированию результатов измерения.
Слушатели программ первого направления научатся правильно операционализировать характеристику (психологическую или образовательную), которую они хотят измерить, разрабатывать задания, применять инструменты измерения, квалифицированно выбирать инструмент измерения под конкретные цели, понимать ограничения каждого из инструментов и видеть их сильные и слабые стороны.
Слушатели второго направления получат доступ к иерархии программ, которая плавно и безболезненно введет их в курс сложного психометрического моделирования: от самых основ до самых современных психометрических моделей, способных извлекать из данных тестирования огромное количество информации о респондентах, о заданиях, и о их взаимодействии. Эти программы научат не только интерпретации и понимаю структуры психометрических моделей, но и их применению на языке программирования R.
Слушатели могут выбрать ту программу, которая наиболее полно отвечает их потребностям и проектам, или открывает путь к желаемой работе. Все обучение проходит дистанционно по видеосвязи, но в синхронном режиме. Каждая программа включает два академических часа индивидуальной консультации с преподавателем программы по выбору. При успешном завершении каждой из программ, слушателям вручается удостоверение государственного образца.
Обучение начинается 30 мая 2022 года. Более подробную информацию об этом цикле программ повышения квалификации можно найти здесь на сайте.
Такие курсы — исключительно круто, скажу я вам. Стране нужны психометрики.
И тут коллеги из того самого Института образования разработали цикл курсов повышения квалификации по психометрике.
Цикл состоит из двух направлений:
— программы по разработке и квалифицированному использованию тестов и опросников;
— программы по статистическому моделированию результатов измерения.
Слушатели программ первого направления научатся правильно операционализировать характеристику (психологическую или образовательную), которую они хотят измерить, разрабатывать задания, применять инструменты измерения, квалифицированно выбирать инструмент измерения под конкретные цели, понимать ограничения каждого из инструментов и видеть их сильные и слабые стороны.
Слушатели второго направления получат доступ к иерархии программ, которая плавно и безболезненно введет их в курс сложного психометрического моделирования: от самых основ до самых современных психометрических моделей, способных извлекать из данных тестирования огромное количество информации о респондентах, о заданиях, и о их взаимодействии. Эти программы научат не только интерпретации и понимаю структуры психометрических моделей, но и их применению на языке программирования R.
Слушатели могут выбрать ту программу, которая наиболее полно отвечает их потребностям и проектам, или открывает путь к желаемой работе. Все обучение проходит дистанционно по видеосвязи, но в синхронном режиме. Каждая программа включает два академических часа индивидуальной консультации с преподавателем программы по выбору. При успешном завершении каждой из программ, слушателям вручается удостоверение государственного образца.
Обучение начинается 30 мая 2022 года. Более подробную информацию об этом цикле программ повышения квалификации можно найти здесь на сайте.
Такие курсы — исключительно круто, скажу я вам. Стране нужны психометрики.
ioe.hse.ru
Дополнительное профессиональное образование по психометрике
Лучшие психометрики России учат разрабатывать тесты, опросники и иные инструменты измерения с применением самого современного психометрического моделирования.
❤13👍5
Исследование одной строкой
Представление сотрудников о том, как руководитель может оценить их эффективность, не коррелирует с тем, как руководитель на самом деле оценивает их эффективность.
Статья
#исследования
Представление сотрудников о том, как руководитель может оценить их эффективность, не коррелирует с тем, как руководитель на самом деле оценивает их эффективность.
Статья
#исследования
🔥13👍4
ЭКОПСИ_—_Опыт_использования_инновационных_технологий_оценки_кейсы.pdf
1 MB
Инновационные технологии оценки: сборник кейсов в РФ
Где инновации в российской оценке? Пока мы делаем карту российских инноваций в оценке, делюсь с вами сборником кейсов с нашими клиентами.
В сборнике вы найдете кейсы от Россетей, ОМК, конкурса «Лидеры России», Альфа Банка, Счетной палаты, ПСБ, Ингосстраха, Яндекса и других крупных организаций. Кейсы описывают, как они применяли 11 технологий оценки — от предиктивных профилей и опросника на машинном обучении до кейс-тестов и task-based центров оценки.
Спасибо нашим клиентам за то, что они разрешили опубликовать наши совместные проекты.
Скачать сборник кейсов
#кейсы #инновации
Где инновации в российской оценке? Пока мы делаем карту российских инноваций в оценке, делюсь с вами сборником кейсов с нашими клиентами.
В сборнике вы найдете кейсы от Россетей, ОМК, конкурса «Лидеры России», Альфа Банка, Счетной палаты, ПСБ, Ингосстраха, Яндекса и других крупных организаций. Кейсы описывают, как они применяли 11 технологий оценки — от предиктивных профилей и опросника на машинном обучении до кейс-тестов и task-based центров оценки.
Спасибо нашим клиентам за то, что они разрешили опубликовать наши совместные проекты.
Скачать сборник кейсов
#кейсы #инновации
🔥16👍8
Недавно вышел новый выпуск подкаста «HR реФАКторинг», где я был в роли приглашенного эксперта.
Обсудили главные тренды в цифровой оценке персонала: цель применения оценки 360 градусов, роль искусственного интеллекта, «карта дна» оценки персонала, точность очной и цифровой оценки и многое другое.
В общем, разговор получился достаточно информативным и интересным. Советую послушать.
Слушать подкаст: Apple Podcasts, Яндекс Музыка.
#вебинары_и_выступления
Обсудили главные тренды в цифровой оценке персонала: цель применения оценки 360 градусов, роль искусственного интеллекта, «карта дна» оценки персонала, точность очной и цифровой оценки и многое другое.
В общем, разговор получился достаточно информативным и интересным. Советую послушать.
Слушать подкаст: Apple Podcasts, Яндекс Музыка.
#вебинары_и_выступления
Apple Podcasts
#5 Юрий Шатров, ЭКОПСИ – Тренды в цифровой оценке персонала: от ИИ до VR
Выпуск подкаста · HR реФАКторинг · 06.05.2022 · 37 мин.
👍13
Недавно VC перевел пост сотрудника IBM с достаточно ярким и неоднозначным названием. Пост о том, что IBM отсеивает токсичных кандидатов с помощью групповой дискуссии.
Про что этот кейс? Во-первых, в IBM не используют весь потенциал групповых упражнений, ограничивая их оценкой токсичности. Хотя можно и навыки убеждения померить, и аналитику. Во-вторых, чек-листы и критерии — видимо, тоже не про этот случай. Хотя чем формализованнее оценка, по крайней мере, в упражнениях — тем она точнее. А в-третьих, если не рассказывать людям о смысле оценки и, возможно, даже давать обратную связь — они выдают в паблик вот такие рассказы, которые могут отпугнуть часто кандидатов.
Еще нужно понимать, что если упражнение устроено так просто, люди через полгода-год поймут это и начнут обманывать. Особенно если идет речь об оценке на больших объемах. Это как с игрой на рисковость, которую предложил провайдер геймифицированной оценки pymetrics. В игре нужно надувать шарик, кликая по нему. Чем больше надуваешь — тем выше шанс «хлопка», но и тем больше даётся очков)) Многие провайдеры подхватили идею и сделали похожую игру, а на сайтах для кандидатов появились гайды, сколько раз нужно кликнуть на шарик, чтобы получить желаемый результат.
Не упрощайте слишком оценку, даже если она вам кажется сложной и скучной.
#рынок
Про что этот кейс? Во-первых, в IBM не используют весь потенциал групповых упражнений, ограничивая их оценкой токсичности. Хотя можно и навыки убеждения померить, и аналитику. Во-вторых, чек-листы и критерии — видимо, тоже не про этот случай. Хотя чем формализованнее оценка, по крайней мере, в упражнениях — тем она точнее. А в-третьих, если не рассказывать людям о смысле оценки и, возможно, даже давать обратную связь — они выдают в паблик вот такие рассказы, которые могут отпугнуть часто кандидатов.
Еще нужно понимать, что если упражнение устроено так просто, люди через полгода-год поймут это и начнут обманывать. Особенно если идет речь об оценке на больших объемах. Это как с игрой на рисковость, которую предложил провайдер геймифицированной оценки pymetrics. В игре нужно надувать шарик, кликая по нему. Чем больше надуваешь — тем выше шанс «хлопка», но и тем больше даётся очков)) Многие провайдеры подхватили идею и сделали похожую игру, а на сайтах для кандидатов появились гайды, сколько раз нужно кликнуть на шарик, чтобы получить желаемый результат.
Не упрощайте слишком оценку, даже если она вам кажется сложной и скучной.
#рынок
vc.ru
Как IBM определяет негодных соискателей с помощью «теста на мудака» — Карьера на vc.ru
Восемь человек отводят в комнату, дают им маркер с доской, головоломку и час на её решение. Перевод поста из блога John Public.
🔥5👍1
Коллеги, если вы увидели какие-то интересные новости в мире оценки персонала — пишите нам: https://xn--r1a.website/zakharova_di
Будем обозревать.
Будем обозревать.
Telegram
Daria
You can contact @zakharova_di right away.
👍4