Исследование одной строкой

Использование цифровых технологий в коммуникации во внерабочее время повышает эффективность сотрудников. Но если такого цифрового взаимодействия становится много — эффективность снижается.

Статья

#исследования

Ассессмент от клиента: Red Bull Wingfinder
 
Мне всегда нравится, когда клиенты — компании из реального сектора — разрабатывают что-то своё диджитальное в оценке. Многие помнят SJT от Икеи, затем — тесты способностей от Макдональдса. И, конечно, квест от Хайникена. А сегодня посмотрите на бесплатную батарею тестов от Ред Булла.
 
Этот случай интерес тем, что не просто завлекает, дает примерные представления о работе и отсеивает совсем не подходящих и не заинтересованных. Здесь Ред Булл проводит настоящую комплексную оценку. Сначала личностный опросник из около 50 вопросов, предъявленных в виде картинок и — иногда — текста. По словам, авторов, внутри зашит иплицитный тест (IAT). Затем — пять (!) серий теста на внимательность а-ля таблицы Горбова–Шульте. В каждой серии по 10–20 заданий. Третий раздел состоит из заданий на продолжение ряда чисел, по словам авторов, предъявляемых в адаптивной логике. А последний — это кейс-тест (SJT).
 
Все это долго — Ред Булл обещает 35 минут. У меня даже заняло больше — под 45. Но интересно и сложно. В таких решениях всегда есть выбор «маркетинг и привлечение или точная оценка». Тест от Ред Булла тянется скорее ко второму. При этом во всех разделах заигрывает с участником — показывает веселые картинки, смешные ситуации.
 
Откуда такая наука? Модель оценки (что измеряем) основана на представлениях о «наниманибельности» (employability) от Hogan, Chamorro-Premuzic и Kaiser. Думаю, первого не надо представлять. Остальные два исследователя тоже связаны с Хоганами. А основная команда разработчиков была из University College, London и Columbia University, New York.
 
Если пройдете тест — скачивайте PDF-отчет (красная кнопка справа на странице с результатами). Он намного богаче веб-версии результатов.
 
Пройти тест от Ред Булла (на английском)

#рынок

У нас, у ЭКОПСИ, есть еще один канал про оценку персонала (а всего их три). Про центры оценки и экспертную оценку в целом.

И на нем выходят занятнейшие посты. Например, про историю центров оценки. Или про то, какие методологии можно вшивать в аналитические кейсы. Или какие когнитивные искажения могут догнать оценщика и как с ними справляться.

Присоединяйтесь, читайте. Вы оцените!

12.05.22 ИСТОРИЯ ЦЕНТРОВ ОЦЕНКИ: ОПЫТ ВЕЛИКОБРИТАНИИ
Британская модель ассессмента также, как и в Германии, изначально выстраивалась в войсках, затем в гражданской службе и лишь после получила распространение в коммерческих компаниях.

МЕТОДОЛОГИЧЕСКИЕ ИННОВАЦИИ
Важным вкладом британских психологов в развитие АЦ стало использование квазиреалистичных ситуаций, моделирующих важные аспекты реальной работы кандидатов.

Успешность действий в таких ситуациях должна была как можно меньше зависеть от специальных знаний, умений и опыта.

Моделировалась структура проблем и ролей (систем действий), что позволяло достичь высокую эмоциональную, мотивационную и ценностную вовлеченность испытуемого в выполнение экспериментальных заданий. При этом имитация сходства задач создавала высокую внешнюю валидность (face validity) оценки.

Еще одним нововведением стало использование групповых упражнений без лидера (Leaderless Group tests). Это позволило существенно сократить время, необходимое для проведения полноценного ситуационно-поведенческого тестирования. При проведении упражнений «без лидера» нет нужды всем без исключения кандидатам поочередно выполнять роль командира/ руководителя.

АРМЕЙСКИЙ ОПЫТ (УОСБИ)
Итак к началу 1942 года в Британии была сформирована отборочная комиссия военного министерства – War Office Selection Boards – WOSB (произносится как «уосби»).

Для оценки были выделены три группы критериев:
🔹установление социальных отношений с руководством, коллегами и подчиненными
🔹умение ориентироваться в практических ситуациях
🔹стойкость в трудных условиях

Были разработаны принципы согласования оценок, которые выносили разные специалисты, пользующиеся различными методиками. Основное – интеграция отдельных частных оценок в общий вердикт, ответственность за который принимал председатель комиссии.

ПРИМЕР ОЦЕНОЧНОЙ ПРОЦЕДУРЫ
Для лучшего понимания того, как все это могло выглядеть для рядовых участников небесполезно познакомиться с воспоминаниями одного из его участников:
«Однажды я, уже полностью обмундированный и экипированный, прервал свой базовый шестинедельный курс и поучаствовал в странном двухдневном событии, называемом W.O.S.B.

Мои воспоминания об этом приключении весьма фрагментарны: мне показали несколько загадочных картинок и пустой лист бумаги и предложили написать рассказы по всем этим картинкам (как я сейчас понимаю, это был вариант Теста Тематической Апперцепции).

Затем я перебирался через ручей, используя качающуюся веревку; вместе с группой сверстников на территории теннисного корта, где были навалены различного размера бревна, получил задание выбраться из этой ловушки, не касаясь проводов, через которые якобы был пропущен электроток.

Несколько месяцев спустя мне было присвоено звание младшего офицера королевской артиллерии.»

РЕЗУЛЬТАТЫ
За три года (с середины 1942 по середину 1945) на территории Великобритании оценку прошли 125 000 кандидатов из них принято 60 000.

Кроме того, ближе к окончанию военных действий данная система использовалась в освобожденных странах Европы, Северной Африки и Ближнего Востока (еще порядка 20 тысяч кандидатов, из которых принято чуть меньше половины).

#История_Центров_Оценки

Когда разрабатываете тесты знаний для перегретого рынка IT

#пятничное

Обманывает — значит достоин работать с нами?
 
Иногда я слышу от менеджеров, использующих тесты для оценки своих сотрудников, следующую фразу: «Ведь если человек смог собрать группу поддержки и обмануть тест — он уже лидер / интеллектуально развит / мотивирован. И поэтому он достоин пройти дальше». Само утверждение парадоксально: таким образом менеджер признается, что его модель успешного человека в себя обман, причем обман его самого. Но правда глубже: менеджер считает, что точность тестов недостаточно высокая, и поэтому должны быть обходные пути для «нормальных» людей. Я могу согласиться, что конечное решение — за менеджером, и тесты могут только рекомендовать кандидатов. При этом с обманом работать все-таки надо. Потому что:
— Многие исследования показывают, что обман снижает точность оценки — критериальную валидность, т.е. связь с эффективностью (Holden, Wood, & Tomashewski, 2001; Holden, 2007; Topping & O’Gorman, 1997; Li & Bagger, 2006; Ones et al., 1996). То есть «вруны» занимают место более честных и эффективных участников.
— Обманщики чаще совершают девиантные поступки на работе (O’Neill et al., 2013).
— Наконец, если не контролировать обман — мы вызываем недоверие у честных участников, которые получают более низкие баллы и не проходят дальше.
 
Контролируйте обман, выявляйте его. Я в этом вижу даже культурную функцию: нам следует предотвращать легализацию обмана в российской культуре.

#все_об_оценке_персонала

Где обучиться разработке тестов? Где найти разработчиков — пихометриков? Я часто слышу эти вопросы со стороны самих оценщиков и клиентов. Конечно, есть литература. Ещё есть курс по разработке тестов, читаемый А. Г. Шмелевым на психфаке МГУ. Или магистерская программа в Институте образования Вышки. Но все это долго. Разработчики нужны компаниям уже сейчас, и — без шуток — курс на импортозамещение только подогрел эту нужду.

И тут коллеги из того самого Института образования разработали цикл курсов повышения квалификации по психометрике.

Цикл состоит из двух направлений:
— программы по разработке и квалифицированному использованию тестов и опросников;
— программы по статистическому моделированию результатов измерения.

Слушатели программ первого направления научатся правильно операционализировать характеристику (психологическую или образовательную), которую они хотят измерить, разрабатывать задания, применять инструменты измерения, квалифицированно выбирать инструмент измерения под конкретные цели, понимать ограничения каждого из инструментов и видеть их сильные и слабые стороны.
Слушатели второго направления получат доступ к иерархии программ, которая плавно и безболезненно введет их в курс сложного психометрического моделирования: от самых основ до самых современных психометрических моделей, способных извлекать из данных тестирования огромное количество информации о респондентах, о заданиях, и о их взаимодействии. Эти программы научат не только интерпретации и понимаю структуры психометрических моделей, но и их применению на языке программирования R.
Слушатели могут выбрать ту программу, которая наиболее полно отвечает их потребностям и проектам, или открывает путь к желаемой работе. Все обучение проходит дистанционно по видеосвязи, но в синхронном режиме. Каждая программа включает два академических часа индивидуальной консультации с преподавателем программы по выбору. При успешном завершении каждой из программ, слушателям вручается удостоверение государственного образца.

Обучение начинается 30 мая 2022 года. Более подробную информацию об этом цикле программ повышения квалификации можно найти здесь на сайте.

Такие курсы — исключительно круто, скажу я вам. Стране нужны психометрики.

Исследование одной строкой
 
Представление сотрудников о том, как руководитель может оценить их эффективность, не коррелирует с тем, как руководитель на самом деле оценивает их эффективность.
 
Статья

#исследования

Инновационные технологии оценки: сборник кейсов в РФ

Где инновации в российской оценке? Пока мы делаем карту российских инноваций в оценке, делюсь с вами сборником кейсов с нашими клиентами.

В сборнике вы найдете кейсы от Россетей, ОМК, конкурса «Лидеры России», Альфа Банка, Счетной палаты, ПСБ, Ингосстраха, Яндекса и других крупных организаций. Кейсы описывают, как они применяли 11 технологий оценки — от предиктивных профилей и опросника на машинном обучении до кейс-тестов и task-based центров оценки.

Спасибо нашим клиентам за то, что они разрешили опубликовать наши совместные проекты.

Скачать сборник кейсов

#кейсы #инновации

Недавно вышел новый выпуск подкаста «HR реФАКторинг», где я был в роли приглашенного эксперта.

Обсудили главные тренды в цифровой оценке персонала: цель применения оценки 360 градусов, роль искусственного интеллекта, «карта дна» оценки персонала, точность очной и цифровой оценки и многое другое.

В общем, разговор получился достаточно информативным и интересным. Советую послушать.

Слушать подкаст: Apple Podcasts, Яндекс Музыка.

#вебинары_и_выступления

Недавно VC перевел пост сотрудника IBM с достаточно ярким и неоднозначным названием. Пост о том, что IBM отсеивает токсичных кандидатов с помощью групповой дискуссии.
 
Про что этот кейс? Во-первых, в IBM не используют весь потенциал групповых упражнений, ограничивая их оценкой токсичности. Хотя можно и навыки убеждения померить, и аналитику. Во-вторых, чек-листы и критерии — видимо, тоже не про этот случай. Хотя чем формализованнее оценка, по крайней мере, в упражнениях — тем она точнее. А в-третьих, если не рассказывать людям о смысле оценки и, возможно, даже давать обратную связь — они выдают в паблик вот такие рассказы, которые могут отпугнуть часто кандидатов.
 
Еще нужно понимать, что если упражнение устроено так просто, люди через полгода-год поймут это и начнут обманывать. Особенно если идет речь об оценке на больших объемах. Это как с игрой на рисковость, которую предложил провайдер геймифицированной оценки pymetrics. В игре нужно надувать шарик, кликая по нему. Чем больше надуваешь — тем выше шанс «хлопка», но и тем больше даётся очков)) Многие провайдеры подхватили идею и сделали похожую игру, а на сайтах для кандидатов появились гайды, сколько раз нужно кликнуть на шарик, чтобы получить желаемый результат.
 
Не упрощайте слишком оценку, даже если она вам кажется сложной и скучной.

#рынок

Коллеги, если вы увидели какие-то интересные новости в мире оценки персонала — пишите нам: https://xn--r1a.website/zakharova_di

Будем обозревать.

Нестареющая пятничная классика

#пятничное

Скромность — бесценна
 
В оценке персонала есть участники, хронически несогласные с результатами оценки. Естественно, большая часть из них утверждают, что оценки должны быть выше. В практике центра оценки и 360 градусов такие участники получили название «переоценивающие» (overraters). Несколько фактов о них:
— Переоценивающие участники показывают более низкие результаты в работе (Atwater, Ostroff, Waldman, Robie & Johnson, 2005; Gajek, 2009).
— Переоценивающие участники в большей мере закрыты обратной связи (ОС). 
— После получения ОС они продолжают быть несогласными с результатами оценки. В то время как "недооценивающие" себя участники, наоборот, приближают свои "самооценки" к оценкам наблюдателей (Halman & Fletcher, 2000).
— Они заявляют о меньшем интересе к ОС вообще (Woo, Sims, Rupp & Gibbons, 2008). 
— Как вы уже догадались, «переоценка» — следствие личностных особенностей человека. У одного конкретного человека она проявляется сразу во многих оценочных процедурах (Nilsen & Campbell, 1993).
 
P.S. Эти исследования не отменяют того факта, что порой оценка действительно «недооценивает» конкретного участника. В силу плохого дизайна оценки или того факта, что в части случаев любая оценочная процедура будет ошибаться. Речь о хроническом несогласии с результатами оценки, негативно влияющем на карьеру и результативность.

#все_об_оценке_персонала

Мы ищем лидера практики «Открытое обучение»

Я уверен, что у ЭКОПСИ на российском рынке самая широкая — а во многих сферах и самая глубокая — экспертиза в HR. И мы хотим делиться с вами нашим опытом.

Поэтому мы ищем в свою команду лидера, готового возглавить практику открытого обучения. Из основных требований — успешный опыт в аналогичном бизнесе, опыт персональной ответственности за P&L, можно даже не в ЭдТеке, работа в Москве. Из возможностей — свобода, ответственность за бизнес практики, прямая работа с акционерами.

Как партнер ЭКОПСИ скажу — это отличный шанс для корпоративного предпринимательства.

Посмотреть на вакансию. Вопросы можно задавать нашему рекрутеру — Наталье Дородневой (dorodneva@ecopsy.ru).

Из совсем небольшого, но интересного.
 
Когда-то писал про рейтинги оценочных компаний.
 
Нашел еще один рейтинг — от журнала HR Tech Outlook. За 2020 год рейтинги есть по двум срезам — географическому (мир, Европа, Великобритания) и сервисному («коробочная» оценка на входе, кастомизируемая оценка на входе, оценка действующих сотрудников). Рейтинги составлялись на основе опросов подписчиков журнала.
 
Конечно, запаратнериться с кем-то из-за рубежа сейчас вряд ли получится (а журнал европейский). Но посмотреть, что сейчас предлагают топовые провайдеры — можно.

#рынок

Исследование одной строкой
 
Если оценивать поведение человека в «коммуникативных» упражнениях центра оценки не по верхнеуровневым компетенциям, а по конкретным проявлениям (перебивания, паузы, активное слушание и проч), то в факторном анализе выделяется 4 компонента — социальное доминирование, выстраивание контакта, спокойствие, интеллект.
 
Статья

#исследования

Вроде раньше не выкладывал наш замечательный с Даниилом диалог. Обсудили, почему метод измерения важнее конструкта, чем прогнозирование поведения отличается от психологического тестирования (aka предиктивные профили), по кому звонит колокол в оценке человека. Получилось очень по-философски.

#вебинары_и_выступления

«Разделение» и work-life balance
 
Всячески советую сериал «Разделение» (Severance). В основе сюжета — доведенная до абсолюта идея баланса работы и личной жизни: люди не помнят, что происходит на работе, а на работе не помнят, что происходит за пределами офиса. В результате «разделения», по сути, формируется две личности, которые знают друг о друге, но между собой не знакомы. Такая вот диссоциация, на которую осознанно идут герои. Еще в сериале есть своя забавная мифология, основанная на утрированных корпоративных практиках — велком-тренинге, тимбилдинге, корпоративном терапевте.
 
Хочу поделиться, какие вопросы в теме благополучия для меня поднимает сериал, но это будут спойлеры)) Поэтому оставлю вам удовольствие посмотреть сериал и задаться какими-то своими вопросами. А мыслями поделюсь как-нибудь потом.
 
К слову, рейтинг 8,3, режисcер — Бен Стиллер, а в числе актеров — Кристофер Уокен.

#рекомендации