Pairwise и границы его применимости

Несколько лет назад готовила материалы для несостоявшегося курса по тест-дизайну от команды Podlodka и активно разбиралась в pairwaise. А в прошлом году написала про это текст в ZenTest. Поделюсь им и здесь тоже.

Основная идея

Эта техника тест-дизайна помогает комбинировать большое количество параметров и значений. Составляются такие сочетания, чтобы каждая пара параметров была учтена хотя бы в одном тест-кейсе.

Набор тест-кейсов с комбинациями параметров можно ставить один из двух способов – либо вручную на основе ортогональных матриц или с помощью алгоритмов генерации всех пар (Allpairs, PICT и т.д). Нет исследований, что какой-то способ лучше другого, поэтому я рекомендую работать с инструментами автоматизации. Это сильно экономит время и силы.

Почему мы берем именно сочетание двух параметров?

Это эмпирический метод, который основывается на предположении, что большинство ошибок будет найдено для одного параметра или сочетания двух параметров.

Большинство это сколько?

Исследования Wallace и Kuhn ретроспективно показали, что попарное тестирование могло бы найти 98% из обнаруженных ошибок, Kuhn и Reilly – 76% из обнаруженных ошибок (Lee Copeland, A Practitioner's Guide to Software Test Design). B. Smith, M. S. Feather и N. Muscettola c другой стороны показывают, что такой метод нашел 88% процентов ошибок одних видов и только 50% ошибок других видов (источник)

Какие задачи решает?

Сократить количество тестов в ситуациях, когда полный перебор делать нерационально. При этом по-прежнему выявить значимое количество ошибок.

Границы применимости

Поскольку метод эмпирический, то нет никаких законов вселенной, что с его помощью будут найдены все дефекты или действительно 98% возможных дефектов. Это идея буквально идет из одного источника и кочует годами из текста в текст, из выступления в выступление.

Я часто слышу, что этот метод сокращает количество тестов, сохраняя покрытие, но это не так. Если мы уменьшаем количество тестов – мы всегда сокращаем покрытие, вопрос в рисках.

Эффективность метода согласно статье James Bach и Patrick J. Schroeder может зависеть от разных факторов

1. Насколько действительно взаимосвязаны параметры в вашем продукте. Чем больше зависимостей и чем больше из них влияют на итоговые результаты, тем ниже эффективность.

2. Вероятность любой созданной комбинации переменных. В реальной жизни пользователи не выбирают значения случайным образом. Есть комбинации, которые используются значительно чаще и более важны, чем все остальные. Например настройки по умолчанию или конфигурации, которые есть у большинства пользователей.

3. Серьезность проблемы, которая может быть вызвана сочетанием переменных

4. Какие переменные вы выделили и решаете объединить

5. Какие значения переменных вы решили использовать

6. Комбинации значений, которые вы тестируете

7. Ваша способность обнаружить обнаружить проблему, если она возникнет

Что это значит практически?

1. Перед тем, как проводить попарное тестирование надо проанализировать продукт и собрать информацию об его использовании. Необходимо оценить насколько связаны переменные друг с другом на основании того, что мы знаем о продукте. Если есть сильная связь, то скорее подойдет таблица решений. Если связи нет совсем и мы в этом уверены, то можно тестировать изолировано.

2. Скорее всего потребуется предварительно использовать другие техники тест-дизайна, например классы эквивалентности и граничные значения, чтобы определить необходимые параметры и их значения.

3. Подумать насколько для вашей ситуации важно покрыть все параметры и их сочетания. Возможно, что будет достаточно протестировать только основные сценарии и принять риски во всех остальных.

4. Проверить, что критичные комбинации действительно есть в получившемся наборе тестов. И добавить их, если их там нет.

Общие выводы

С pairwise надо очень хорошо понимать что вы делаете и из каких предпосылок вы исходите. В большинстве случаев, по моему опыту, будет полезнее анализ рисков и выбор популярных у пользователей сценариев.

#база_тестирования
#ZenTest

Практические рекомендации из моего опыта

1. Используйте инструмент, где можно построить модель с зависимостями и прямо указать ограничения

Иначе вы можете получить комбинации, которых не существует. Например для браузеров и операционных систем – MacOS и IE9. Первая идея – просто выбросить такие тесты, но тогда нарушается принцип попарного сочетания.

Вместо этого надо прописать зависимости вручную. Например для PICT явно указать, что IE может быть только на Windows:

IF [Browser] IN {"IE9","IE11","Edge"} THEN [OS] IN {"Windows 11","Windows 10"};

2. С ростом количества значений у параметров резко растет количество тестов. Если тестов слишком много, чтобы мы могли их все пройти, то можно проанализировать и объединить некоторые значения в один общий класс эквивалентности. А в каждом тесте будет выбирать какое-то значение из этого общего класса. В PICT мы это можем сделать автоматически.

Например мы можем объединить Opera, Edge и Chrome в один класс эквивалентности Chrome и явно прописать значения этого класса эквивалентности

Browser: IE9, IE11, Chrome|Opera|Edge, FF, Safari

В этом случае когда будет выпадать пара с этим значением, будет равномерно подставляться что-то из Chrome, Opera или Edge.

3. Иногда может быть важен порядок в котором перечисляются параметры. Можно попробовать разные варианты – от параметров с большим количеством значений к параметрам с меньшим количеством значений и наоборот. Для PICT второй подход — от параметров с меньшим количеством значений может дать выигрыш в количестве тестов. Но тут надо пробовать.

Что я использую

https://pairwise.yuuniworks.com/ – под капотом тот же PICT, но можно удобно работать в веб-интерфейсе. У оригинального PICT консольный интерфейс.

#база_тестирования
#ZenTest

Разработчики учат меня тестировать: devspaining in nutshell

Популяризаторка термина mensplaining Ребекка Солнит в эссе "Мужчины учат меня жить" рассказывает, как ее собеседник объяснял ей же её же книгу. А я вижу ту же тенденцию с тестированием и тестировщицами.

Если задуматься, это нелепо. Люди, которые не погружались глубоко в мою профессию и в лучшем случае слышали о ней на уровне 80-90-ых годов, рассказывают мне как я должна делать свою работу. Ради, которой меня собственно и наняли!

Все эти суждения про то, что это проверять не надо или вот это знать не нужно. Или что автоматизация ИИ нас всех спасет. Решения о процессах и продуктах, которые должны нам помочь в работе, даже не поговорив с нами.

Самый абсурдный случай был, когда меня позвали выступать про тестирование на конференцию для разработчиков. И куртор-разработчик пытался доказать мне, что я неправильно понимаю тест-дизайн, потому что Макконнелл пишет иначе. Первое издание «Совершенного кода» вышло в 1993 году и про тестирование, а лучше сказать про checking, там одна глава. Конечно, куда мне с моими 15 годами опыта до Макконнелла.

Хотела бы я сказать, что ушла со скандалом, но нет. Я впала в онемение, дотянула митинг с каменным лицом до конца, потом пошла орать в близкий круг и вежливо написала, что наши позиции расходятся и я не готова участвовать. Меня поддержали организаторы, кураторы из ПК нашли нового докладчика и мир покатился своим чередом.

Сейчас учусь не молчать, быть неприятной специалисткой, говорить о своей экспертизе и задавать сложные вопросы откуда вы это вообще взяли?

И отдельно счастлива работать в команде, в которой этого нет совсем. Это должно быть нормой, но так редко встречается, что восхищает меня меня уже год. Просто делать свою работу, приносить свои идеи и экспертизу, советоваться и думать вместе.

#подпольный_евангелизм

1 Саббатикал: О терминах и определениях

Опыт саббатикала, про который я хочу рассказать, у меня четвертый. И он самый близкий к классическим саббатикалам.

В нерелигиозной среде саббатикал появился в американской академии в середине XIX века. Раз в семь лет преподаватели могли уйти в годичный оплачиваемый отпуск, чтобы отдохнуть и восстановиться, но и чтобы получить новые знания и идеи. Сейчас предполагается, что преподаватели освобождаются от повседневной нагрузки, но за это время углубятся в исследования и напишут книгу или другие значимые работы.

Или вот пример из айти — Julia Evans рассказывает о своем трех месячном неоплачиваемом саббатикале, в который она работала над open-sourse проектом.

В России я тоже часто слышала про саббатикалы, как способ чего-то достичь, следовать за мечтой или реализовать давний проект. Вот например старый пост Вани Замесина про его опыт саббатикала и его рассуждения о том, что страх не найти работу сильно преувеличен. Это 2020 год, кандидатский рынок, но совет стать крутым прежде чем идти в саббатикал все равно напоминает «пусть едят пирожные».

Такой дискурс формирует давление, что саббатикал надо провести продуктивно и вернуться с результатами.

Но еще в 2019 году Леночка Трускова начала исследовать женский опыт саббатикала. И этот опыт тот, который был мои первые три раза. А в последние годы все стало еще сложнее.

В наших реалиях саббатикал — это чаще всего неоплачиваемый период без работы или другого фиксированного занятия (вроде учебы или ухода за ребенком). И очень часто такой саббатикал люди берут вынужденно потому, что больше не могут работать и жить как раньше. В Нидерландах или Швеции это были бы больничные по выгоранию или депрессии, а у нас люди просто увольняются.

В последние годы к этому добавилась и эмиграции в другие страны, где куча новых задач и не всегда возможно найти работу. И сокращения и длинный поиск работы.

В том все очень много сложностей, связанных и с тем, что мы наконец начинаем отдавать ресурсные долги себе же и с тем, что очень многое в жизни завязано на работу, даже если она опостылила. Много тревоги, много неопределенности, много вопрос про ценность себя без дохода и работы и много страха упустить что-то и не провести это время полезно.

Саббатикал, про который буду писать я, был не такой. Я ушла в него по сумме обстоятельств зимой 2022 года. Мне в целом нравилась моя работа, нравилось тестирование и я не чувствовала себя выгоревшей. У меня были планы! Я шутила, что хочу уйти на два года (казалось это почти бесконечность!) и посвятить это время адаптации в Нидерландах и нидерландскому языку. В конце концов я же опытная пользовательница саббатикалов.

Но все пошло не так, как я думала...

#адвент
#sabbatical

Читаю очередные срачи про самодиагностику в твиттере и думаю про то, что это в подавляющем большинстве случаев это не про риски про здоровье. Как и фэтфобия.

Чужое здоровье само по себе не вызывает таких сильных эмоций. Никто же не пристает к окружающим в соцсетях, что они сидят по 10-14 часов и этим критично подрывают свое здоровье. Но мотив заботы о здоровье и общественном благе — верный способ легализовать агрессию.

1. Очень много эмоций вызывает, что нейроотличные люди не ленивые твари, которые просто мало стараются, а у них есть реальные причины и ограничения. Даже если они снаружи невидны. Потому, что если признать это, то придется признать, что и собственные ограничения, бессилие, цену насилия и самонасилия.

Отдельно интересно как тут сливаются «объяснения» и «оправдания».

2. Диагноз заставляет признавать ограничения и проблемы других людей (и думаю поэтому, даже реальные врачебные диагнозы постоянно оспариваются и в них не верят). А ресурса и так мало, а тут еще одна группа, интересы которой надо учитывать. А я, а кто же позаботится обо мне, мне же тоже тяжело, но я не ною!

И сюда же популярный тейк, что самодиагностика обесценивает страдания «настоящих» нейроотличных, потому что якобы отбирает у них ресурсы и внимание. Так и разбежались институции что-то давать людям без комиссий, диагнозов и доказательств, что тебе действительно невыносимо. Особенно в России.

Как будто без диагноза можно игнорировать разницу в других людях, объясняя ее блажью, выпендрежем и придурью. И это конечно может экономить силы и понятная стратегия, когда их совсем нет. Как нейроотличная женщина, вырастившая нейроотличного же подростка, не могу осуждать. Нужно дофига ресурсов и поддержки, чтобы бесконечно адаптировать среду и себя, поддерживать и искать варианты.

Но вот ведь в чем вопрос, обычно эту агрессию получают случайные люди, которые ничего от вас не хотят.

#diversity

Аутизм и обучение — две мои любимые темы! А еще организует моя преподавательница по английскому и создательница английского (и немецкого!) разговорного клуба.

Первый раз у меня опыт нейроинклюзивного изучения языка и это восхитительно! Структура, визуализация, опора на мою жизнь и интересы, предсказуемость и работа с когнитивной нагрузкой. А еще среда, где я могу стиммить и не маскироваться)

Приходите послушать Ксению и Марину Звягину (ее книга у меня уже тоже в to read листе)

#diversity
#учить_и_учиться

Когда Марина Звягина предложила мне провести эфир об особенностях обучения при аутизме, я сразу вспомнила о всех своих учениках, которые имели те или иные нейроотличия разной степени выпуклости.

О Кирилле*, которого можно было увлечь в занятие исключительно через его любимую музыку.
О Паше, который спустя полчаса перегружался так, что ложился на пол, забрасывал ноги на стул и отвечал мне откуда-то снизу (но отвечал!).
О Ване, которого бутсали из школы в школу, потому что он разрушал дисциплину в классе одним своим взглядом.
О Насте, которая жила немного вне времени, поэтому каждое своевременной начало урока было, скорее, случайностью, чем правилом.
Список можно продолжать.
*все имена изменены

К сожалению, все они нашли меня в то время, когда я не могла похвастаться ни опытом, ни знаниями для настоящей квалифицированной помощи. Это сейчас все в курсе нейроотличий. В них можно не верить, но это слово хотя бы на слуху. А в моей глубокой молодости о таком почти нигде не говорили, поэтому все неудобные ученики были просто "поломанными" - ленивыми, безответственными, неуправляемыми. Что оставалось преподавателю, которому нужно по-прежнему как-то помочь ученику? - Злиться на ученика, винить себя и изобретать велосипед.

Мне становится немножечко дурно от мысли, сколько сил, времени и денег мы со студентами спустили в трубу, пытаясь заставить этот кустарный велосипед ехать. Знай я тогда то, что знаю сейчас, я могла бы подобрать к каждому из этих прекрасных талантливых ребят те методы обучения, которые учли бы их особенности. В конце концов, я бы могла отказаться от некоторых кейсов, ведь на самом деле многим из этих студентов был нужен вовсе не препод английского...

Аутизм не исчерпывает весь список нейроотличий. Но раз мне выпала возможность поговорить именно о нём, я ухвачусь за неё всеми присосками. Во-первых, потому что Марина - психолог с большим опытом в этой сфере и целой собственной книгой!

А во-вторых, потому что я искренне верю: над темой аутизма (и нейроотличий в целом) висит такое облако стереотипов, что об этом просто необходимо говорить. Чтобы знать, как ещё бывает. Чтобы вернуть самим себе недостающие части пазла. Чтобы усложнять этот мир, а не упрощать его.

Кому будет полезен наш эфир:
- психологам,
- педагогам,
- всем, кто имеет или подозревает РАС у себя или близких.

Что планируем обсуждать:
- как процесс обучения выглядит глазами аутичного человека,
- как сделать его выносимее для всех причастных,
- как вообще говорить об этой теме бережно, уважительно и не впадая в крайности.

🗓 Когда: 17.12 (среда)
⏰ Во сколько: 17.30 - 18.30 CET (19.30 - 20.30 Мск)
📌 Где: Zoom

Будут слайды.
Будет запись.

Придёте?

3 Саббатикал: экзистенциальный кризис

Осенью, под конец первого года саббатикала, я тяжело заболела. Писала подробнее про свою историю здесь.

На несколько недель я потеряла возможность писать, читать, смотреть в экраны или делать что-то требующее фокусировки. Я не могла ни работать, ни читать, ни заниматься своими хобби. А потом еще несколько месяцев у меня были жесткие ограничения в 2-3 часа зрительной нагрузки в день.

Спасением стали аудио-книги (вы знали, что они появились прежде всего для слепых и слабовидящих?) и подкасты. Я перепридумывала форматы деятельности так, чтобы минимально задействовать глаза — мы перешли на терапию только голосом и я начала вести консультации только по аудио. Я тщательно планировала каждый кусочек активности, а ее результаты меня сильно поддерживали.

Впервые за много лет я не грызла себя, что делаю недостаточно много, быстро или эффективно. Я была благодарна, что я вообще хоть что-то могу делать и пространство этого делания увеличивается. А на фоне этого всего партнер потерял работу, и сложно ее искал и мы в итоге вынужденно эмигрировали из Нидерландов.

Много тревоги, неопределенности, прогулок и свободного времени. В это время я пару раз в неделю консультировала и мы начали придумывать с Наташей ее лидский курс.

К весне мне стало сильно лучше, но я все еще не была готова работать много за компьютером и все еще ограничивала нагрузку. Я вышла из этого опыта с ощущением, что меня достаточно и принятием себя. Конечно, это результат не только этих месяцев, а всего опыта терапии и жизни до. Но именно столкнувшись со своей физической уязвимостью и неотменяемыми ограничениями, я смогла ощутить это знание. Memento mori!

Я обрела смелость пробовать, делать то, в чем я не уверена и проваливаться. Потому, что когда, если не сейчас? И в этом не было тревожного прессинга, как в начале саббатикала, когда нужно было максимально эффективно использовать шанс. Просто либо ты делаешь это сейчас, либо действительно можешь больше не сделать никогда. И бог с ней, с идеальностью, просто пробуй.

И это сильно изменило мой опыт от второго года саббатикала. На выходе даже получился какой-то успешный успех. Но про это в последней части.

#адвент
#sabbatical