Про эксперименты

Пост "Ученые наносят ответный удар: второе пришествие концептуального пениса".
Прочтите, особенно занятно сходить по ссылкам в статье и посмотреть видео.


Суть коротко:

“Концептуальный пенис лучше понимать не как анатомический орган, а как крайне подвижный социальный конструкт” – статью с таким выводом в 2017 году опубликовали ученые-пранкеры в одном социологическом журнале. Позже они признались, что редактировали текст до тех пор, пока “не осознали, что уже не понимают, о чем он”. Эта акция была проверкой: можно ли опубликовать заведомую ерунду в социологическом научном журнале, если она будет написана в политически “гендерно-правильном” ключе.

Итог - семь статей с "гендерно правильным" бредом опубликованы в научных рецензируемых журналах, еще семь почти дошли до публикации.

Мой пост не про толерантность и гендер, а про эксперименты и "проверочки". Когда ты строишь достаточно сложную систему, она имеет серьезный риск оторваться от реальности, замкнуться на себя и выдавать ересь.

Ближайший аналог - процесс найма.

А вы сами способны его сделать? Как сделают тестовое задание новички? А матерые специалисты? Будет ли разница?  А корреляция?
А не оторвано ли оно от реальности большого мира? А как ваши новички и матерые специалисты делают чужие тестовые?
А насколько оно релевантно квалификации? Как работают люди, плохо сделавшие задание и наоборот?

 Я стараюсь регулярно задаваться подобными вопросами. А не херню ли мы делаем?

Дети часто спрашивают меня, что самое интересное в жизни. Одним я говорю, что семья, учеба и карьера. Другим, что секс, наркотики и рок-н-ролл. А третьим ничего не говорю. Потому что самое интересное в жизни это грамотно организованный эксперимент с двумя подопытными и контрольной группой.

Еще один хороший вопрос - а не переусложнили ли мы систему?

Хорошо эту мысль иллюстрирует пример из книги Левфера "Конфликтующие структуры":
Моделирование борьбы автоматов за кормушки. Программа автомата - съесть максимум корма. Автоматы нулевого уровня умеют учитывать только текущую ситуацию - конфигурацию кормушек и расположение конкурентов. Автоматы первого уровня кроме текущей ситуации учитывают еще и предполагаемое поведение других автоматов, считая их автоматами нулевого уровня. 
Результаты: В большинстве случаев автоматы первого уровня выигрывают у автоматов нулевого уровня. 
Автоматы второго уровня выигрывают у автоматов первого.
Но! Автоматы второго уровня проигрывают автоматам нулевого уровня. Иначе говоря нужно быть рефлексивнее противника, но не намного.

Думаю, очень показательное, даже философское исследование.