Новый принцип подведения результатов сертификации

Организаторы предлагают новый принцип оценки результатов тестирования.

Успешно сдавшими свой стандарт будут считаться лучшие 30% участников по каждому тесту.

• Новый алгоритм подсчета результатов предлагается параллельно со старым принципом;
• В разделе "Список тестов", в столбце "Сертифицировалось" теперь через дробь "/" приводится, как число специалистов, набравших 70% и более, так и число специалистов, считающихся сертифицированными по новой схеме.
• Администраторы банков смогут в своих аналитических отчетах получить итоговые данные как по старому, так и по новому принципу оценки результатов.
• Каждый банк-участник сам принимает решение, по какой системе подводить фактические итоги.

Существующий принцип выполнения Стандарта таков: "Для соответствия Стандарту специалист должен правильно ответить не менее, чем на 70 % вопросов теста". Из Правил тестирования.

Данный принцип в целом оправдывает себя, но некоторые его недостатки нельзя не заметить.

• В частности, результаты любого тестирования показывают, что некоторые тесты, предлагаемые разработчиками, явно различны по уровню своей сложности. Так какие-то тесты успешно проходят более 80% участников, а отдельные не могут преодолеть и 10% участников.

Такой "разбег" результатов нельзя объяснять различным уровнем подготовки участников, представляющих свои специализации. Ведь эти участники представляют еще и разные банки из разных регионов России. Получается, что, например, все российские специалисты по кредитованию во много раз подготовленнее специалистов службы внутреннего контроля? Кто согласится с таким выводом? 

• Также разница в результатах тестирования часто существенна еще и между тестами по "массовым специализациям" (10 и более участников от каждого банка) и тестами, где участников немного (по 1-3 участника от каждого банка). Этот случай мы объясняем банальным списыванием результатов или коллективным тестированием. Если за сотрудниками нет должного контроля, то там где их много, они находят способы успешно пройти "сертификацию".

Таким образом, мы ставили перед собой целью решить следующую задачу:

а) поставить всех участников тестирования (представителей разных специализаций) в более равные условия, чем при схеме в 70%;

б) снизить мотивацию наиболее подготовленных участников тестирования в том, чтобы "помогать товарищу сертифицироваться".

На наш взгляд, новый принцип в значительной степени позволяет решить задачу а) и в некоторой степени решить задачу б), (если наиболее подготовленный участник будет помогать менее подготовленному, то может не попасть сам в список победителей).

Организаторы будут благодарны, если участники поделятся своим мнением по предлагаемому новому принципу сертификации.

Недостаток нового принципа.

Новый принцип имеет и свои недостатки. Так теперь участник, которому программа уже сообщила об успешном прохождении теста, может из числа сдавших выбыть, если его вытеснили за границу в 30 процентов более лучшие результаты других участнков. Т.е. окончательные результаты теперь будут видны только при завершении тестирования всеми участниками.