12 актуальных вопросов о прокторинге в вузах
старший менеджер по развитию бизнеса ProctorEdu
В 2022 году роль прокторинга уже давно вышла за рамки «страшилки» для студентов. Теперь это инструмент, который помогает не только обеспечивать академическую прозрачность, но и привлекать абитуриентов, увеличивать финансирование и экономить бюджет. Чтобы понять, как именно вузы это делают, мы задали дюжину вопросов о прокторинге Марату Закирову, старшему менеджеру по развитию бизнеса EdTech-компании ProctorEdu.
- Насколько актуален прокторинг для вузов в 2022 году?
- Для каких онлайн-мероприятий наиболее востребован прокторинг?
- Какие задачи прокторинг помогает решать вузам?
- На чем именно прокторинг позволяет экономить?
- Какие виды прокторинга существуют?
- Какой вид прокторинга наиболее популярен в вузах?
- Как студенты обходят системы прокторинга?
- Какими должны быть профессиональные прокторы?
- Каков must have технических требований вузов к системам прокторинга?
- Как в вузах организуется работа с системами прокторинга?
- Как выбрать подходящего поставщика прокторинга?
- Как проходит тестирование системы?
Насколько актуален прокторинг для вузов в 2022 году?
В период пандемии вузы переводили в дистанционный режим абсолютно все мероприятия и пробовали использовать прокторинговые платформы различных производителей. Благодаря этому опыту, к настоящему моменту вузы уже поняли, какие решения прокторинга и с какими параметрами лучше использовать, какие форматы предпочтительнее оставить в традиционном офлайне, а какие выгоднее перевести в онлайн. Посчитав организационные и технические затраты, все убедились, что можно получить тот же самый результат при меньших усилиях, поэтому прокторинг активно работает и в условиях офлайн-учебы.
Для каких онлайн-мероприятий наиболее востребован прокторинг?
Например, это приемная кампания для вузов с широкой географией, то есть тех, которые принимают на обучение студентов из других городов или стран. Из-за территориальной удаленности студентам трудно до них добраться, в России это особенно актуально, например, для зауральских или сибирских вузов. Московские университеты чаще всего выбирают смешанный вариант: для местных студентов проводят вступительные экзамены очно, а для иностранных или иногородних - онлайн через прокторинг. Некоторые учреждения устраивают выездные точки тестирования за рубежом - для них тоже актуален прокторинг, так как организовывать работу людей в чужой стране очень сложно и дорого, гораздо проще провести все в удаленном режиме.
Еще один востребованный сегмент для прокторинга - это олимпиады. Это тот сегмент, для которого очень важно обеспечить наибольшее количество участников через широкий географический охват - эти вещи влияют на финансирование таких мероприятий в дальнейшем.
Какие задачи прокторинг помогает решать вузам?
Основной вызов, на который отвечает прокторинг - это обеспечение академической прозрачности и контроль итоговых испытаний в онлайн-формате. Результаты прокторинга должны быть валидны, так как от этого зависит качество образования и репутация вуза. Когда началась пандемия и все перешли на удаленку, многие учреждения столкнулись с тем, что не преуспевающие студенты вдруг стали отличниками, так как удаленно гораздо легче списывать и пользоваться умными помощниками. Такое положение вещей ведет к обесцениванию учебной деятельности, но ни один вуз не заинтересован в том, чтобы про него говорили «ваш диплом ничего не стоит». Прокторинг как раз помогает держать высокую планку качества образования.
Еще одна важная задача - привлечение абитуриентов и повышение явки на экзаменах или олимпиадах. Не секрет, что вузы борются за распределение бюджетных мест, так как чем больше людей к ним поступает, тем больше бюджетных мест они могут заявить на следующий год и получить больше финансирования. Прокторинг обеспечивает значительный рост зарегистрировавшихся и принявших участие за счет того, что ломаются географические барьеры. Людям не нужно преодолевать большие расстояния, чтобы принять участие в мероприятиях, а вуз тем самым избегает организационных издержек.
Однако мало дать возможность удаленного участия, необходимо еще обеспечить хорошую техническую оснащенность платформы прокторинга. Иначе из-за непредвиденных сложностей студент может просто не добраться до экзамена. К примеру, во время тестирования выяснится, что платформа не поддерживает браузеры Mac или не позволяет войти с определенного устройства. Чтобы не допускать таких ситуаций, ProctorEdu ставит на первое место технический уровень - мы поддерживаем практически все основные браузеры, ОС, обеспечиваем доступ с любых устройств в разных комбинациях. Мы позволяем не обращать внимания на какие-то технические вещи, а даем возможность просто подключиться и сосредоточиться на проверке знаний. Заказчики отмечают, что с нашим решением в 1,5 раза увеличивается число участников мероприятий и количество поступивших. И конечно же, нельзя забывать о финансовой стороне вопроса. Прокторинг позволяет проводить испытания на высоком уровне с гораздо меньшими затратами.
На чем именно прокторинг позволяет экономить?
В первую очередь, конечно, на организации мероприятий в офлайне. Отпадает необходимость подготавливать компьютерные классы, оплачивать работу кураторов, учитывая выход в нерабочие дни, услуги event-агентств, кофе-брейки, рекламные баннеры, не нужно заключать договоры ГПХ, привлекать для дополнительной работы бухгалтерию и отдел закупок. Выбирая онлайн-формат с прокторингом, достаточно вложиться в интернет-рекламу, которая даже с большой вероятностью привлечет еще больше людей, чем традиционная. Плюс к экономии нужно отнести затраты самих участников. Например, приехать в Москву из удаленного города даже на один день - это большие расходы, поэтому многие абитуриенты часто решают поступить в близлежащий вуз, чем попробовать себя в столице, хотя могут иметь огромный потенциал.
Какие виды прокторинга существуют?
Есть три вида прокторинга, отличающиеся степенью участия человека. Первый - полностью автоматический, когда студент пишет экзамен или тест, а за его поведением следит нейронная сеть, отмечает нарушения и высылает отчет с оценкой организаторам.
Второй вид прокторинга - с участием человека. Студенты могут проходить тестирование в любое удобное время самостоятельно, а позже проктор пересматривает готовые сессии - это называется асинхронным прокторингом. Но просматривает он не все, а только отклоненные системой моменты, чтобы убедиться в нарушении, исключить ложные срабатывания, а затем подтвердить или изменить оценку системы. Если это, к примеру, олимпиада, то часто пересматриваются участники, претендующие на позиции победителей или льготные поступления, независимо от того, какую оценку дает система.
И еще один тип - синхронный, когда за сдающим параллельно наблюдает проктор, видя рабочий стол студента и изображения с камеры, а система сигнализирует о возможных нарушениях или перебоях со связью. При таком формате проверяющий может вмешиваться в ход испытаний, делать предупреждения, влиять на результат и наблюдать за несколькими студентами одновременно.
Какой вид прокторинга наиболее популярен в вузах?
Вузы, по нашему опыту, тяготеют к синхронному и асинхронному прокторингу, потому что студенты изобретательны, замотивированы получить хорошие результаты и поэтому постоянно ищут способы обходить систему. При этом если автоматику обмануть легче, то проктора гораздо сложнее. Руководство университетов это понимает и запрашивает, как минимум, асинхронный прокторинг, чтобы можно было пересмотреть экзамены, а на особо важных чувствительных мероприятиях, когда ставки высоки, используется синхронный.
Как студенты обходят системы прокторинга?
Да, ни одна система прокторинга не гарантирует стопроцентную защиту. Тем более что студенты постоянно эволюционируют в своих ухищрениях. Самый простой способ - это повесить листочек с ответом на монитор, проделав отверстие для камеры. Многие открывают вкладки рядом со страницей теста и списывают, кто-то и вовсе догадывается подключить второй монитор, что достаточно опасно. Чтобы предотвращать такие случаи, системы захватывают весь экран сдающего студента, а также предусматриваются вторые камеры для отслеживания всего, что происходит вокруг.
Есть крайне сложные способы обхода, когда используются виртуальные машины и сторонний софт. Например, в практике ProctorEdu случались так называемые «экзамены под фанеру», которые в своем роде даже заслуживают восхищения. Выглядит это так: перед компьютером сидит студент, веб-камера захватывает его и показывает, что он пишет экзамен один в комнате, но на самом деле шнур от камеры тянется в соседнее помещение, где напарник входит в систему со своего компьютера и решает тест. А чтобы не было расхождений картинки и действий, официально сдающий экзамен студент видит у себя на компьютере трансляцию экрана помощника и отзеркаливает все его манипуляции мышкой, набор на клавиатуре и т.д. Обнаружить такой обман крайне сложно, и зависит это от уровня поставщика прокторинга, который должен быть высоким, а также от профессионализма прокторов.
Какими должны быть профессиональные прокторы?
Прокторы - это не просто люди, которые чисто технически наблюдают за студентами и отслеживают нарушения. На них лежит огромная ответственность за человеческие судьбы, поэтому это должны быть опытные люди из академической, образовательной среды, которые могут правильно интерпретировать поведение испытуемых. В нашей практике вузы чаще всего привлекают для этой работы сотрудников вузов, кафедр, профессорско-преподавательский состав. Но иногда образовательные мероприятия достигают колоссальных объемов, например, мы помогали проводить олимпиаду одного из крупнейших московских вузов, в которой было около 20 тыс. участников. В этих случаях привлекаются сторонние прокторы, за профессионализм которых также отвечает поставщик.
Оценка, вынесенная проктором, должна быть объективной и прозрачной. К примеру, бывают такие недопустимые характеристики, как «студент фотографировал задание и отправлял в чат другим студентам», в то время как на записи видно только, что у студента в руках телефон. Такая личная интерпретация некомпетентного проктора некорректна, опасна для вузов и может привести к судебным разбирательствам. Отличие профессионального проктора в том, что он следует четкому техзаданию, согласованному с администрацией вуза. В такой же ситуации он напишет: «На 5-ой минуте экзамена студент пользовался телефоном, что является грубым нарушением регламента вуза, и поэтому был дисквалифицирован». Такую формулировку невозможно оспорить в суде, так как есть доказательства: задокументированные требования, а также скриншоты и записи нарушений, зафиксированные по логам. Поэтому, когда ProctorEdu требуются сторонние проверяющие, мы сотрудничаем с нашими партнерами - компанией ИТИЭС, у которых есть свой штат профессиональных прокторов, задействованных в крупных образовательных проектах, работающих с Московским центром качества образования, с обширным опытом оценивания ЕГЭ, ОГЭ, аттестаций госслужащих и т.д. Это дает нам уверенность, что вынесенные ими оценки объективны и могут быть доказаны в суде.
Каков must have технических требований вузов к системам прокторинга?
Самое первое и основное - это бесшовная интеграция с LMS-системой вуза. Без этого практически уже невозможно представить прокторинговую платформу, ведь иначе вузу приходится работать в двух параллельных системах: в одной назначать экзамены, в другой отвечать за прокторинг, и там и там заводить пользователей, создавать дублирующие сессии, вручную из каждой отдельно собирать результаты. Это сложно и неудобно, поэтому требуется комплексное решение, в котором управление системой прокторинга осуществляется через систему тестирования.
Во-вторых, конечно, нельзя обойтись без классического набора алгоритмов, которые позволяют отслеживать нарушения: идентификация участников по лицу, защита системы от параллельного входа, запись экзаменационного процесса, оповещения о переключениях на другие вкладки и предотвращение других студенческих лайфхаков. Также важно хранение видеоархива, чтобы в случае апелляций всегда можно было предоставить доказательства. И, безусловно, обязательный критерий отбора - способность системы выдерживать большие нагрузки и обеспечивать стабильность подключений.
Я бы также добавил, что хороший поставщик всегда работает с запросами вузов и совершенствует свой стек технологий. Например, если в системе обнаруживается уязвимость, необходимо в короткие сроки разработать контрфичу, которая исправит проблему. Например, в ProctorEdu сейчас готовится к релизу функциональность, которая позволит определять использование сторонних приложений по удаленному управлению рабочим столом, а также технология по анализу взгляда, определению голоса и верификации данных паспорта.
Как в вузах организуется работа с системами прокторинга?
Как правило, нагрузка по обслуживанию системы ложится на администраторов и техническую команду, которая сопровождает LMS-систему вуза. Обычно они отвечают за настройку интеграции, работу с обращениями студентов, подготовку участников мероприятий, но каждый вуз решает эти задачи по-разному. Если это небольшое учреждение, обычно достаточно команды, которая администрирует учебный портал, а если вуз крупный, как, например, один из наших стратегических клиентов, могут организовываться целые центры прокторинга, потому что сопровождение десятков тысяч студентов требует работы отдельного подразделения.Но в любом случае очень важно, чтобы система была user-friendly и не требовала специальных умений и навыков. Именно поэтому мы создали ProctorEdu интуитивно понятным в использовании, но в то же время выдерживающим большие нагрузки - до 5000 человек.
Еще многие вендоры прокторинга оказывают круглосуточную техническую поддержку своих систем, чтобы вовремя устранять ошибки, ликвидировать сложности с подключениями, отвечать на обращения студентов. В ProctorEdu количество ошибок составляет меньше 1% на 1500 подключений, поэтому необходимость в техническом сопровождении практически отсутствует. Редкие баги и нестандартные кейсы мы, конечно, оперативно устраняем, но большинство типичных запросов описано в инструкции или легко решается администратором системы.
Как выбрать подходящего поставщика прокторинга?
Сейчас, в эру осознанного прокторинга, вузы достаточно точно формулируют свои запросы и именно это помогает им находить подходящие варианты. Обязательно нужно уточнять возможности платформ, которые имеют критичное значение для вуза: пиковую нагрузку, наличие второй камеры, отслеживание вторых мониторов и т.д. Например, для одного из израильских вузов, который впоследствии стал клиентом ProctorEdu, особое значение имело обеспечение безопасности данных. У заказчика был детальный список требований, которым должна была соответствовать система прокторинга. Вуз исследовал все международные решения, консультировался с разными поставщиками, пока не нашел решение, удовлетворяющее всем пунктам его требований. Так выглядит действительно серьезный подход к выбору поставщика.
Особенно нужно изучить показатели стабильности работы и простоты эксплуатации. Когда из-за перебоев системы срываются и переносятся экзамены, это приводит к организационным издержкам, неудобствам участников и внутренним скандалам. Даже при наличии техподдержки не стоит полагаться на то, что она постоянно будет исправлять возникающие проблемы. На некоторых мероприятиях, где вузы пользовались несколькими решениями прокторинга, нам иногда приходилось наблюдать за администраторами, которые все время «тушат пожары» - они на нервах, в стрессе и заканчивают мероприятия эмоционально выжатыми. В том числе по этим причинам мы сейчас наблюдаем миграцию клиентов на решения, обеспечивающие бесперебойную работу. При этом вопрос цены уходит на второй план, так как издержки, допускаемые другими системами, непозволительны.
Однако, даже если по описаниям и рекомендациям платформа кажется абсолютно подходящей, никогда нельзя покупать кота в мешке и нужно протестировать систему.
Как проходит тестирование системы?
В ходе тестирования ProctorEdu мы имитируем конкретную задачу вуза, например, тестирование зарубежных студентов, устный экзамен, экзамен с аудированием или другие. Вуз выставляет требуемые параметры, например, нагрузка 500 человек, 2 камеры, отсутствие перебоев со связью и т.д. Далее мы полностью воссоздаем описанную ситуацию, после чего клиент может увидеть выполнение заранее оговоренных критериев. То есть это не просто возможность ознакомиться с интерфейсом, что можно и так очень просто сделать на нашем сайте, а полноценная интеграция с системой тестирования, входы с разных мобильных устройств, сетей, настройка сессии. Такой полноценный пилот - самый надежный способ убедиться, что система будет работать корректно и позволит принять взвешенное решение о покупке.
Мы с радостью расскажем о ProctorEdu подробнее или проведем тестирование платформы, для этого свяжитесь с нами:
Email: partners@proctoredu.ru
Тел: +7 (499) 113-47-07
