Доброго времени суток, дорогие посетители Codeforces!
Сегодня в Петрозаводске прошел Onsite Round XII Открытого Кубка имени Е.В. Панкратьева.
За почти 9 (!) лет своего существования, Открытый Кубок стал одним из самых популярных соревнований по программированию в России и странах СНГ. Высокий уровень соревнования создает очень суровая конкуренция. Пройти в онсайт Открытого Кубка сложнее, чем в финал ACM ICPC (это не относится только к некоторым московским и питерским командам, у которых очень высокая конкуренция для выхода в финал внутри вуза). Отсутствие ограничений на возраст и удобная схема проведения сделали Открытый Кубок излюбленным соревнованием для многих ветеранов ACM ICPC. В нем участвуют практически все русскоязычные лидеры рейтингов Topcoder и Codeforces. Мне по странному стечению обстоятельств еще школьницей довелось поучаствовать в самом первом экспериментальном раунде в мае 2004 года. С тех пор я регулярно пишу Кубок в разных составах, и мне небезразлична его дальнейшая судьба.
Конечно, за историю существования Открытого Кубка было немало багов в задачах и тестах, ошибок тестирующей системы, падений серверов, читерства со стороны участников, неожиданных изменений в правилах, нерейтинговых раундов. Будем надеяться, многое из перечисленного навсегда осталось в прошлом. Организаторы уверенно справляются с проблемами, находят новых спонсоров и проводят смелые эксперименты. Открытый Кубок продолжает расширять географию и с каждым годом становится все более и более престижным соревнованием.
Надеюсь, я не очень утомила вас длинным введением. Перехожу собственно к проблеме. Сегодняшний онсайт произвел на меня совершенно демотивирующее воздействие. Авторы в принципе не скрывают, что задачи были взяты с Japanese Alumni Group Contest 2, прошедшего в апреле 2012 года. С помощью гугла по условиям задач быстро находится сайт http://acm-icpc.aitea.net, с которого можно скачать тесты. Один из участников моей команды — Коля Кузнецов (NALP) — прорешивал этот контест ранее, когда готовился к финалу 2012 года. Этот контест есть у нас на одном из саратовских тренировочных сайтов. Задача F, как оказалось, вообще была на контесте в Петрозаводске вчера! Когда Дима Матов (Nerevar) увидел вчера эту задачу, он вспомнил, откуда она, и напомнил про этот контест нашим командам в Петрозаводске. Не исключено, что другие участники онсайта тоже ранее сталкивались с этими задачами. Аналогичная ситуация была и на прошлом онсайте. Задачи гуглились, по ним можно было скачать тесты и даже засабмитить решения в online-judge.
Несмотря на честность участников, мне в этом видится большая проблема. Кто-то мог видеть задачи и помнить решения. Проведение онсайта на уже использовавшемся ранее комплекте задач не соответствует уровню Открытого Кубка. Раунды регулярного сезона как правило авторские и готовятся на приличном уровне, почему нельзя так же подготовить и онсайт?
Организаторы объясняют ситуацию тем, что в Открытом Кубке все хотят участвовать, поэтому никто не может готовить задачи. К тому же, в уже апробированных задачах гораздо меньше вероятность ошибок в условиях и тестах. Но ведь не все авторы задач — крутые участники. Я верю, что если приложить определенные усилия, можно найти авторов, не прошедших в онсайт и способных подготовить качественный комплект задач за определенную плату. Даже если плата небольшая — соревнование очень престижное. На твоих задачах будут сражаться Petr с Egor-ом против tourist-а за звание победителей Открытого Кубка! Одна неверная попытка может перечеркнуть все их усилия в отборочных этапах за полгода!
Даже если подготовка оригинальных задач нереальна и приходится брать задача из источников, можно хотя бы использовать источники, которых нет в открытом доступе. Например, переводить задачи с национальных школьный олимпиад, которые недоступны на английском языке, или комбинировать разные источники. Что я хочу предложить в любом случае — это перед следующим онсайтом собрать экспертную комиссию, которая смогла просмотреть уже готовый комплект и оценить его "баянистость". Желательно, чтобы это были географически распределенные представители из основных центров спортивного программирования, скорее всего тренеры или опытные участники, которые следят за задачами официальных соревнований и тренировок. Потому что даже если задачи будут новыми, не исключено их совпадение с чем-то хорошо известным. Задачи могут быть, например, незнакомы питерцам, но хорошо известны саратовцам по одной из последних тренировок. По моему мнению, чтобы обеспечить оригинальность и адекватность комплекта задач онсайта уровню участников, его должна оценивать группа экспертов, по численности и по уровню сопоставимая с жюри хорошего четвертьфинала. И очень хочется, чтобы это были новые, оригинальные задачи.
Надеюсь, что мне не одной ситуация видится в таком свете и мой пост поможет выработать общее конструктивное решение проблемы.
Ситуация с проблемсетом для онсайта Открытого Кубка заключалась в следующем. Тесты и задачи были предоставлены представителями JAG, при этом (по умолчанию) предполагалось, что задачи не выложены на публичных ресурсах. При этом от Japanese Alumni Group на сборах был и второй контест (хронологически он был первым), прошедший на сборах в Японии, по-видимому, несколько позже. Отметим, что на сервере университета Aitea этого набора задач не было (хотя про данный сервер организаторы Кубка узнали только от представителей команды Саратовского ГУ).
Соответственно, на онсайт был рекомендован "более сложный" из двух туров (который оказался и более ранним). Возможно, представители JAG считали, что сервер университета Aitea известен только локальным участникам...
При запросе задач для онсайт-раунда у японских авторов предполагалось, что будут использованы задачи, условия которых в интернете недоступны; скорее всего; произошёл определённый сбой коммуникации.
На данный момент информация о том, что набор задач был доступен в Интернете, и о том, что в дальнейшем при выборе задач для онсайт-раунда Открытого Кубка должны использоваться только задачи, условия которых недоступны в Интернете, отправлена представителям авторов. Скорее всего, следующий онсайт-раунд Открытого Кубка будет также сделан авторами Japanese Alumni Group, при этом требования к оригинальности (или в крайнем случае, к локальной известности задач) будут прописаны явно.
При этом, разумеется, рассматриваются и варианты заказа задач другим авторским коллективам.
Идея с проверкой задач онсайта на "свеченность" представителями крупнейших тренировочных центров (особенно проводящих закрытые тренировки) кажется весьма разумной; учитывая факты "перекрытия" задач в разных турах на сборах в Петрозаводске, шансы поймать явно "свеченную" задачу ненулевые. Собственно говоря, конструктивный вопрос к автору сообщения — учитывая то, что количество тренировочных сайтов, известное саратовским участникам, довольно велико (если вообще не максимально), хотелось бы сразу договориться о том, кто будет выполнять функции эксперта от Саратова. При том, что команду Saratov SU Old School в Открытом Кубке хотелось бы сохранить.
Ну и в завершение по поводу сравнительной ценности онсайт-раунда и регулярного сезона. Традиционно в Открытом Кубке "основной" всё же считается победа в регулярном сезоне, так как Кубок является в первую очередь регулярным турниром (в частности, дипломами и медалями команды награждаются по результатам сезона). Система же онсайтов является скорее надстройкой над регулярным сезоном, своеобразным "бонусом", и пока что её концепция в значительной степени не отлажена.
Известен или неизвестен — получается, нужно выяснять у российских тренеров, а не у японцев. Их сайт вообще легко гуглится по условиям задач. К тому же, даже если они считают свои задачи оригинальными, бывает и такое.
Когда берется уже отыгранный контест, понятно, что нельзя быть гарантированно уверенным в том, что никто не знает задач. Даже если он и из Японии и даже если сайт, где он выложен, не переведен на английский. Сегодня, как мы видим, некоторые команды задачи все же знали. Конечно же, надо на такие серьезные мероприятия давать новые, не паленые контесты. И очень странно, что делают не так.
Ладно, такая ситуация была в данном случае на самом деле маловероятна, и это, наверное, можно простить. Однако был еще один куда более негативный момент. Неужели нельзя было банально **прочитать задачи** и увидеть, что **сегодняшняя задача F побитово совпадает с задачей E с предыдущего контеста** (ну, за исключением уменьшенных в два раза ограничений)?
Олег, ну правда это нонсенс — использовать старые задачи на онсайте уважающего себя соревнования. Честно говоря, такой подход годится для тренировки, в крайнем случае для какого-то локального соревнования. Конечно, подготовить контест тяжело, но нереальной эта задача не является. Это вопрос построенного процесса, бюджета, готовности вложить силы в соревнование. В определенном смысле кандидатов для подготовки онсайта не так мало — это все те, кто не прошел в онсайт. Яндекс должен понять проблему и поддержать авторов материально, а со стороны кубка должен быть квалифицированный координатор (ты? Иван? кто-то еще?), кто процесс подготовки бы курировал и помогал авторам. Отбор надо завершить чуток заранее, чтобы у авторов было время на подготовку.
Проблема в том, что японские авторы не позиционировали этот тур как "свеченный где-то". Непонимание, скорее всего, возникло в момент, когда обсуждался выбор задач — было предложено на выбор несколько проблемсетов, один из которых был отмечен как "наиболее достойный" для онсайта.
В дальнейшем требование к "несвеченности" уже будет оговорено напрямую (чтобы исключить разные умолчания). В случае, если данные условия будут приняты авторами JAG, причин смены авторской группы на предстоящий онсайт-раунд я пока что не вижу.
Хотя на самом деле мне более перспективным кажется подход, использовавшийся при составлении набора задач олимпиады в Баку 2011 и 2012 года — вместо заказа задач одной авторской группе сделать "смешанный" тур из взносов ведущих авторских групп специально для онсайта. Условно говоря, по 1-3 задачи от каждой авторской группы, проводящей Гран-При (плюс Japanese Alumni Group и авторы из США), из которых выбирается сбалансированный проблемсет.
Однако попытка устроить что-то подобное на завершающихся сборах, к сожалению, провалилась...
Олег, ты не можешь понять главного. Вот почему на финале/NEERC'е никому в голову не приходит давать задачу с какого-нибудь локального контеста из Урюпинска — ну, ее ведь никто не знает, в самом деле. И авторы сказали, что нигде не публиковали. Ну, на английском по крайней мере.
А делают это потому, что если не использовать новые, оригинальные задачи, всегда есть вероятность фейла. Поэтому я считаю, что никакой другой вариант кроме как проведение онсайта на оригинальном проблем сете не должен рассматриваться
Да и то в последние два года на полуфинале находится задача подозрительно похожая на известную задачу с тимуса или на задачу из какого-то не малоизвестного соревнования в Белоруссии.
По поводу оригинального problemset'а не поспоришь, но вот где в России и странах СНГ взять авторов задач в таком количестве? Хочу напомнить, что в этом году родных авторов задач вообще не хватило. Ровно половина контестов последних зимних сборов в Петрозаводске была создана Поляками, Японцами, Румынами (4.5 из 9). Где авторы из СНГ?
В 2012 году на Codeforces было проведено более полусотни div-1 контестов, и большинство из них — участниками из СНГ. Я думаю, при аналогичных условиях найдутся авторы и на онсайт кубка, тем более, что это гораздо престижнее.
Глупо даже сравнивать требуемую сложность задач div-1 раунда и задач Петрозаводского контеста. В Петрозаводске решает команда, а не один участник, времени больше, попыток можно делать неограниченное количество. Для Петрозаводска нужно делать задачи на порядок сложнее и намного больше задач.
Я думаю, что контест из задач Е был бы перегробленным для сборов
Одну-две задачи E в год придумать — не проблема. Вот придумать 10 задач уровня [D, E] за год — гораздо сложнее.
А я был бы очень рад, если бы на онсайте кубка был бы сборный контест, а не контест одного автора
Да, да. Можно объявить конкурс на придумывание задач для онсайта с призовыми в случае, если твоя задача выбрана. А потом нанять команду, которая эти задачи подготовит.
Насколько я понимаю, все польские контесты и последний японский онсайт сделаны больше, чем одним автором
Кстакти, я провёл 3 раунда в течении одного года (неидеально в плане подготовки, но тем не менее, на каждом из них были задачи D и E). И не провёл больше только потому, что сейчас у меня абсолютно нет времени делать контесты, задач у меня придумано ещё на несколько контестов, и их количество постоянно увеличивается.
И, казалось бы, у меня нет поводов считать, что я такой уникальный — с чего бы?
Придумать много хороших математических задач вполне возможно. Но чтобы контест был разнообразным и интересным, нужно еще много чего другого придумать. Например, придумать свежую задачу на поток совсем не просто. Можно, конечно, взять идею из какой-нибудь статьи, но кто гарантирует, что никто из участников ее не читал?
Да, и это возвращает нас к идее о множественном авторстве.
Так раз не осталось свежих задач на потоки, может, хватит уже муссировать эту тему? =) Никто же не старается на каждый тур сборов дать задачу на meet-in-the-middle, скажем.
Да ладно, у меня далеко не только математические задачи. Конечно, явный перекос есть, но это нормально, он у всех есть, как мне кажется. Поэтому раунды и проводятся разными людьми. И это, опять же, возвращает нас к множественному авторству — потому что для соревнования такого уровня разнообразность тем особенно важна.
Можешь выбрать 5 любых div-1 равндов и из каждого взять задачи D и E, и полученный проблемсет сравнить в любым туром сборов. Увидишь, что они сравнимы по сложности.
Задачи E нередко мало кто решает, или вовсе никто. А задача, которую Гена не может решить за два часа (ну, пусть даже за час, за вычетов времени на остальные задачи) — это серьёзная задача.
А почему искать надо в России? Против японского или польского проблемсета я ничего не имею, если он оригинальный
Ситуация с задачами на прошедших сборах была ещё хуже, чем кажется со стороны.
Реально перед сборами было 6 хоть в какой-то степени готовых туров от вузов-участников. Тур Ufa SATU + Bucharest U был собран практически в последний момент (задачи доделывались во время третьего блока сборов). Если бы не два "вытащенных из рукава" по договорённости с JAG японских тура (наличие которых ни из чего не следовало), с проведением сборов возникли бы серьёзные проблемы. Да и сейчас первоначальное расписание было существенно изменено из-за фактического отсутствия девятого проблемсета. В частности, онсайт-раунд Кубка был перенесён на неделю вперёд; все туры, начиная с третьего, были сдвинуты на один рабочий день "вверх" относительно первоначального графика, контест шестого дня планировался изначально девятым. Соответственно, программный комитет и авторы проблемсетов работали в форсированном режиме; отсюда и казус с дублированием задачи в JAG2 и одном из предыдущих туров — перед седьмым днём работа жюри была распараллелена.
При этом все команды из дальнего зарубежья дисциплинированно привезли контесты. А вот целый ряд команд из вузов, далеко не впервые участвующих в сборах, контестов не привезли. Несмотря на то, что были предупреждены о необходимости сделать это на полуфинале.
Способы недопущения впредь подобных ситуаций в настоящий момент обсуждаются с организаторами сборов.
И кстати... выкладывание малоизвестной ссылки на предлагавшийся в Петрозаводске проблемсет перед сборами в Ижевске является всё же несколько некорректным действием — в частности, сейчас возникает вопрос о том, чем именно заменить JAG2 для участников сборов в Ижевске.
Возможно, в этой ситуации придётся вернуться к первоначальному расписанию XIII Открытого Кубка, назначив второй тур (Гран-При Украины) на непопулярную дату 17.02...
Я не соглашусь с этим. Да, действительно нужно следить за тем, чтобы проблемсет был не свеченный для участников, но как из этого следует, что его никто не должен был писать до этого? Уже написанные кем-то задачи автоматически протестированы на баги, качественность, сложность и тп. Да, можно это все сделать руками (не совсем понятно кого, правда), потратить на это кучу времени, сил и денег, но в чем профит? Все-таки кубок — это не официальное международное соревнование. Да, в нем участвуют сильные команды, но это потому, что людям нравится решать задачи, которые бывают на опенкапах, а не потому что они стремятся победить. Да, мне тоже не нравится то, что на финальном раунде были свеченные задачи (как и на питерском, например. Там их, кстати, было в разы больше). Но не надо перегибать палку, это не финал acm.
Проблема, мне кажется, в том, что для не нового проблемсета крайне сложно гарантировать, что он не свечен. Даже проблемсет с локального японского соревнования — допустим, кто-то мог поболтать с кем-то из японцев на финале...
Не очень реалистично. Если условия, тесты не выкладывать в открытый доступ, то вероятность этого не выше того, что придуманная на контест задача была кем-то независимо дана на другом контесте.
Стоп, а что такое "официальное международное соревнование"? Международной федерации спортивного программирования нету, так что все соревнования можно считать неофициальными. Но кубок, ИМХО, самое сильное по составу участников командное соревнование в мире. Да, сильнее финала.
Есть acm и соответствующие организации с серьезными спонсорами, информационной поддержкой, в acm icpc участвует десятки тысяч студентов по всему миру. Я думаю, что финал вполне можно называть официальным соревнованием. Опенкап, несмотря на сильный состав участников, соревнование, которое по большому счету живет на энтузиазме снарка и популярности олимпиад по программированию в снг. И я не вижу в этом ничего плохого. Просто не надо усложнять.
Ну, промежуточный вариант между "заказом проблемсета специально" и тем, чтобы брать отыгранный, всё же есть — заказ по 2-3 задачи у авторских групп, в OpenCup не участвующих. А затем — выбор, условно говоря, 10 из 16. 2 задачи-то авторской группе всяко проще сделать, чем 10.
Насколько я понимаю, больше всего огорчает фэйл с задачей F (баян с предыдущего контеста).
Метод "оригинальный проблемсет" от таких фэйлов не защищает.
Защищает проверка на баянистость опытными людьми и оперативная замена пофэйленных задач. Обычно, кстати, так и делают ;-) Почему такого не произошло в этом году -- я не в курсе.
P.S. А правда, что польские контесты из ПТЗ всем стабильно нравятся и "проблема баянов" в них не стоит? :-)
Вот это мне непонятно: почему метод "оригинальный проблемсет" не зазищает от баянов?
Потому что для кого-то — баян с чемпионата университета 2008 года, а для кого-то — оригинальная только что придуманная задача. Со мной такое было.
Ну, например Уральский контест был придуман недавно и таки задача совпала со следующей, придуманной заранее
раз уж подняли тему...
на прошлом онсайте было аналогично, варшавские задачи c их школьной олимпиады вместе с тестами и решениями были доступны всем желающим из интернета, об этом было сообщено жюри и обсуждено сразу после контеста, но это как-то замялось и вроде как из участников никто ничего не заметил
эти задачи мы как-то хотели порешать на тренировке, и задача "Prefixuffix" запомнилась мне (своим названием), поэтому после контеста я ее легко нагуглил, а за ней и решения по всем задачам из контеста
Извените за оффтоп. Но это уже крик души. Я неоднократно писал о просьбе удаленного участия в этапах, так как живу в 120 км от места проведения и не могу ездить на каждый этап. Читая вашу дискуссию, я вижу что участники свободно пользуються интернетом и многии пишут удаленно. Ввиду этого у меня формируется вопрос. Почему я не могу расчитывать на разрешение писать олимпиады из дома, имея на то уважытельные причины? P.S Неоднократно писал Олегу Христенко, но не получал ответа, и нашему координатору по региону. На что получал сухое: "Нельзя".
"Удаленно" не значит "из дома". Ради написания вчерашнего онсайта мы с Колей специально собирались в Саратове в месте проведения Кубка. За нами следили при помощи видеокамеры. Дима находился в месте проведения онсайта и сидел непосредственно в комнате жюри, чтобы было удобнее следить за нашим взаимодействием по скайпу. "Свободно Интернетом" (для скачивания тестов к задачам) мы не пользовались и ни о каких читерствах даже не помышляли. Мы ценим доверие, которое нам оказывают.
Раунды регулярного сезона мы писали в менее жестких условиях, но стоит отметить, что Дима Матов всегда находился в секторе. Он обычно выполняет роль координатора сектора и следит за честностью поведения команд.
Насколько мне известно, пока концепция удаленного участия в онсайте до конца не выработана. Уважительность причин и методы контроля оценивают в каждом случае отдельно. Вариант всем подряд разрешать писать из дома с правилами Кубка не согласуется. Надеюсь, в ближайшее время появятся правила, официально регулирующие вопрос удаленного участия.
Большинство не поняли юмора, кажется )
< sarcasm> А я думал, что Москва большая... </ sarcasm> А если серьёзно — вы же где-то учитесь, попробуйте организовать сектор в своём универе. Наверняка вы не один, и в вашем городе найдётся немало команд, желающих писать OpenCup.
г. Харьков, ул.Ленина, 14, ХНУРЭ Это место проведения!. а г Харьков. Место учебы! А я живу в городе Купянске. Место проведения от того что я там напишу не поменяется
А почему бы не разрешить внеконкурсное участие во всех турах, кроме онсайт финала, без организации каких либо секторов?
Вам, красным, что не дай — вы все уже "где-то решали, на такой-то тренировке в 20хх году" :)
От Андрея Лопатина нередко можно услышать фразы типа "... эту задачу мы решали в 98 году следующим образом: ..."