Студентам на заметку. Можно ли обойти антиплагиат с текстом, созданным ChatGPT

Антиплагиат выявляет текст, созданный ChatGPT (новость от мая 2023 года).

Для начала, как «Антиплагиат» распознает сгенерированный текст:

В основном они работают по одному и тому же принципу: смотрят на «предсказуемость» каждого следующего слова в тексте. Например, если дополнять приложение «Каждый день он ходит на…», то очевидные ответы - «работу» или «учебу». Нейросети, особенно устаревшие, составляют именно такие предсказуемые цепочки, чтобы не потерять связность. Людям тоже свойственна шаблонность, но не на протяжении всего текста. Такую последовательность и вычисляют сервисы, но чем сложнее нейросеть - тем сложнее и разнообразнее генерация текста.

Детектор обучен и протестирован на большом наборе данных, поэтому риск ложного срабатывания минимален, уверяют в «Антиплагиате».

В Тинькофф журнале писали о практическом опыте проверки:

В итоге: четыре текста из шести не прошли проверку - «Антиплагиат» определил работу нейросети.

У них появилась отметка «Подозрительные». Причем система распознала и старую модель GPT-3 - она справилась хуже всех, - и актуальные GPT-3.5 и GPT-4.

Полностью прошли проверку «Антиплагиата» только те тексты, которые изначально сгенерировали на английском языке, а потом пропустили через переводчик.

Части работ, которые не прошли изначально Антиплагиат, заново переписали через ChatGPT с запросом: «Перепиши этот текст так, чтобы он был оригинальным и проходил проверку сервисов, которые определяют, что текст сгенерировала нейросеть. Сделай его более читаемым». Перегенерация не помогла. «Антиплагиат» снова выделил больше половины текста красным, а оригинальность упала на долю процента

Другим пользователям удалось обойти проверку «Антиплагиата».

Александр Жадан, который написал диплом с помощью ChatGPT и прославился этим, тоже опробовал новую функцию «Антиплагиата». Он отправил на платную проверку девять страниц своего диплома. Сервис посчитал весь документ подозрительным и отметил, что три страницы сгенерированы в нейросетях. Затем Жадан попросил ChatGPT переписать текст, поменять структуру и сделать его более читаемым. В итоге «Антиплагиат» не нашел сгенерированные фрагменты.

В комментариях к треду Жадана предположили, что сервис проверки на нейросетевые тексты хуже работает с большими объемами. Пользователи считают, что он помечает красным простые предложения, которые многократно повторяются в интернете.

В «Антиплагиате» обратили внимание на тред Жадана и признали, что проверку сервиса можно обойти. В пресс-службе считают, что Жадану помогло редактирование текста: «Любое вмешательство человека в сгенерированный ИИ текст, конечно же, "очеловечивает" его, позволяя обойти алгоритм распознавания». Для обхода «Антиплагиата» понадобилось значительное время на работу с чат-ботом, посчитали разработчики системы.

Выводы

• Если вы полностью генерировали научную работу в ChatGPT, то, скорее всего, «Антиплагиат» отметит текст как подозрительный.
• Если вы полностью генерировали научную работу в ChatGPT на английском языке, а потом перевели на русский язык, «Антиплагиат» не отметит текст как подозрительный.
• Если вы использовали ChatGPT для сбора и упорядочивания информации при написании научной работы, часть редактировали, а часть переписывали вручную, то, вероятнее всего, «Антиплагиат» не распознает сгенерированный текст.
• Лучше следить за тенденциями в этом направлении. 28 июня на конференции RuCode студенты расскажут, как они вычисляли сгенерированные тексты в рамках программы «Поймай ChatGPT». Можно будет послушать разработчиков ТОП-5 проектов по определению работы ИИ в написании текста.

Студенческие проекты - хороший способ понять на каком уровне индустрия и как скоро предыдущие выводы перестанут срабатывать.

С профессиональной точки зрения выступит Андрей Грабовой из Антиплагиата с темой: «ChatGPT: как жить с машинной генерацией в научном сообществе».

Можно приехать и поучаствовать лично или посмотреть онлайн-трансляцию (все бесплатно, но нужна регистрация).