Детектор штучного інтелекту для викладачів

Чи є остаточний спосіб перевірити, чи створено текст штучним інтелектом? Давайте перевіримо це разом с Камья Пандей (Kamya Pandey).

Серед науковців зростає занепокоєння щодо використання контенту, створеного штучним інтелектом (ШІ), наприклад, створеного ChatGPT, для обману під час оцінювання чи екзамену.

Хоча контент, створений штучним інтелектом, не можна вважати «плагіатом» у традиційному розумінні, оскільки він створює абсолютно новий матеріал, для студентів все одно не зовсім чесно представляти роботу ШІ як свою власну. Крім того, використання ШІ для виконання завдань підриває мету навчання та позбавляє студентів цінних освітніх можливостей.

Натхненний усіма цими проблемами, 22-річний студент Прінстону Едвард Тіан створив GPTZero, інструмент, призначений для виявлення тексту, створеного штучним інтелектом. Технологія Tian доступна безкоштовно для викладачів у всьому світі, і понад 20 000 викладачів уже підписалися, щоб отримувати оновлення щодо розробки GPTZero.

Якщо вам цікаво, як GPTZero може розрізняти стиль написання людини та штучного інтелекту, ось глибоке занурення у внутрішню роботу інструменту.

Як було створено GPTZero?

GPTZero — це інструмент виявлення штучного інтелекту, який Тіан створив під час зимових канікул у коледжі, працюючи з Прінстонською лабораторією обробки природної мови. Маючи незначний ступінь журналістики, Тіан розробив інструмент, який мав на меті допомогти викладачам і журналістам боротися з плагіатом ШІ.

З моменту першого випуску 2 січня 2023 інструмент постійно розширювався. 21 лютого Тіан написав у Twitter, що GPTZero співпрацює з ed-tech організаціями, такими як K16 Solutions, щоб навчити інструмент на більшому наборі даних, що робить його ще потужнішим.

Як працює GPTZero?

За словами Тіана, GPTZero вимірює дві властивості, щоб перевірити текст, згенерований штучним інтелектом, — здивування та розрив. Здивування вимірює випадковість тексту. Якщо текст дуже випадковий, GPTZero вважає текст заплутаним і визначає, що він написаний людиною. Крім того, тексти, написані штучним інтелектом, менш випадкові або заплутані для GPTZero, оскільки він був навчений на таких даних.

Вибух означає різницю в довжині речень у тексті. Коли людина щось пише, її пропозиції будуть різної довжини. Однак текст, написаний штучним інтелектом, буде в основному однорідним. Таким чином, чим вищий розрив тексту, тим вищий шанс, що його написала реальна людина.

Окрім перевірки текстів, які були безпосередньо скопійовані з інструментів письма штучного інтелекту, GPTZero також здатний виявляти та виділяти частини тексту, які були написані моделлю вивчення мови, такою як ChatGPT. Викладачі можуть завантажувати кілька файлів разом, щоб швидко перевірити роботу всього класу та переконатися, що учні навчаються, а не просто копіюють моделі ШІ.

Тестування GPTZero

Кажуть, що GPTZero правильно визначає роботу ChatGPT на 98%. Щоб перевірити це на собі, я взяв текст, написаний ChatGPT, і ввів його на веб-сайт GPTZero.

Система негайно щось запідозріла, та натякнула що в тексті забагато висловів, які притаманні саме штучному інтелекту та вже десь їснуть певними частками.

«Оскільки текст, створений штучним інтелектом, стає все більш складним, може бути складно визначити, чи був фрагмент тексту написаний людиною чи системою штучного інтелекту. Проте є кілька методів, які педагоги можуть використовувати для ідентифікації тексту, створеного штучним інтелектом.

Шукайте невідповідності: хоча текст, створений штучним інтелектом, може бути вражаючим, він все одно може містити невідповідності, яких людина не помітить. Наприклад, у тексті може бути брак зв’язності або містити помилки граматики, пунктуації чи орфографії».

Тож із самого початку GPTZero не побачив, що весь текст був написаний ШІ. Це дало тексту оцінку здивування 44 і оцінку розриву 28,554.

Я уявив, що потрапив у межу похибки 2%, яку мав інструмент, і вирішив спробувати ще раз. Цього разу я хотів побачити, що інструмент подумає про текст, який я насправді написав сам.

Перша проблема штучного інтелекту

«Перша проблема з написанням ШІ полягає в тому, що він значною мірою залежить від інформації з Інтернету, яка може бути неточною. Отже, якщо студент просто візьме есе, написане штучним інтелектом, і надішле його своїм викладачам у такому вигляді, швидше за все, воно буде рясніє помилками та похибками.

Існує також висока ймовірність того, що есе матиме расистський і сексистський підтекст, враховуючи, що більшість інструментів штучного інтелекту, навчених на веб-даних, як правило, мають цю проблему» – говорить Камья Пандей (Kamya Pandey).

Я намагався зберегти довжину тексту приблизно однаковою, щоб зробити тест максимально справедливим, і ось що мені сказав інструмент: Скоріше за все – написано людиною.

Цього разу він не виділив жодного розділу, який, на його думку, був написаний штучним інтелектом. Як би я не радий, що мене визнали людиною, мене було досить шокуюче побачити, що мої показники здивування та розриву були нижчими, ніж показники ChatGPT на 38,667 і 20,404 відповідно

Я провів останній тест, де змішав власний вміст із вмістом ChatGPT, але…

«Інструменти виявлення плагіату, такі як Turnitin або Grammarly, можуть визначити, чи був фрагмент тексту скопійований з інших джерел або створений системою ШІ. Однак ці інструменти не завжди точні та можуть генерувати помилкові спрацьовування.

Крім технічних рішень, деякі експерти припускають, що якщо викладачі стурбовані тим, що учні створюють свої завдання за допомогою штучного інтеллекту, вони можуть просто змінити оцінку. Заміна письмових матеріалів груповими презентаціями чи усними доповідями зменшила б масштаби списування та забезпечила б упевненість у тому, що студент докладає зусиль».

Знову ж таки, він не позначив жоден розділ як «створений штучним інтелектом», але він присвоїв цьому тексту вищу оцінку здивування 48,5 порівняно з попередніми текстами.

Цей експеримент повинен показати, що цей інструмент все ще перебуває на ранніх стадіях розробки, і викладачі не повинні покладатися виключно на нього для оцінювання роботи учнів. GPTZero сам це визнає (як показано на малюнку вище), закликаючи викладачів використовувати його як один із багатьох інструментів для оцінювання завдань.

Спробувати детектор штучного інтелекту безкоштовно можна на gptzero.me за цим посиланням

Недоліки інструменту

«Я не хочу, щоб хтось приймав остаточні рішення. Це те, що я створив під час канікул», — Камья Пандей (Kamya Pandey)..

Тим не менш, той факт, що такий інструмент існує і що Тіан активно працює над його вдосконаленням, надихає. Оскільки технологія полегшує студентам списування, GPTZero служить нагадуванням про те, що інноваційні рішення також можуть бути розроблені для запобігання цьому.