De OpenAI-classificatie van de maker van ChatGPT voor door AI gegenereerde tekst is eenvoudig te spelen

De bekendste chatbot ter wereld, ChatGPT, werd eind november vorig jaar uitgebracht. De onmiddellijke reactie was verbazing, bijna onmiddellijk gevolgd door angst over de gevolgen ervan – met name dat het schoolessays zou kunnen opleveren voor oneerlijke kinderen. Gisteren, bijna precies twee maanden later, bracht OpenAI, het moederbedrijf van ChatGPT, uit wat volgens veel gebruikers het tegengif voor het gif zal zijn.

OpenAI”classifier om tekst aan te geven die is geschreven door AI(Opent in een nieuw venster)” is de nieuwste uitvinding van het bedrijf, en het is zo eenvoudig te gebruiken als men zou willen: kopieer en plak de tekst in het vak, klik op “Verzenden” en ontvang uw resultaat. , wijst het tekst toe aan een reeks classificaties, variërend van ‘zeer onwaarschijnlijk’ dat door de AI wordt gegenereerd, tot ‘onwaarschijnlijk’, ‘onduidelijk’, ‘misschien’ of ‘waarschijnlijk door AI gegenereerd’.

ZIE OOK:

Een door AI gegenereerde ‘Seinfeld’-parodie speelt in een oneindige lus

Met andere woorden, het is als een van die frustrerende gesprekken met uw arts; u krijgt nooit een duidelijk antwoord, dus uw arts zal het technisch gezien nooit fout hebben.

Gelukkig verbergt OpenAI de onbetrouwbaarheid van de classifier niet. “Onze classifier is niet helemaal betrouwbaar”, zegt de inleidende pagina van de tool. Geleverd met wat het een “uitdagende reeks” teksten noemt, werd ons verteld dat het 9% van de tijd valse positieven opleverde.

In de tests van Mashable was het echter nog minder betrouwbaar dan in sommige beperkte contexten. In opzettelijk moeilijke scenario’s leverde dit heen en weer valse resultaten op – bijna net zo vaak als niet. Het verschil is misschien dat we dat waren proberen om hem te bedriegen.

Dit is hoe het ging:

Het verwart klassiekers niet met ChatGPT AI-uitvoer

Ten eerste het goede nieuws: deze tool doet het absolute minimum redelijk goed door Engelstalige meesterwerken niet verkeerd te bestempelen als AI-releases. Als we fragmenten uit Shakespeare, de King James Bible, Ulysses, en anderen, het was 100% effectief. Hij bestempelde ze allemaal als “zeer onwaarschijnlijk” om door de AI te worden geschreven.

Dit fragment uit Tennysons “The Lady of Shallot” is bijvoorbeeld op de juiste manier geclassificeerd.

Credits: OpenAI / Screenshot

De les: deze machine merkt misschien niet dat hij een meesterwerk van ongeëvenaarde schoonheid en diepgang heeft gekregen, maar hij zegt in ieder geval niet: “Ik denk dat een robot dit had kunnen schrijven.

Geen van zijn andere resultaten is erg indrukwekkend

Meteen na deze test hebben we ChatGPT gevraagd om een ​​Tennyson-gedicht te maken over King Arthur op Comic Con. Hier is een voorbeeld van wat het genereerde:

Koning Arthur en zijn ridders, zo dapper en gedurfd,

Op Comic Con werden hun roemverhalen verteld.

Lopend over de vloer, in cosplaykleding,

Hun zwaarden en schilden zijn niet langer eenvoudig.

De menigte juichte allemaal toen ze passeerden,

Met Merlijn vlak achter hem, zijn magische nacht.

Sir Lancelot, Sir Gawain, Bors de Dappere,

Hun zoektocht naar glorie zullen ze nooit opgeven.

Niet slecht voor een robot, maar nog steeds extreem slecht (“eenvoudiger”???). Toen we deze lyrische ballad in de Classifier introduceerden, verwachtten we dat hij ons gemakkelijk te slim af zou zijn, waardoor we gedwongen zouden worden wat dieper in onze trukendoos te duiken. Neen:

Credits: OpenAI / Screenshot

Voor wat het waard is, classificeerde hij deze hond niet als “zeer onwaarschijnlijk”, maar alleen als “onwaarschijnlijk”. Toch liet het ons een beetje ongemakkelijk achter. We hadden tenslotte niet ons best gedaan om hem voor de gek te houden, en het werkte.

Onze tests suggereren dat het onschuldige kinderen kan arresteren voor bedrog

Schoolessays zijn waar het rubber de weg ontmoet met het kwaadaardige gebruik van door AI gegenereerde tekst van vandaag. Dus creëerden we onze beste poging tot een no-nonsense essay van vijf alinea’s met saai proza ​​​​en inhoud als afwaswater (scriptie: “Honden zijn beter dan katten.”). We dachten dat geen enkel kind zo saai kon zijn, maar de classifier snapte het nog steeds:

Sorry maar ja, een mens heeft dit geschreven.
Credits: OpenAI / Screenshot

En toen ChatGPT dezelfde prompt aanpakte, was de classifier – aanvankelijk – nog steeds op schema:

Credits: OpenAI / Screenshot

En zo ziet het systeem eruit als het echt werkt zoals geadverteerd. Dit is een machinaal geschreven essay in schoolstijl, en OpenAI’s tool voor het detecteren van dergelijk “AI-plagiaat” heeft het met succes gedetecteerd. Helaas ging het meteen mis toen we het een meer dubbelzinnige tekst gaven.

Voor onze volgende test hebben we handmatig nog een essay van vijf alinea’s geschreven, maar we hebben enkele van OpenAI’s schrijfkrukken toegevoegd, zoals het starten van alinea’s met eenvoudige woorden als “eerste” en “tweede”, en de weliswaar robotachtige uitdrukking “tot slot” gebruiken. ‘Maar de rest was een vers geschreven essay over de deugden van broodroosterovens.

Nogmaals, de classificatie was onnauwkeurig:

Credits: OpenAI / Screenshot

Het is weliswaar een van de saaiste essays ooit, maar een mens heeft het allemaal geschreven, en OpenAI zegt dat het iets anders vermoedt. Dit is het meest verontrustende resultaat van allemaal, omdat je je gemakkelijk kunt voorstellen dat een middelbare scholier betrapt wordt door een leraar terwijl hij geen regels overtreedt.

Onze tests waren niet wetenschappelijk, onze steekproefomvang was klein en we probeerden absoluut de computer voor de gek te houden. Toch was het veel te gemakkelijk om hem een ​​pervers vals resultaat te laten uitspugen. We hebben genoeg geleerd van onze tijd dat we deze tool gebruikten om met vertrouwen te zeggen dat leraren mag absoluut niet gebruik OpenAI’s “classifier om tekst geschreven door AI aan te geven” als een systeem om valsspelers te vinden.

Tot slot hebben we dit artikel door de classifier gehaald. Dit resultaat was perfect correct:

Credits: OpenAI / Screenshot

…Waar was het????

HOW TO GET FREE PSN CODES PSN GIFT CARD GENERATOR 2023 YOUTUBE
PSN CODES 2023 PSN CODE GENERATOR FREE PSN GIFT CARDS APP
BUY PSN GIFT CARDS CHEAP PLAYSTATION GIFT CARD CODES ENEBA
45 FREE PSN CODES PLAYSTATION STORE CODES FOLLOWCHAIN
PLAYSTATION STORE CODE 10 SONY REWARDS
GET FREE 30 PSN GIFT CARDS CODES PINTEREST
FREE PSN CODE GENERATOR 2020 WORKING EMBRAPA
FREE PSN GIFT CARD CODE HERE FREE PSN GIFTCARD CODE INSTAGRAM
GET NOW PSN GIFT CARD GENERATOR 2022 UPDATE NEW WORKING
PLAYSTATION STORE GIFT CARD 10 GAMESTOP