Изследване разкрива: GPT-3 на OpenAI представя по-убедителни туитове от хората
Според последното проучване, проведено от учени от Института за биомедицинска етика и история на медицината към университета в Цюрих, туитовете, създадени от езиковия модел GPT-3 на Open AI, са по-убедителни от публикациите на реални хора. В същото време, GPT-3 далеч не е най-съвременната версия на модела.
Авторите на проучването са помолили участниците в него да разграничат туитовете, написани от хора, и тези, генерирани от AI. Освен това е било необходимо да се реши дали някоя от публикуваната информация е вярна, включително и съдържанието, свързано с противоречиви теми като ефективността на ваксините и изменението на климата, които често се използват за масово манипулиране на общественото мнение в мрежата.
Злонамерена дезинформация се открива по-трудно, когато е написана от AI
Оказало се, че дезинформацията се открива по-трудно, ако е написана от ботове. В същото време, парадоксално, надеждната информация, написана от ботове, е по-лесна за разпознаване. С други думи, хората в проучването са по-склонни да вярват на ИИ, отколкото на други хора, без значение колко точна е всъщност информацията, което показва колко опасни могат да станат езиковите модели, когато се използват за дезинформация.
Изследователите са избрали 11 научни теми, обсъждани в Twitter, включително и ваксините за COVID-19, изменението на климата и теорията за еволюцията, и след това са възложили на GPT-3 да създаде публикации с вярна или невярна информация. След това са били интервюирани повече от 600 англоговорящи респонденти от САЩ, Великобритания, Канада, Австралия и Ирландия — съдържанието, създадено от GPT-3, се оказало неразличимо от това на хората. Същевременно, самите изследователи не са били 100% сигурни, че „органичното“ съдържание, събрано от социалната мрежа за сравнение, не е написано от услуги като ChatGPT.
Хората склонни да вярват на информацията, генерирана от езиков модел, дори при противоречия
Участниците в проучването са били помолени да оценяват публикациите „извън контекста“ – те не са виждали профила на автора, което може да им помогне да направят правилното заключение, тъй като дори минали публикации в емисията на акаунта и снимката на профила могат да дадат намек за неговата природа.
Резултатите показаха, че участниците бяха най-успешни в разграничаването на дезинформацията, написана от реални потребители на Twitter, докато GPT-3 беше малко по-ефективен в убеждаването на потребителите. Важно е да се отбележи, че съществуват по-нови версии на модела, като GPT-3.5 и GPT-4, които се справят още по-добре с различни задачи. Въпреки това, GPT-3 все още има някои ограничения и не е перфектен при оценяването на туитовете, поне в някои случаи. Това ни подсеща, че при разпознаването на правилната информация в социалните медии трябва да се използва и човешкият здрав разум, както и критичното отношение към всяка предлагана информация.
Развиването на механизми за сигурност и подобряване на разпознаването на невярна информация
Може би по-нататъшното подобряване на механизмите за сигурност на езиковите модели ще предотврати създаването на злонамерено съдържание с тяхна помощ. GPT-3 понякога е отказвал да генерира ненадеждни материали по указания на учените и по-специално за ваксини и аутизъм. Вероятно фактът, че по време на обучението са използвани много данни, посветени на развенчаването на теориите на конспирацията, е помогнал на модела да се държи по-надеждно в тези области. Според изследователите обаче, най-добрият инструмент за разпознаване на невярната информация все още е човешкият здрав разум и критичното отношение към всяка предлагана информация.
Човешкият здрав разум и критичното мислене – най-добрите средства срещу дезинформацията
Проучването представя интересна перспектива относно възможностите и ограниченията на езиковите модели в създаването на съдържание и манипулирането на общественото мнение. Независимо от аванса в технологиите, необходимо е постоянно развитие на методи за разпознаване и противодействие на дезинформацията, особено в онлайн средите, за да запазим доверието в информацията и да гарантираме качествен диалог и обмен на идеи.
