СПЕЦИФИКА ВОСПРИЯТИЯ ТЕКСТА, НАПИСАННОГО ЧЕЛОВЕКОМ И НЕЙРОСЕТЬЮ

THE SPECIFICITY OF PERCEPTION OF A TEXT WRITTEN BY A HUMAN AND A NEURAL NETWORK

Аннотация: Статья посвящена изучению особенностей восприятия читателями журналистских текстов, опубликованных в деловой газете и сгенерированных нейросетью. Исследование проводилось на основе опроса 89 респондентов разных возрастных категорий. Респондентам требовалось прочитать 2 новости и 2 статьи на одинаковую тему и определить, кем был написан каждый текст: человеком или нейросетью, а также оценить тексты по пяти критериям: информативность, достоверность, логика, грамотность и удобочитаемость. В результате мы пришли к выводу, что с помощью нейросети не получится написать качественный текст для публикации в деловых СМИ.

Ключевые слова: нейронные сети; нейросети; журналистский текст; восприятие текста; средства массовой информации; искусственный интеллект; специфика восприятия.

Abstract: The article is devoted to the study of the peculiarities of readers’ perception of journalistic texts published in a business newspaper and generated by a neural network. The research was based on a survey of 89 participants of different age categories. Respondents were required to read 2 news on the same topic and 2 articles on the same topic and determine who wrote each text: a person or neural network, as well as evaluate the texts according to five proposed criteria: information content, reliability, logic, literacy and readability. As a result, we came to the conclusion that using a neural network is not usable to write a high-quality text for publication in business media.

Keywords: neural networks; neuronet; journalistic text; perception of a text; mass media; artificial intelligence; specificity of perception.

В современном мире одним из актуальных вопросов, которые волнуют общество, стала возможность замены сотрудников, занимающихся журналистской деятельностью, на нейронные сети.

На сегодняшний день главным объектом общественного интереса стал чат-бот с искусственным интеллектом ChatGPT, разработанный компанией OpenAI. Он способен создавать программный код, писать тексты, создавать приложения для мобильных телефонов и выполнять другие задачи. С помощью ChatGPT уже написаны школьные сочинения, дипломные работы и научные статьи. Так, например, на данный момент проходит рецензирование статья сотрудницы Гетеборгского университета Альмиры Османович-Тунстрем, которая поставила перед ChatGPT задачу написать академическую статью о самом себе, а также спросила у чат-бота разрешения на публикацию материала. В заключении GPT-3 сделал вывод, что написание академической статьи чат-ботом возможно, но нужно учитывать, что он не может уловить все нюансы человеческой речи и генерировать уникальные идеи и точки зрения [2, с. 6].

ChatGPT создавали на суперкомпьютере Azure AI на основе языковой модели GPT-3,5 — Generative Pre-trained Transformer. Особенностью нейросети является способность запоминать и анализировать информацию, генерируя на ее основе связный и логичный текст. Чат-бот обучали на базе текстов, которые опубликованы в интернете, с помощью системы Reinforcement Learning from Human Feedback — обучение с подкреплением, основанным на обратной связи от человека. В процессе обучения нейросети дается пример, который состоит из значения входных данных и желаемого выхода. Когда нейросеть становится способна работать с дополнительными тестовыми примерами, ее можно использовать в новых случаях [1, с. 2].

Цель нашего исследования заключалась в том, чтобы определить, могут ли читатели отличить текст, сгенерированный нейросетью, от материала, написанного журналистом для деловой газеты, и заметить фактические, логические, речевые и другие ошибки, допущенные нейросетью. Кроме того, было важным выявить наиболее распространенные ошибки в «искусственном» тексте, которые «выдают» творчество нейросетей. Результаты, полученные в рамках исследования, позволяют предположить, способны ли нейронные сети заменить профессиональных авторов на современном этапе технологического прогресса.

Наше исследование проводилось методом опроса 89 респондентов из разных возрастных категорий. Условно мы разделили их на школьников (16–18 лет), студентов (19–23 года), молодых специалистов (24–45 лет), опытных специалистов (46–70 лет), а также детей до 16 лет.

В рамках опроса респондентам предлагалось прочитать 2 новости и 2 статьи на одинаковую тему и определить, кем был написан каждый текст — человеком или нейросетью. Далее требовалось оценить тексты по предложенным параметрам: информативность, достоверность / убедительность, логика, грамотность и удобочитаемость. Опрашиваемым не давалось возможности сравнить предложенные тексты для того, чтобы воссоздать наиболее естественные обстоятельства — так, будто читатель увидел текст в СМИ, социальных сетях или на вебсайте.

Аналогичное исследование проводилось учеными из Германии в 2016 году. Результаты показали, что оценка читателями «искусственных» и написанных человеком текстов различается незначительно, а также позволили предположить, что в скором времени интерес читателей будет склоняться в сторону текстов, созданных нейросетью [3, с. 19].

В ходе обработки результатов выяснилось, что почти половина читателей не видит разницы между текстами человека и нейросети, а также переоценивает возможности машины.

В первой новости под заголовком «В Циндао обсудили гуманитарные обмены между странами Шанхайской организации» творчество нейросети распознали 53 респондента — это 59,6 % опрошенных, 17 из них из возрастной категории 24–45 лет. 36 респондентов, или 40,4 %, предположили, что предложенная новость написана человеком. Большая часть из них — 22 респондента — школьники в возрасте 16–18 лет. Первый текст нейросети получил более 30 % высших оценок по каждому критерию. Большая часть проголосовавших находится в возрастной категории 16–18 лет.

В сгенерированном нейросетью тексте присутствовали грубые фактические и речевые ошибки, а также две пунктуационные ошибки. Последние три абзаца новости не соответствовали действительности. Внимание на это обратили только 9 респондентов, оценив достоверность и убедительность текста на 1 балл.

Вторая новость — «В Циндао обсудили гуманитарные обмены между странами Шанхайской организации сотрудничества» — получила 57,3 % голосов в пользу того, что она была написана человеком. Такого мнения придерживается 51 респондент. Однако 38 читателей, или 42,7 %, сделали вывод, что текст сгенерирован нейросетью. Оценки материала в этом случае были не намного выше: 40–50 % респондентов поставили 5 баллов тексту по всем критериям.

Респондентам было предложено добавить к ответам комментарии. В них они могли указать признаки, по которым распознали авторство текстов. Комментарии во многом зависели от индивидуального отношения опрашиваемых к творчеству нейронных сетей. Логические и фактические ошибки читатели относили к признакам как нейросети, так и журналиста.

Основными причинами, по которым респонденты распознавали «искусственный» текст, стали сухость подачи информации, слишком подробные описания, перегруженность статистикой, фактические и логические ошибки. Открытием стало то, что некоторые респонденты посчитали текст нейросети «слишком логичным».

Признаками работы журналиста респонденты назвали интересный заголовок, большой объем материала, логичность и последовательность повествования, наличие примеров, пояснений, мнений, специальных терминов, выводов, сложные речевые конструкции, фактические и логические ошибки.

Исходя из результатов опроса удалось сделать ряд выводов.

Во-первых, получилось выявить зависимость оценки достоверности / убедительности текста от осведомленности читателя. Респондент, не знакомый с представленной в тексте информацией, не имеет возможности объективно определить ее правдивость. По этой причине большинство опрошенных предпочли поверить в упомянутые в новости от нейросети факты и высоко оценили их.

Во-вторых, была обнаружена зависимость оценки от назначения текста. Читатели не распознают, что текст написан человеком, из-за большого количества статистики, что является спецификой подачи определенного СМИ. Отсутствие эмоций и авторской оценки, которые не свойственны для делового издания, для многих респондентов стало признаком нейросети.

В-третьих, в результатах опроса заметна специфика восприятия текста определенной категорией респондентов. Школьники оценивают текст как художественный, а не как журналистский. Для них темы неактуальные и неинтересные, поэтому они расценивают их как произведение нейросети.

Кроме того, молодое поколение склонно переоценивать возможности нейросетей и доверять «искусственным» текстам больше, чем написанным человеком. Подростки и молодые люди присваивают нейросети качества, которыми на самом деле обладает «живой» автор. Ошибки для них являются недостатком человека, а нейросети считаются грамотными и достоверными, «нейросеть не ошибается». В то же время респонденты из возрастной категории 46–70 лет, увидев в тексте любую ошибку, чаще относят его к творению нейросети.

На сегодняшний день нейросеть по-прежнему допускает грубые ошибки в интерпретации информации. Самыми частыми признаками, которые выдают авторство нейросети, стали фактические ошибки и «сухость» изложения. Несмотря на то что новости, написанные человеком и нейросетью, получили практически равное количество голосов от респондентов, статья журналиста показалась респондентом более «живой», интересной и легкой для восприятия.

На основе случаев, в которых нейросеть использовалась для написания научных статей, дипломных работ, журналистских материалов и так далее, можно сделать вывод, что нейросеть не сильно отличается от поисковика. Она подбирает подходящую информацию по теме, из которой человек может собрать текст.

Соответственно, некоторые факты, которые нейросеть автоматически прикрепляет к определенной тематике, могут по логике не относиться к требуемому тексту. В нашем случае, например, корейская фамилия Ким в первом тексте про Китай, набор случайных фактов про автосервисы в третьем тексте про «Авито». Также не стоит забывать, что корректность ответа от нейросети зависит от корректности промпта.

Исходя из вышеизложенного, следует подчеркнуть: нейросеть не справляется с узкоспециализированными текстами или локальными новостями, о которых трудно собрать информацию из открытых источников. Самостоятельное написание подобного материала нейросетью без участия журналиста невозможно, так как мнения экспертов в материале эксклюзивны.

Целевая аудитория деловых изданий — это респонденты из возрастной категории 24-45 лет, также присутствуют читатели в возрасте 46–70 лет. Представители этих возрастных категорий обладают достаточным уровнем знаний и опыта, чтобы выявить ошибки, которые допускает нейросеть. Также очевидно, что ключевая цель средств массовой информации — предоставлять достоверную информацию населению, поэтому у них нет права на ошибку.

Таким образом, нейросеть может быть полезным инструментом в руках журналиста, но не являться самостоятельным автором уникального текстового контента для публикации в средствах массовой информации.

Библиографический список

1. Ксенофонтов, В. В. Нейронные сети / В. В. Ксенофонтов // Проблемы науки. — 2020. — № 11 (59). — URL: https://cyberleninka.ru/article/n/neyronnye-seti-1 (дата обращения: 20.04.2023).

2. GPT-3, Osmanovic-Thunström, A., Steingrimsson, S. Can GPT-3 write an academic paper on itself, with minimal human input? // HAL open science, 2022. — URL: https://hal.science/hal-03701250v1 (дата обращения: 17.04.2023).

3. Graefe, A. Perception of Automated Computer-Generated News: Credibility, Expertise, and Readability / A. Graefe, M. Haim, H-B. Brosius, B. Haarmann // Journalism. — 2016. — 19 (5). — URL: https://www.researchgate.net/publication/289529002_Perception_of_Automated_Computer-Generated_News_Credibility_Expertise_and_Readability (дата обращения: 15.04.2023).