Цензура Яндекса против сайтов «На распутье.ру» и «КиноЦензор» или ошибка искусственного интеллекта?

Статья автора проекта «На распутье.ру» Андрея Афанасьева и комментарий к ней редакции проектов «Научи хорошему» и «КиноЦензор». 

Яндекс ввел прямые санкции, хотя, правильнее будет сказать цензуру, против моего сайта «На распутье.ру».

В принципе, случилось то, чего и следовало ожидать. После неоднократно публично озвученных мною претензий к Яндексу, которые касались в первую очередь его политики заработка на порнографии, он сделал мой сайт невидимым для своей поисковой системы. Причем по времени это примерно «совпало» с моим выступлением в Общественной палате, на котором я озвучивал как раз эти вопросы. https://vk.com/video59936866_456240264

Бывают же в жизни такие «совпадения»…

Все популярные статьи по актуальным темам, связанным с детской и подростковой безопасностью, которые я на протяжении многих лет писал и собирал у себя на сайте, больше не доступны через поиск Яндекса. На сайте они есть, но через поиск Яндекса вы их больше не найдете, только если будете искать эти статьи через тот поиск, который расположен внутри моего сайта.

Единственный поисковый запрос, по которому сейчас выдается сайт – «на распутье.ру» и всё!

До этого Яндекс выдавал 49.200 переходов в год по различным поисковым запросам, как правило, не связанным с именем сайта. Они относились к тем темам, на которые были собраны статьи сайта. Чаще всего это были запросы родителей, обеспокоенными вовлечением детей в опасные субкультуры, чаще всего с темой аниме (около 120.000 просмотров за год).

На сайте на эти темы было и есть много материалов, ведь он изначально и был задуман как некая библиотека для родителей по теме информационной безопасности детства.

Так родители и находили сайт, но теперь этого больше не будет! Теперь, даже если я ввожу в поиске Яндекса любую свою статью, которую писал лично, и которая является по правилам самого же Яндекса оригинальным контентом, то я её нахожу в лучшем случае на других сайтах, которые у меня ее копировали, а ссылку на мой сайт он не выдает вообще! То есть Яндекс грубо нарушает свои же правила.

Что по этому поводу говорит служба поддержки Яндекса? Это отдельная история. На сервисе «Яндекс вебмастер» я сделал запрос по поводу причин санкций, на что он мне выдал отчет с 1 «фатальной» проблемой на сайте, из-за которой и были введены санкции.

Звучит она так: «Малополезный контент, обилие рекламы или спам». Вот только никакой рекламы у меня на сайте никогда не было, нет её и сейчас. Остается «малополезный контент»? То есть, по мнению Яндекса 273.000 посетителей в год приходили на сайт за «малополезным» контентом? И так на протяжении 7 лет? Странно, не правда ли?

Ну и тут на сцену выходит главный вопрос: а судьи-то кто? А судьей, как вы уже, наверное, догадались, для сайта был назначен некий ИИ Яндекса, который всё и порешал. Это ведь так удобно! Сделать гадость, и свалить ее на робота! Здорово, правда! И не нужно никому ничего доказывать! Мне в службе поддержки так и написали:

– Указать на какие-то конкретные моменты, которые не понравились алгоритмам, мы не сможем — алгоритм оценивает содержимое сайта в совокупности. Могу порекомендовать вам лишь одно верное решение — устранить причины, описанные в нашей статье «Признаки некачественного сайта». Когда у алгоритмов не останется нареканий, ограничения снимутся автоматически.

Ну а дальше начался форменный цирк с конями:

– У вас в компании работают люди или алгоритмы? С кем из людей я могу поговорить по этому вопросу?

– Постараюсь объяснить поподробнее. На текущий момент ранжирование вашего сайта в поиске ограничено алгоритмами. Мы проверили, корректно ли они сработали, и не обнаружили никаких сбоев. Это значит, что ограничения установлены верно и снять их не получится. Если ограничение вызвано лишь несколькими критериями, мы можем сообщить их владельцу сайта. В вашем случае повлияла совокупность многих критериев, поэтому не можем указать вам на что-то конкретное.

– Стало еще менее понятно. Я владелец сайта, сообщите мне критерии.

– Простите, не могу вам указать на конкретные места, вызывающие нарекания, так как сайт оценивается по совокупности факторов. Сейчас ваш сайт не соответствует нашим критериям качества. Чтобы снять ограничение, вам нужно оценить свой сайт со стороны пользователя и провести анализ конкурентов. Это поможет выявить нарушения, исправить их и улучшить позиции в поиске.

– Зачем вы тогда врёте о том, что можете сообщить критерии владельцу сайта! Я владелец сайта, сообщите мне, за что конкретно введены столь серьезные ограничения! И когда они были введены. Я не могу исправить то, не знаю что! Я убежден, что такие ограничения и формулировки связаны с моими выступлениями с критикой политики Яндекса, который отказывается соблюдать законы, направленные на защиту детей в цифровой среде.

– К сожалению, мы не можем сказать, как алгоритмы «видят» ваш сайт. Они принимают решение на основе множества факторов и узнать какой повлиял в вашем случае, увы, нельзя.

И вот тут звучит конечная заставка из Ералаша, и появляться надпись: «ВСЁ!!!»

Потому что становится очевидно, что эти санкции введены навсегда, и никакой возможности их исправить у меня не будет, ибо невозможно исправить то, не понятно что! При этом все те, кто когда-либо имел счастье общение с Яндексом, прекрасно понимают, что описанный выше диалог, это очень плотная выжимка текста из моих бесконечных танцев с бубном в чате Яндекса в попытке позвать оператора, и постоянные отключения оператора после короткой паузы, после которой новому оператору надо было объяснять все заново.

Это и есть новая цифровая власть, абсолютная, и отдельная от государства. Яндексу плевать на законы и репутацию. Ранжирование поисковой выдачи никакими законами не регулируется, а свою репутацию он обеспечит своими же алгоритмами, и вы никогда не прочтёте о нём ничего плохого.

Хотите, я это докажу прямо сейчас. Данную статью я размещу у себя на сайте под названием «Цензура Яндекса против сайта на распутье.ру» Попробуйте вбить это название в его поиск, выдаст? Если нет, то как же так, ведь это же и есть тот самый оригинальный контент, за который так радеет Яндекс, и статья свежая, и сайт популярный. Тогда, может быть дело в том, что сам сайт неправильный? Говорит о том, о чём не надо, по мнению компании? Ну, тогда грош цена такому поисковику.

У меня на сайте никогда не было и нет рекламы, так что финансово на мне это не сказалось никак, зато морально, очень даже сказалось. Просто обидно! Не за себя, а за тех родителей и учителей, которые больше не найдут сайт по поисковым запросам Яндекса.

Я уже сталкивался с такой же ситуацией 4 года назад. Похожие санкции против меня тогда ввел ВК, аккурат 1 июня, в день защиты детей. Тут писал про это: https://narasputye.ru/archives/7054

Но пример с цензурой Яндекса более показательный, потому что теперь в дело вступает подставной ИИ, козел отпущения, на которого Яндекс свалит любые свои решения, и с которым вы не сможете спорить. Вас просто поставят перед фактом, вам скажут, что робот в коробочке по вам всё решил, и на этом всё. А теперь представьте, что этот робот в коробочке будет решать не только ранжирование сайтов в поисковой системе, а например, ваш социальный рейтинг. Результат будет такой же…

Источник: На распутье.ру

Комментарий редакции «Научи хорошему»

Недавно столкнулись с точно такой же ситуацией с сайтом КиноЦензор: https://kinocensor.ru/

Почти три месяца техподдержка Яндекса рассматривала наше обращение. В конце концов ошибку сняли, но за это время показатели сайта сильно упали и после снятия ошибки не восстановились. По факту Гугл сейчас лучше показывает страницы КиноЦензора, чем Яндекс.

Переписка с Техподдержкой Яндекса:

5 января 2024 года

Поддержка: Здравствуйте, Дмитрий! Чем могу помочь?

Редактор: Добрый вечер. Я являюсь редактором сайта КиноЦензор. С конца августа (точно не могу сказать дату) Вебмастер начал отображать фатальную ошибку: «Нарушения и угрозы безопасности на сайте https://kinocensor.ru, отдельных его разделах или страницах»

Ссылка на странице ошибки ведёт на эту статью: https://webmaster.yandex.ru/blog/yandeks-obnovil-algoritmy-poiska-chtoby-luchshe-opredelyat-neoriginalnyy-kontent

Видимо Яндекс расценил контент как неоригинальный, что неверно, так как сайт посвящён оценке фильмов (на нём уникальная система оценки воспитательного посыла реализована), а потому каждая страница фильма хоть и типовая (картинка, официальное описание), но ценна именно результатами оценки, которые ставят пользователи. И рецензии пользователей публикуются оригинальные.

Прошу разобраться в ситуации и уточнить проблему.

Поддержка: Пожалуйста, подождите, смотрю, в чём дело.

Поддержка: Спасибо за ожидание.

Наши алгоритмы проверили ваш сайт — сейчас он не соответствует нашим критериям качества.

У сайтов с оригинальным и интересным для пользователей контентом выше шанс попасть на первые страницы выдачи. А ресурсы, которые пытаются обойти поисковые алгоритмы или ввести пользователей в заблуждение, — попадают под ограничения.
Оцените свой сайт со стороны пользователя и проведите анализ конкурентов. Это поможет выявить нарушения, исправить их и улучшить позиции в поиске. Рекомендации по созданию и развитию сайта мы описали в советах вебмастеру.

Ссылка, которую вы видите в Вебмастере, — это пример страницы с нарушением. Вам нужно проверить все страницы сайта и устранить нарушения, если они есть.

Алгоритмы отследят изменения, и, если всё в порядке, ограничение будет снято автоматически. Оповещение в Вебмастере пропадёт.

Редактор: По вашей ссылке перечислено много разных критериев качества. Можете ли вы указать точнее зону нарушения, какой конкретно критерий нарушен? И если не можете, то по какой причине?

Поддержка: Ограничение «Малополезный контент, некорректная реклама, спам» накладывается на сайт, если он не отвечает нашим основным принципам качества, например: — на сайте отсутствует оригинальный ценный контент и не предоставляются какие-либо полезные услуги; — страницы сайта содержат чрезмерное количество рекламы, которая существенно затрудняет просмотр сайта; — на сайте используется поисковый спам: переоптимизация, SEO-ссылки.

Также с недавнего времени алгоритмы начали лучше определять неоригинальный контент. Возможно, это стало причиной ограничения в вашем случае. Более подробно об этом мы написали в нашей Справке.

Редактор: Спасибо за ответ. Единственная возможная причина из перечисленных – это «нет оригинального контента». Я прочитал статью про неоригинальный контент по ссылке и в ней есть фраза:
«Если владелец сайта считает, что алгоритмы ошибочно определили контент как неоригинальный, он может обратиться в службу поддержки».

Именно из-за неё я и обратился в службу поддержки, так как алгоритмы явно ошибочно определили неоригинальность большинства страница сайта и его якобы неполезность.

Дублирую ещё раз главную мысль:

Видимо Яндекс расценил типовые страницы с описанием фильмов как неоригинальный контент, что неверно, так как сайт посвящён оценке фильмов и на нём реализована уникальная система оценки воспитательного посыла фильмов. Такой системы оценки нет ни на одном другом сайте. А потому каждая страница фильма хоть и типовая и возможно в чём-то неоригинальная (постер, официальное описание фильма естественно такие же как и на других подобных сайтах и т.д.), но ценна именно системой оценки и результатами оценки воспитательного посыла, которые ставят пользователи. И рецензии пользователей публикуются оригинальные, хотя они есть не на каждой странице фильма пока.

Перейдите на сайт и посмотрите любую страницу фильма, чтобы увидеть систему оценки и результаты голосования, например эту: https://kinocensor.ru/movie/barbi-22478

То есть, некорректно эти страницы фильмов с уникальной системой оценки занижать за неполезность, так как они очень даже полезны пользователям. Поэтому и обращаюсь в поддержку, чтобы вы проверили верность принятого решения о нарушении.

Поддержка: Проверить сайт вручную мы не можем — это делают алгоритмы. Также не получится и подсказать вам конкретные элементы, которые не понравились алгоритмам, так как сайт оценивается комплексно.

Рекомендуем самостоятельно проверить содержимое сайта с точки зрения полезности и удобства для пользователя. Оцените оформление и интерфейс, появление рекламы, качество контента, читаемость и полезность текстов.

Редактор: Если у вас нет механизмов ручной перепроверки или передачи кейса на более высокий уровень техподдержки, то фраза в статье Яндекса не имеет смысла: «Если владелец сайта считает, что алгоритмы ошибочно определили контент как неоригинальный, он может обратиться в службу поддержки». А она здесь присутствует: https://webmaster.yandex.ru/blog/yandeks-obnovil-algoritmy-poiska-chtoby-luchshe-opredelyat-neoriginalnyy-kontent

Какой смысл админам сайта обращаться в техподдержку, если в ответ они услышат «всё делают алгоритмы, мы ничего перепроверить не можем»?

Алгоритмы отрабатывают стандартные ситуации, а для нестандартных и нужна обратная связь. В данном случае я и указываю, что ситуация нестандартная.

Возможно, что причина в чём-то другом- вы пишите про «оформление, интерфейс, читаемость» и так далее. Ну так это абсолютно разные сферы проблем, тогда надо конкретизировать проблему?

*Если так абстрактно без называния конкретики банить сайты, то может сложиться впечатление, что Яндекс просто убирает конкурентов своих аналогичных сервисов, пользуясь тем, что он становится монополистом среди поисковых систем России. Хочется верить, что это не так.

Поддержка: Подключаю коллег из отдела аналитики. Проверим работу алгоритмов: нормально ли они функционируют, не было ли сбоев. Вам будет удобно получить ответ на почту kinocensor@ya.ru?

Редактор: Да, спасибо.

Поддержка: Да, я передал ваш вопрос коллегам. Теперь нужно подождать — им потребуется время, чтобы разобраться в ситуации. Они свяжутся с вами, когда появятся новости. Номер обращения — 24010515322739263.

Спустя три месяца

Ситуацию с КиноЦензором ранее не публиковали, так как восприняли произошедшее как ошибку алгоритмов или случайность, которую к тому же удалось частично исправить. Но после того, как дружественный ресурс «На распутье.ру» опубликовал аналогичную историю, то решили поделиться и своим опытом, так как нельзя исключать и вариант целенаправленного подавления неугодных ресурсов.

Если речь всё же идёт о случайный ошибках, которые как показывает практика становятся системными, то за такие ошибки надо серьёзно бить по репутации (чтобы в будущем снизить вероятность их повторения), поэтому информацию в любом случае полезно распространить. Вполне возможно, что и другие проекты столкнулись с аналогичной ситуацией.

P.S. На сайте «Научи хорошему» есть отдельный раздел, в который собираем все примеры блокировок материалов или сообществ проекта разными платформами и под разными предлогами. За 10 лет деятельности ресурса накопился богатый опыт: https://whatisgood.ru/tag/best/

Дополнительные видео по теме цензуры медиакорпораций

Цензура в отношении сообщества ВКонтакте «Научи хорошему 2.0». Краткая справка

Опыт проекта Научи хорошему в противодействии цензуре в Интернете

Комментарий редакции

Основные тезисы статьи:

1. Яндекс ввел прямые санкции против сайта "На распутье.ру", сделав его невидимым для своей поисковой системы.

2. Причина ограничений – "малополезный контент, обилие рекламы или спам", что, по мнению владельца сайта, является необоснованным, так как на сайте нет рекламы, а контент был высокополезным для родителей.

3. Яндекс ссылается на решение своих алгоритмов, которые оценили сайт в совокупности, но отказываются называть конкретные проблемные моменты.

4. Аналогичная ситуация произошла и с сайтом "КиноЦензор", где ограничения также были сняты, но позиции сайта в выдаче Яндекса не восстановились.

5. Авторы статьи предполагают, что причиной блокировок могло быть не качество содержания, а желание Яндекса убрать "неудобные сайты" из своей выдачи, используя возможности своих алгоритмов.

Вывод:

Статья демонстрирует проблему непрозрачности и потенциальной необъективности алгоритмов Яндекса при ранжировании и блокировке сайтов. Это вызывает подозрения в возможных злоупотреблениях со стороны компании, которая становится цензором в отсутствие четких и понятных критериев.

Но здесь видна куда более острая проблема. Действительная проблема, выходящая за рамки манипуляции поисковой выдачей, заключается в том, что на откуп чёрному ящику алгоритмов отдаются судьбы сайтов, а в дальнейшем и судьбы людей. Сегодня черный ящик ИИ ранжирует сайты, завтра он может принимать решение о выдаче кредитов, а в будущем – даже об аресте тех или иных людей, если их фоторобот будет хотя бы частично совпадать с фото преступника по мнению ИИ. Люди сами передают рулетке ИИ всё больше власти над собой, при этом даже в спорных случаях не могут на него повлиять. В этом заключается основная системная проблема развития искусственного интеллекта – делегирование ключевых жизненных решений непрозрачным алгоритмам, чьи действия недоступны проверке и обжалованию со стороны человека. Это ставит под угрозу личные права и свободы людей, которые могут оказаться во власти произвольных решений черного ящика.