Источник
Многие люди, так или иначе зарабатывающие деньги через интернет, хоть раз встречались с загадочным словом «дорвей». Те, кто полюбопытнее, наверное, даже интересовались вопросом, что-то читали по теме, а единицы сетевых авантюристов, всегда готовых втянуться во что-то новенькое, пробовали и сами заработать на этом специфическом виде контента.
В этой статье рассказываем о том, что из себя представляют дорвеи и как на них зарабатывали и пробуют зарабатывать до сих пор веб-мастера и арбитражники.
С английского слово «дорвей» переводится как «входная дверь» (буквально от doorway). Так 20 лет назад стали называть отдельные веб-страницы или многостраничные сайты, которые за счет рандомного уникального контента перенаправляли пользователей на другую страницу (или страницы). То есть это своего рода сайты-двери, предназначенные исключительно для подсвечивания ссылок на другие сайты или партнерки.
Особенность дорвеев заключается в том, что их содержимое, как правило, не несет для пользователей никакой полезной информации. Так, во всяком случае, было на заре этого явления. Многостраничники могут состоять из нескольких тысяч переоптимизированных страниц, главная функция которых состоит в перенаправлении трафика на нужную страницу.
Краткая история дорвеев
Первые дорвеи начали появляться в начале нулевых годов в качестве одного из дешевых способов оптимизации сайтов, которые создавались веб-мастерами в попытке выскочить в поисковый топ выдачи. Практически сразу же такой способ продвижения был причислен к методам «черного SEO», поскольку основной принцип при создании дорвеев заключается в искусственной подгонке параметров веб-страниц (текстов, верстки, ссылок) под оптимальные значения, которые способствуют попаданию в топ.
Процесс «оптимизации» при этом достаточно примитивен: популярные среднечастотные и низкочастотные запросы в больших количествах прописываются в title, description, alt, заголовки и контент страницы. Все это ради продвижения одной ссылки.
На ранних этапах развития поисковые алгоритмы не учитывали ссылочную популярность сайтов, индекс цитирования и ранжирование, обращая внимание только на количество аудитории и наличие ключевых слов в контенте. Ключевые слова подбирались таким образом, чтобы они соответствовали продвигаемым товарам. К примеру, на лендинг для похудения вел бессмысленный и беспощадный спам из запросов по типу «как быстро похудеть», «эффективная диета для похудения», «ягоды годжи купить» и так далее. Неудивительно, что в начале нулевых годов продвижение сайтов за счет текстовых дорвеев бурно процветало.
Пример типичного текстового дорвея:
Простое продвижение сайтов при помощи дорвеев быстро ушло в историю, поскольку Яндекс и Google начали довольно активную борьбу с ними. Однако само по себе явление никуда не исчезло, и новый дорвейный расцвет был связан с появлением в 2001-2003 годах контекстной рекламы, а также первых популярных партнерских программ и PPC-поисковиков.
PPC-поисковики вообще оказались своего рода сетевым клондайком и для дорвейщиков, и для тех, кто занимался рекламным продвижением по модели PPC (Pay per Click, то есть оплаты за клик). PPC-поисковик — это поисковая система, в которой каждый клик пользователя по ссылке оплачен рекламодателем, владельцем этой ссылки, а сама ссылка ведет на какую-либо партнерку. Таким образом, у дорвейщиков появился отличный способ для заработка на продвижении коммерческих PPC-запросов через свои ресурсы за счет подсвечивания ссылок на «больших» поисковиках. Пользователь, видя дорвейную PPC-ссылку, к примеру, на Яндексе, кликает по ней и перенаправляется на PPC-поисковик по тому же запросу. Происходит маленькая техническая подмена: кликая по запросу в одной системе пользователь получает результат в другой Но какая ему, собственно, разница?
В Рунете одним из первых российских PPC-поисковиков стал «Бегун», а на Западе — Overture, запустивший свою поисковую систему на основе ставочной схемы PPC еще в конце 90-х годов, предвосхитив тем самым гугловский AdWords (он начал работу только в середине 2000 года). Был у Overture и собственный довольно популярный у дорвейщиков в то время сервис определения популярных запросов — Overture Keyword Selector Tool.
Поисковик, начавший использовать модель PPC еще до Google:
Прямая связь с дорвейщиками уже тогда могла сказаться негативно на имидже поисковиков, поэтому ни Overture, ни «Бегун» официально не партнерились с «мусорными» ресурсами. Вместо этого использовалась другая схема: путь от рекламного сайта до дорвея разбивался на несколько этапов. В случае с Overture схема была примерно такая: поисковик покупал трафик у рекламного PPC-поисковика nixxie.com, который, в свою очередь, закупал трафик у легендарной среди первых российских арбитражников партнерки UmaxSearch. При этом сама UmaxSearch очень быстро стала кормилицей для огромной армии дорвейщиков. Согласно некоторым данным, которые сейчас уже никак не проверить, именно UmaxSearch обеспечивала до половины продаж всей Overture.
Фид «Бегуна» в Рунете продавался дорвейщикам через рекламные системы вроде Click-Click, «Рупоиск» и «Блокнотик».
Такого рода выстроенные схемы работы до поры до времени позволяли дорвейщикам цвести и пахнуть. Проблема была настолько значимой, что в 2007 году на нее обратила внимание в специальном исследовании компания Microsoft. Документ в упрощенном для читателей виде опубликовало всемирно известное американское издание The New York Times.
Любопытно, что эксперты из Microsoft отмечали: многочисленные ссылки, которые продвигают «мусорные» страницы (doorway pages), создаются и распространяются в интернете «небольшой группой людей, обладающих связями с крупными рекламодателями и веб-хостерами». Специалисты корпорации исследовали и описали сложный механизм, позволяющий этой группе людей использовать пятиуровневый двусторонний канал обмена данными. Примерная схема этого механизма описана ниже:
По мнению Microsoft, большая часть дорвеев была создана всего лишь двумя компаниями-веб-хостерами. При этом более 68% бессмысленного спам-контента размещено всего лишь тремя рекламодателями. В исследовании приводится интересная статистика: для некоторых поисковых запросов, например, таких как «ring tone» и «drugs», в более чем 30% случаев выводится мусорный спам. При расчетах средней плотности спама выяснилось, что 11% рекламных страниц относятся к дорвеям.
Эпидемия дорвеев с автоматическим редиректом закончилась, пожалуй, только к 2009-2010 годах, когда Google и Яндекс внедрили систему ранжирования поведения людей на сайте. Тот же Google активно боролся с автоматическим редиректом и раньше: алгоритмы постепенно учились определять клоакинг, распознавать наиболее популярные виды страничных, серверных редиректов, а также определять простенькие JavaScript со спрятанными в них URLами. Один из введенных в то время алгоритмов Google Phrase Rank учитывал не только те или иные популярные слова на сайтах, но и частотность встречающихся фраз и синонимов.
Ужесточение поисковых алгоритмов, конечно же, саму идею создания подобного рода «мусорного» контента не убило — как это ни странно, но дорвеи живут до сих пор. Другое дело, что в условиях, когда 99% классических дорвеев банятся автоматически в первые же дни после создания, умелые спамеры и арбитражники просто-напросто усовершенствовали программные средства для автоматизации всех этапов дорвейной работы.
Виды дорвеев: на вкус и цвет все фломастеры разные
Разумеется, за время истории дорвейного развития «мусорные» сайты менялись вслед за улучшением вычисляющих их поисковых алгоритмов.
Сегодня выделяют несколько типов дорвеев по контентному наполнению:
1. Текстовые.
Страницы, наполняемые, как правило, рандомным бредотекстом с большой концентрацией внедренных ключевиков и ссылок. Контент формируется за счет сбора разных текстовых кусков из открытых источников. Весь этот контентный салат перемешивается и при помощи сервисов-синонимайзеров уникализируется.
Классика текстового дорвея сегодня выглядит вот так:
Для SEO-продвижения текстовых дорвеев в начале нулевых веб-мастеры брали списки тематических запросов, разрезали их на «порции», состоящие из 30-50 формулировок, размещая каждую такую порцию на отдельной странице. Этот способ быстро себя изжил, поскольку изготовленные таким способом дорвеи стали в поисковиках конкурировать друг с другом.
На следующим этапе веб-мастеры при изготовлении дорвея создавали страницы для каждого отдельного запроса. При этом запрос прописывался как в самом тексте, так и в title страницы, в заголовке, тегах выделения, то есть во всем, что поисковая система учитывала при ранжировании сайтов. На выходе, однако, получались совершенно нечитаемые страницы, которые поисковики быстро научились вычислять, пессимизируя буквально в первые часы после создания.
Осознание этой проблемы привело к обширной и бурной дискуссии среди дорвейщиков, которые впервые задумались над вопросом: «А какими, собственно, признаками должен обладать сайт, чтобы поисковая машина сочла дорвей полезным, признав его фактически СДЛ (сайтом, сделанным для людей)?» Понятное дело, что интересовала их, в первую очередь, возможность автоматизации производства СДЛ-сайтов с выводом в топ-выдачу по своим запросам.
В результате было сформулировано несколько основных критериев для СДЛ:
*UGC — англоязычная аббревиатура UGC от словосочетания User Generated Content обозначает контент, создаваемый пользователями.
UGC-проекты (такого рода сайты еще называют «белыми дорвеями») очень сложно отличить от СДЛ, поскольку они мимикрируют под обычные ресурсы:
2. Нетекстовые дорвеи.
Помимо сугубо текстовых дорвеев, одно время чрезвычайно популярны были сайты, использующие другой контент — изображения, аудиозаписи, видеоролики, архивы, документы. На таких ресурсах ключи обычно прописываются в alt-метке, а ссылки перенаправлений зашиваются в изображения.
Раньше были также довольно популярны дорвеи, маскирующиеся под живые форумы. Страницы на таких «форумах» обычно были заточены под низкочастотные ключи, при этом ссылки перенаправляли пользователей на WAP-подписки или download-партнерки.
Если сильно заморочиться, подобного рода нетекстовые дорвеи вполне еще можно найти через поиск:
3. Download-дорвеи.
Это сайты, которые предлагают скачивать новые песни или программы бесплатно, однако для их загрузки требуется посмотреть рекламу, которая и приносит прибыль владельцу сайта.
Десять лет назад download-дорвеи были достаточно популярны у веб-мастеров, и до сих пор в выдаче можно встретить немало музыкальных сайтов с контентом, близким по исполнению к дорвейному. Часть таких ресурсов монетизируется через редиректы на партнерки гемблинг-проектов, где-то на сайтах располагается реклама Adsense, но и чисто download-офферы тоже встречаются.
4. Youtube-дорвеи.
Через популярный видеохостинг ушлые дорвейщики тоже умудряются вытаскивать неплохой трафик.
YouTube-дорвеи представляют собой ролики, создаваемые из готового контента и оптимизируемые под поисковые системы. Монетизация такого дорвея идет за счет размещаемых под видео ссылок на партнерские программы.
Пример хорошо оптимизированного YouTube-дорвея, живущего на видеохостинге не один год:
5. Дорвеи в социальных сетях и мессенджерах.
Это отдельный вид текстовых дорвеев, которые создаются на базе каналов, пабликов и групп в различных соцсетях и мессенджерах. Благодаря трастовости, то есть авторитетности на основной площадке дорвей той или иной тематической ниши, сделанный, например, в рамках VK-паблика, может давать хороший трафик. Монетизация идет, опять же, через партнерки, чьи офферы можно специально подбирать под нужные вертикали.
Помимо контентной классификации дорвеев, есть и другие способы разделения по видам. Например, выделяют редиректные и бездиректные. В первом случае пользователь, кликая в поиске на ссылку определенного сайта, в процессе перехода сразу же перенаправляется на целевой дорвейный ресурс. Редиректные дорвеи были популярны лет 15 назад, сейчас их встретить в поисковиках практически невозможно, поскольку алгоритмы Яндекса и Google научились эффективно бороться с такими сайтами.
Также различают дорвеи по методам их функциональной работы:
— «Белые» дорвеи.
Это ресурсы, которые по контентному наполнению максимально похожи на обычные веб-страницы — те самые СДЛ (сайты, сделанные для людей). Внутри «белых» дорвеев органично и максимально ненавязчиво встраиваются ссылки на лендинги рекламодателей.
Тематически «белые» дорвеи могут быть самыми разными — встречаются, например, чисто информационные ресурсы, развлекательные, сайты блогового формата. Как правило, даже явно оптимизированные дорвеи подобного типа не нарушают правил поисковиков, поэтому нередко они живут долго и попадают по некоторым запросам в топ выдачи.
— «Серые» дорвеи.
Такие сайты создаются обычно для увеличения ссылочной массы для других ресурсов. Контент на них зачастую тоже достаточно уникален и полезен людям, однако, в отличие от СДЛ, не имеет четкой тематики и структуры. Такие дорвеи редко могут похвастаться хорошей оптимизацией, поэтому в топе поисковой выдачи их вряд ли можно встретить. Тем не менее с помощью «серых» дорвеев неплохо поднимается трафик.
— «Черные» дорвеи.
Это страницы с тем самым мгновенным редиректом. В силу своей специфики сегодня они легко обнаруживаются поисковиками и быстро пессимизируются.
Различают также дорвеи по методу их создания, и тут уже используется специфическая профессиональная терминология. Так, выделяют:
— Дорвеи на профилях.
Для создания такой страницы подбираются авторитетные, трастовые сайты, позволяющие регистрировать внутри себя профили. После создания аккаунта в личную информацию вставляется ссылка на дорвей под размещаемый тут же низкочастотный запрос.
— Дорвеи на дропах.
Под такими дорвеями понимаются ресурсы, которые наполняются ссылочным контентом на трастовых сайтах с недавно освободившегося домена. Если предыдущий сайт был действительно трастовым, то ссылка в глазах поисковиков выглядит вполне добротно. Чем более трастовый и тематичный дроп, тем проще продвигать уже дорвей. Однако найти такой дроп было всегда проблематично.
— Дорвеи на пирогах.
Для создания такого дорвея покупаются доступы к сайтам или FTP-аккаунтам, внутрь заливается дорвейный-контент, который и продвигается вместе с основным сайтом. Это один из самых черных и незаконных методов продвижения ссылочной массы, который сейчас уже никто не использует, поскольку заработать на пирогах невозможно.
— PDF-дорвеи.
Суть, в общем, понятна из названия. Создается ссылочная масса дорвея в PDF-формате, которая затем в нескольких десятках или сотнях вариантов различных низкочастотных запросов продвигается через поисковик. Заработать на этом методе сегодня тоже практически нереально, поскольку поисковики активно чистят в выдаче все PDF-дорвеи.
Вот так кустарно и незатейливо выглядит PDF-дорвей:
Доргены для создания контента и использование AI
На заре актуальности дорвеев многие веб-мастеры делали сайты со спамным ссылочным контентом вручную. Однако по мере популяризации темы, когда возникла необходимость в создании целых дорвейных сеток, возникли специализированные программы, автоматизировавшие весь процесс.
Программы для автоматического генерирования самых разных дорвеев называются доргенами. По своей сути доргены не так уж примитивны, как может показаться неофитам, поскольку в своей работе используют довольно серьезный математический и лингвистический научный аппарат. К примеру, в функционале хорошего доргена задействованы алгоритмы цепей Маркова, описывающих последовательность случайных событий, линейные фильтры Калмана и преобразования Фурье.
Помимо математических формул и алгоритмов, в любом продуманном доргене среди прочих инструментов обнаруживаются собранные коллекции тематических страниц и ключевиков, синонимайзеры (в том числе ручные), клоакинг, парсинг, функции склейки сниппетов, использования машинного перевода, связывание ссылок между собой (и с другими дорвеями) и так далее.
В ранних версиях доргенов редирект был реализован за счет запуска сценариев (например, с помощью HTML-тега Meta refresh) или же технологий Flash. Однако поисковики довольно быстро научились отслеживать такие автоматизированные методы создания редиректа, поэтому любителям дорвеев пришлось искать более изощренные формы перехвата пользователей для переправки их на целевые страницы.
В зависимости от того, какой дорвейный контент планируется для генерации, выделяют несколько видов доргенов.
— Текстовые.
Среди бесплатных текстовых доргенов можно выделить JakoDorgen PRO, в платниках лидируют SEoDOR, Thunder, PandoraBox.
— Видео-доргены.
Среди бесплатных популярных сервисов, позволяющих массово загружать ролики на тот же Youtube, стоит отметить ZennoPoster. Среди платных обращает на себя внимание набор из трех скриптов — YouTube-Manage, YouTube-Parser, YouTube-Uploader.
— Доргены для размещения в соцсетях.
Среди скриптов, с помощью которых можно не только генерировать контент, но и массово создавать сообщества по заданным параметрам, выделяются VKAccountsManager и InstAccountsManager.
— Аудио-доргены.
Для массовой загрузки аудиороликов на специализированные площадки вполне подходит ZennoPoster. В дополнение можно также использовать различные скрипты DLE.
— Изображения.
Для заполнения дорвея тематическими картинками с поиском подходящих изображений и массовой отправкой на сайт используются FastStone Image Viewer и ZennoPoster.
Программы бывают как серверными, так и десктопными. Некоторые из них умеют генерировать не только статику (html-страницы), но и динамические страницы за счет использования баз данных и кэширования. Доргены с аддонами позволяют не только собирать контент, но и уникализировать внешний вид тематических страниц.
Среди платных дорвеев есть сервисы с одноразовой оплатой и оплатой по подписке. Вторые, как правило, могут похвастаться постоянными обновлениями аддонов и плагинов за счет финансовой поддержки дорвейщиков.
Коротко рассмотрим несколько популярных доргенов для общего понимания программного функционала такого рода скриптов.
— SEoDOR.
Сервис, основная задача которого заключается в автоматическом парсинге текстового контента в соответствии с заданными ключами. Серверный дорген поддерживает режим как в динамике, так и в статике. То есть SEoDOR можно использовать и для создания видео и аудио, и download-дорвеев. Программа парсит видео из YouTube и музыку из VK.
Со стороны дорвейщиков распространены жалобы на то, что сервис зачастую добавляет в контент много лишнего и откровенно мусорного текста.
— JakoDorgen.
Несложный в освоении десктопный дорген, позволяющий даже новичкам делать простенькие сайты-шаблоны. При работе с текстом позволяет составлять уникализированный «винегрет» с добавленными ключевиками. Генерировать текст можно на основе собственных баз данных, — сделать это на основе контента из сети не получится.
— PandoraBox.
Вариант десктопного сервиса, который выдает довольно качественный текстовый результат на выходе. Скрипты доргена поддерживают разные алгоритмы генерации контента из готовых файлов. При этом программа склоняет ключевики и выполняет контекстную перелинковку.
Сервис сам по себе ключи не сортирует. К недостаткам можно отнести и то, что PandoraBox относительно плохо работает с поддоменами: контент для каждого домена приходится создавать вручную либо используя скрипт в панели на хостинге.
— ZennoPoster.
Это не сервис в прямом смысле слова, а программный комплекс, с помощью которого можно автоматизировать практически все действия пользователя в браузере. То есть его функционал позволяет создавать массовые аккаунты на видеохостингах, в социальных сетях, на различных блоговых платформах и так далее.
Преимущество ZennoPoster в специальной надстройке CodeCreator, которая помогает программистам управлять кодом, дополняя сайты новыми функциями.
Редактор руссифицированной версии ZennoPoster:
Ускоренное совершенствование технологий искусственного интеллекта, естественно, заинтересовало дорвейщиков, которые мгновенно смекнули, что с помощью Chat GPT можно быстро генерировать огромные массивы монетизируемого контента. В одном из довольно подробных гайдов активный арбитражник дает вполне рабочую схему создания контента под дорвей с помощью Chat GPT.
Разумеется, автоматизировать процесс массового создания текстов с помощью AI не получится. Хотя бы потому, что полученный результат нужно доводить до ума вручную. Параметр «читабельности» во многом зависит от количества используемых промптов (запросов Chat GPT), с помощью которых собирается та или иная статья. Большой плюс использования технологий искусственного интеллектав том, что сегодня с его помощью уже можно автоматически оформлять разметку, вставлять линки на авторитетные источники, запаковывать данные в таблицы, формулировать заголовки с высоким CTR. От человека же требуется упорядочивание поисковой оптимизации и самой структуры статьи. Проблема проверки фактов и актуальных данных решается установкой плагина, который вытягивает сведения из Google прямо в чат-диалог с ИИ. Но не стоит забывать, что на сегодняшний день тот же Chat GPT использует поисковую информацию, актуальную на 2021 год.
Впрочем, с контентом, создаваемым ИИ, далеко не все так просто, как может показаться на первый взгляд. Что логично, иначе бы интернет захлестнула дорвейная волна неимоверной мощи. Дело в том, что поисковики считают тексты, созданные с помощью ИИ, спамом. Об этом однозначно и недвусмысленно заявлял старший аналитик Google Джон Мюллер.
На сегодняшний день у алгоритмов Google нет достаточных возможностей для обнаружения контента, созданного искусственным интеллектом. Тем не менее при обнаружении подозрительных сайтов к ним могут быть применены ручные санкции. При этом Мюллер подчеркивает, что для Google неважно, как именно используются AI-инструменты при «написании» текстов. Любой такой, даже приглаженный человеком, текст будет считаться спамом.
Очевидно, что дорвейщики будут и дальше пробовать использовать ИИ для своих целей, создавая в конечном счете те же СДЛ, а поисковики, в свою очередь, принципиально с этими явлениями бороться. Сейчас, однако, не очень понятно, как именно поисковые алгоритмы смогут обнаруживать такого рода дорвеи. Возможно, за счет внедрения автоматизированных систем детектора AI. Под детекторами ИИ понимаются достаточно эффективные в функционале сервисы, определяющие процент сгенерированного текста на той или иной странице.
Дорвеи в 2023 году: курилка по-прежнему жив
В начале нулевых годов дорвеи были на пике популярности и приносили владельцам хорошие деньги. В российском сегменте — до $1 000 ежедневно. Эти времена молочных рек и кисельных берегов были возможны потому, что поисковые алгоритмы не были настолько эффективными, чтобы отлавливать автоматически сгенерированный контент. Однако постепенно картина менялась. Что «Яндекс», что Google усовершенствовали способы борьбы с дорвеями, и сегодня найти в выдаче ссылку на что-то монструозно-бессмысленное по содержанию невозможно.
Тем не менее встречаются примеры продуманных, оптимизированных «по-белому» дорвейных СДЛ, которые до сих пор приносят относительно неплохую прибыль веб-мастерам. В качестве примера можно привести портал overcoder.net — Q&A-портал для программистов (сайт формата «вопрос-ответ»). Любопытно, что контент для этого сайта генерируется за счет автоматического перевода постов популярного сервиса Stackoverflow. У оригинального портала Stackoverflow есть своя русскоязычная версия, что не мешает клону привлекать хорошую поисковую органику и зарабатывать десятки тысяч рублей ежемесячно.
Довольно наглядная статистика сайта overcoder.net:
Как бы там ни было, но получить легкий и беспроблемный заработок на дорвеях сегодня не выйдет, даже используя технологии ИИ. При этом для получения хорошего трафика придется сначала и самому финансово потратиться, и потратить время на изучение софта. И это не говоря же о времени на подготовку контента для СДЛ.
Многие люди, так или иначе зарабатывающие деньги через интернет, хоть раз встречались с загадочным словом «дорвей». Те, кто полюбопытнее, наверное, даже интересовались вопросом, что-то читали по теме, а единицы сетевых авантюристов, всегда готовых втянуться во что-то новенькое, пробовали и сами заработать на этом специфическом виде контента.
В этой статье рассказываем о том, что из себя представляют дорвеи и как на них зарабатывали и пробуют зарабатывать до сих пор веб-мастера и арбитражники.
С английского слово «дорвей» переводится как «входная дверь» (буквально от doorway). Так 20 лет назад стали называть отдельные веб-страницы или многостраничные сайты, которые за счет рандомного уникального контента перенаправляли пользователей на другую страницу (или страницы). То есть это своего рода сайты-двери, предназначенные исключительно для подсвечивания ссылок на другие сайты или партнерки.
Особенность дорвеев заключается в том, что их содержимое, как правило, не несет для пользователей никакой полезной информации. Так, во всяком случае, было на заре этого явления. Многостраничники могут состоять из нескольких тысяч переоптимизированных страниц, главная функция которых состоит в перенаправлении трафика на нужную страницу.
Краткая история дорвеев
Первые дорвеи начали появляться в начале нулевых годов в качестве одного из дешевых способов оптимизации сайтов, которые создавались веб-мастерами в попытке выскочить в поисковый топ выдачи. Практически сразу же такой способ продвижения был причислен к методам «черного SEO», поскольку основной принцип при создании дорвеев заключается в искусственной подгонке параметров веб-страниц (текстов, верстки, ссылок) под оптимальные значения, которые способствуют попаданию в топ.
Процесс «оптимизации» при этом достаточно примитивен: популярные среднечастотные и низкочастотные запросы в больших количествах прописываются в title, description, alt, заголовки и контент страницы. Все это ради продвижения одной ссылки.
На ранних этапах развития поисковые алгоритмы не учитывали ссылочную популярность сайтов, индекс цитирования и ранжирование, обращая внимание только на количество аудитории и наличие ключевых слов в контенте. Ключевые слова подбирались таким образом, чтобы они соответствовали продвигаемым товарам. К примеру, на лендинг для похудения вел бессмысленный и беспощадный спам из запросов по типу «как быстро похудеть», «эффективная диета для похудения», «ягоды годжи купить» и так далее. Неудивительно, что в начале нулевых годов продвижение сайтов за счет текстовых дорвеев бурно процветало.
Пример типичного текстового дорвея:
Простое продвижение сайтов при помощи дорвеев быстро ушло в историю, поскольку Яндекс и Google начали довольно активную борьбу с ними. Однако само по себе явление никуда не исчезло, и новый дорвейный расцвет был связан с появлением в 2001-2003 годах контекстной рекламы, а также первых популярных партнерских программ и PPC-поисковиков.
PPC-поисковики вообще оказались своего рода сетевым клондайком и для дорвейщиков, и для тех, кто занимался рекламным продвижением по модели PPC (Pay per Click, то есть оплаты за клик). PPC-поисковик — это поисковая система, в которой каждый клик пользователя по ссылке оплачен рекламодателем, владельцем этой ссылки, а сама ссылка ведет на какую-либо партнерку. Таким образом, у дорвейщиков появился отличный способ для заработка на продвижении коммерческих PPC-запросов через свои ресурсы за счет подсвечивания ссылок на «больших» поисковиках. Пользователь, видя дорвейную PPC-ссылку, к примеру, на Яндексе, кликает по ней и перенаправляется на PPC-поисковик по тому же запросу. Происходит маленькая техническая подмена: кликая по запросу в одной системе пользователь получает результат в другой Но какая ему, собственно, разница?
В Рунете одним из первых российских PPC-поисковиков стал «Бегун», а на Западе — Overture, запустивший свою поисковую систему на основе ставочной схемы PPC еще в конце 90-х годов, предвосхитив тем самым гугловский AdWords (он начал работу только в середине 2000 года). Был у Overture и собственный довольно популярный у дорвейщиков в то время сервис определения популярных запросов — Overture Keyword Selector Tool.
Поисковик, начавший использовать модель PPC еще до Google:
Прямая связь с дорвейщиками уже тогда могла сказаться негативно на имидже поисковиков, поэтому ни Overture, ни «Бегун» официально не партнерились с «мусорными» ресурсами. Вместо этого использовалась другая схема: путь от рекламного сайта до дорвея разбивался на несколько этапов. В случае с Overture схема была примерно такая: поисковик покупал трафик у рекламного PPC-поисковика nixxie.com, который, в свою очередь, закупал трафик у легендарной среди первых российских арбитражников партнерки UmaxSearch. При этом сама UmaxSearch очень быстро стала кормилицей для огромной армии дорвейщиков. Согласно некоторым данным, которые сейчас уже никак не проверить, именно UmaxSearch обеспечивала до половины продаж всей Overture.
Фид «Бегуна» в Рунете продавался дорвейщикам через рекламные системы вроде Click-Click, «Рупоиск» и «Блокнотик».
Такого рода выстроенные схемы работы до поры до времени позволяли дорвейщикам цвести и пахнуть. Проблема была настолько значимой, что в 2007 году на нее обратила внимание в специальном исследовании компания Microsoft. Документ в упрощенном для читателей виде опубликовало всемирно известное американское издание The New York Times.
Любопытно, что эксперты из Microsoft отмечали: многочисленные ссылки, которые продвигают «мусорные» страницы (doorway pages), создаются и распространяются в интернете «небольшой группой людей, обладающих связями с крупными рекламодателями и веб-хостерами». Специалисты корпорации исследовали и описали сложный механизм, позволяющий этой группе людей использовать пятиуровневый двусторонний канал обмена данными. Примерная схема этого механизма описана ниже:
По мнению Microsoft, большая часть дорвеев была создана всего лишь двумя компаниями-веб-хостерами. При этом более 68% бессмысленного спам-контента размещено всего лишь тремя рекламодателями. В исследовании приводится интересная статистика: для некоторых поисковых запросов, например, таких как «ring tone» и «drugs», в более чем 30% случаев выводится мусорный спам. При расчетах средней плотности спама выяснилось, что 11% рекламных страниц относятся к дорвеям.
Эпидемия дорвеев с автоматическим редиректом закончилась, пожалуй, только к 2009-2010 годах, когда Google и Яндекс внедрили систему ранжирования поведения людей на сайте. Тот же Google активно боролся с автоматическим редиректом и раньше: алгоритмы постепенно учились определять клоакинг, распознавать наиболее популярные виды страничных, серверных редиректов, а также определять простенькие JavaScript со спрятанными в них URLами. Один из введенных в то время алгоритмов Google Phrase Rank учитывал не только те или иные популярные слова на сайтах, но и частотность встречающихся фраз и синонимов.
Ужесточение поисковых алгоритмов, конечно же, саму идею создания подобного рода «мусорного» контента не убило — как это ни странно, но дорвеи живут до сих пор. Другое дело, что в условиях, когда 99% классических дорвеев банятся автоматически в первые же дни после создания, умелые спамеры и арбитражники просто-напросто усовершенствовали программные средства для автоматизации всех этапов дорвейной работы.
Виды дорвеев: на вкус и цвет все фломастеры разные
Разумеется, за время истории дорвейного развития «мусорные» сайты менялись вслед за улучшением вычисляющих их поисковых алгоритмов.
Сегодня выделяют несколько типов дорвеев по контентному наполнению:
1. Текстовые.
Страницы, наполняемые, как правило, рандомным бредотекстом с большой концентрацией внедренных ключевиков и ссылок. Контент формируется за счет сбора разных текстовых кусков из открытых источников. Весь этот контентный салат перемешивается и при помощи сервисов-синонимайзеров уникализируется.
Классика текстового дорвея сегодня выглядит вот так:
Для SEO-продвижения текстовых дорвеев в начале нулевых веб-мастеры брали списки тематических запросов, разрезали их на «порции», состоящие из 30-50 формулировок, размещая каждую такую порцию на отдельной странице. Этот способ быстро себя изжил, поскольку изготовленные таким способом дорвеи стали в поисковиках конкурировать друг с другом.
На следующим этапе веб-мастеры при изготовлении дорвея создавали страницы для каждого отдельного запроса. При этом запрос прописывался как в самом тексте, так и в title страницы, в заголовке, тегах выделения, то есть во всем, что поисковая система учитывала при ранжировании сайтов. На выходе, однако, получались совершенно нечитаемые страницы, которые поисковики быстро научились вычислять, пессимизируя буквально в первые часы после создания.
Осознание этой проблемы привело к обширной и бурной дискуссии среди дорвейщиков, которые впервые задумались над вопросом: «А какими, собственно, признаками должен обладать сайт, чтобы поисковая машина сочла дорвей полезным, признав его фактически СДЛ (сайтом, сделанным для людей)?» Понятное дело, что интересовала их, в первую очередь, возможность автоматизации производства СДЛ-сайтов с выводом в топ-выдачу по своим запросам.
В результате было сформулировано несколько основных критериев для СДЛ:
- Отсутствие на дорвее бессмысленных текстов.
- Отсутствие автоматической переадресации пользователя на другую страницу.
- Соответствие содержания дорвея поисковому запросу пользователя.
*UGC — англоязычная аббревиатура UGC от словосочетания User Generated Content обозначает контент, создаваемый пользователями.
UGC-проекты (такого рода сайты еще называют «белыми дорвеями») очень сложно отличить от СДЛ, поскольку они мимикрируют под обычные ресурсы:
2. Нетекстовые дорвеи.
Помимо сугубо текстовых дорвеев, одно время чрезвычайно популярны были сайты, использующие другой контент — изображения, аудиозаписи, видеоролики, архивы, документы. На таких ресурсах ключи обычно прописываются в alt-метке, а ссылки перенаправлений зашиваются в изображения.
Раньше были также довольно популярны дорвеи, маскирующиеся под живые форумы. Страницы на таких «форумах» обычно были заточены под низкочастотные ключи, при этом ссылки перенаправляли пользователей на WAP-подписки или download-партнерки.
Если сильно заморочиться, подобного рода нетекстовые дорвеи вполне еще можно найти через поиск:
3. Download-дорвеи.
Это сайты, которые предлагают скачивать новые песни или программы бесплатно, однако для их загрузки требуется посмотреть рекламу, которая и приносит прибыль владельцу сайта.
Десять лет назад download-дорвеи были достаточно популярны у веб-мастеров, и до сих пор в выдаче можно встретить немало музыкальных сайтов с контентом, близким по исполнению к дорвейному. Часть таких ресурсов монетизируется через редиректы на партнерки гемблинг-проектов, где-то на сайтах располагается реклама Adsense, но и чисто download-офферы тоже встречаются.
4. Youtube-дорвеи.
Через популярный видеохостинг ушлые дорвейщики тоже умудряются вытаскивать неплохой трафик.
YouTube-дорвеи представляют собой ролики, создаваемые из готового контента и оптимизируемые под поисковые системы. Монетизация такого дорвея идет за счет размещаемых под видео ссылок на партнерские программы.
Пример хорошо оптимизированного YouTube-дорвея, живущего на видеохостинге не один год:
5. Дорвеи в социальных сетях и мессенджерах.
Это отдельный вид текстовых дорвеев, которые создаются на базе каналов, пабликов и групп в различных соцсетях и мессенджерах. Благодаря трастовости, то есть авторитетности на основной площадке дорвей той или иной тематической ниши, сделанный, например, в рамках VK-паблика, может давать хороший трафик. Монетизация идет, опять же, через партнерки, чьи офферы можно специально подбирать под нужные вертикали.
Помимо контентной классификации дорвеев, есть и другие способы разделения по видам. Например, выделяют редиректные и бездиректные. В первом случае пользователь, кликая в поиске на ссылку определенного сайта, в процессе перехода сразу же перенаправляется на целевой дорвейный ресурс. Редиректные дорвеи были популярны лет 15 назад, сейчас их встретить в поисковиках практически невозможно, поскольку алгоритмы Яндекса и Google научились эффективно бороться с такими сайтами.
Также различают дорвеи по методам их функциональной работы:
— «Белые» дорвеи.
Это ресурсы, которые по контентному наполнению максимально похожи на обычные веб-страницы — те самые СДЛ (сайты, сделанные для людей). Внутри «белых» дорвеев органично и максимально ненавязчиво встраиваются ссылки на лендинги рекламодателей.
Тематически «белые» дорвеи могут быть самыми разными — встречаются, например, чисто информационные ресурсы, развлекательные, сайты блогового формата. Как правило, даже явно оптимизированные дорвеи подобного типа не нарушают правил поисковиков, поэтому нередко они живут долго и попадают по некоторым запросам в топ выдачи.
— «Серые» дорвеи.
Такие сайты создаются обычно для увеличения ссылочной массы для других ресурсов. Контент на них зачастую тоже достаточно уникален и полезен людям, однако, в отличие от СДЛ, не имеет четкой тематики и структуры. Такие дорвеи редко могут похвастаться хорошей оптимизацией, поэтому в топе поисковой выдачи их вряд ли можно встретить. Тем не менее с помощью «серых» дорвеев неплохо поднимается трафик.
— «Черные» дорвеи.
Это страницы с тем самым мгновенным редиректом. В силу своей специфики сегодня они легко обнаруживаются поисковиками и быстро пессимизируются.
Различают также дорвеи по методу их создания, и тут уже используется специфическая профессиональная терминология. Так, выделяют:
— Дорвеи на профилях.
Для создания такой страницы подбираются авторитетные, трастовые сайты, позволяющие регистрировать внутри себя профили. После создания аккаунта в личную информацию вставляется ссылка на дорвей под размещаемый тут же низкочастотный запрос.
— Дорвеи на дропах.
Под такими дорвеями понимаются ресурсы, которые наполняются ссылочным контентом на трастовых сайтах с недавно освободившегося домена. Если предыдущий сайт был действительно трастовым, то ссылка в глазах поисковиков выглядит вполне добротно. Чем более трастовый и тематичный дроп, тем проще продвигать уже дорвей. Однако найти такой дроп было всегда проблематично.
— Дорвеи на пирогах.
Для создания такого дорвея покупаются доступы к сайтам или FTP-аккаунтам, внутрь заливается дорвейный-контент, который и продвигается вместе с основным сайтом. Это один из самых черных и незаконных методов продвижения ссылочной массы, который сейчас уже никто не использует, поскольку заработать на пирогах невозможно.
— PDF-дорвеи.
Суть, в общем, понятна из названия. Создается ссылочная масса дорвея в PDF-формате, которая затем в нескольких десятках или сотнях вариантов различных низкочастотных запросов продвигается через поисковик. Заработать на этом методе сегодня тоже практически нереально, поскольку поисковики активно чистят в выдаче все PDF-дорвеи.
Вот так кустарно и незатейливо выглядит PDF-дорвей:
Доргены для создания контента и использование AI
На заре актуальности дорвеев многие веб-мастеры делали сайты со спамным ссылочным контентом вручную. Однако по мере популяризации темы, когда возникла необходимость в создании целых дорвейных сеток, возникли специализированные программы, автоматизировавшие весь процесс.
Программы для автоматического генерирования самых разных дорвеев называются доргенами. По своей сути доргены не так уж примитивны, как может показаться неофитам, поскольку в своей работе используют довольно серьезный математический и лингвистический научный аппарат. К примеру, в функционале хорошего доргена задействованы алгоритмы цепей Маркова, описывающих последовательность случайных событий, линейные фильтры Калмана и преобразования Фурье.
Помимо математических формул и алгоритмов, в любом продуманном доргене среди прочих инструментов обнаруживаются собранные коллекции тематических страниц и ключевиков, синонимайзеры (в том числе ручные), клоакинг, парсинг, функции склейки сниппетов, использования машинного перевода, связывание ссылок между собой (и с другими дорвеями) и так далее.
В ранних версиях доргенов редирект был реализован за счет запуска сценариев (например, с помощью HTML-тега Meta refresh) или же технологий Flash. Однако поисковики довольно быстро научились отслеживать такие автоматизированные методы создания редиректа, поэтому любителям дорвеев пришлось искать более изощренные формы перехвата пользователей для переправки их на целевые страницы.
В зависимости от того, какой дорвейный контент планируется для генерации, выделяют несколько видов доргенов.
— Текстовые.
Среди бесплатных текстовых доргенов можно выделить JakoDorgen PRO, в платниках лидируют SEoDOR, Thunder, PandoraBox.
— Видео-доргены.
Среди бесплатных популярных сервисов, позволяющих массово загружать ролики на тот же Youtube, стоит отметить ZennoPoster. Среди платных обращает на себя внимание набор из трех скриптов — YouTube-Manage, YouTube-Parser, YouTube-Uploader.
— Доргены для размещения в соцсетях.
Среди скриптов, с помощью которых можно не только генерировать контент, но и массово создавать сообщества по заданным параметрам, выделяются VKAccountsManager и InstAccountsManager.
— Аудио-доргены.
Для массовой загрузки аудиороликов на специализированные площадки вполне подходит ZennoPoster. В дополнение можно также использовать различные скрипты DLE.
— Изображения.
Для заполнения дорвея тематическими картинками с поиском подходящих изображений и массовой отправкой на сайт используются FastStone Image Viewer и ZennoPoster.
Программы бывают как серверными, так и десктопными. Некоторые из них умеют генерировать не только статику (html-страницы), но и динамические страницы за счет использования баз данных и кэширования. Доргены с аддонами позволяют не только собирать контент, но и уникализировать внешний вид тематических страниц.
Среди платных дорвеев есть сервисы с одноразовой оплатой и оплатой по подписке. Вторые, как правило, могут похвастаться постоянными обновлениями аддонов и плагинов за счет финансовой поддержки дорвейщиков.
Коротко рассмотрим несколько популярных доргенов для общего понимания программного функционала такого рода скриптов.
— SEoDOR.
Сервис, основная задача которого заключается в автоматическом парсинге текстового контента в соответствии с заданными ключами. Серверный дорген поддерживает режим как в динамике, так и в статике. То есть SEoDOR можно использовать и для создания видео и аудио, и download-дорвеев. Программа парсит видео из YouTube и музыку из VK.
Со стороны дорвейщиков распространены жалобы на то, что сервис зачастую добавляет в контент много лишнего и откровенно мусорного текста.
— JakoDorgen.
Несложный в освоении десктопный дорген, позволяющий даже новичкам делать простенькие сайты-шаблоны. При работе с текстом позволяет составлять уникализированный «винегрет» с добавленными ключевиками. Генерировать текст можно на основе собственных баз данных, — сделать это на основе контента из сети не получится.
— PandoraBox.
Вариант десктопного сервиса, который выдает довольно качественный текстовый результат на выходе. Скрипты доргена поддерживают разные алгоритмы генерации контента из готовых файлов. При этом программа склоняет ключевики и выполняет контекстную перелинковку.
Сервис сам по себе ключи не сортирует. К недостаткам можно отнести и то, что PandoraBox относительно плохо работает с поддоменами: контент для каждого домена приходится создавать вручную либо используя скрипт в панели на хостинге.
— ZennoPoster.
Это не сервис в прямом смысле слова, а программный комплекс, с помощью которого можно автоматизировать практически все действия пользователя в браузере. То есть его функционал позволяет создавать массовые аккаунты на видеохостингах, в социальных сетях, на различных блоговых платформах и так далее.
Преимущество ZennoPoster в специальной надстройке CodeCreator, которая помогает программистам управлять кодом, дополняя сайты новыми функциями.
Редактор руссифицированной версии ZennoPoster:
Ускоренное совершенствование технологий искусственного интеллекта, естественно, заинтересовало дорвейщиков, которые мгновенно смекнули, что с помощью Chat GPT можно быстро генерировать огромные массивы монетизируемого контента. В одном из довольно подробных гайдов активный арбитражник дает вполне рабочую схему создания контента под дорвей с помощью Chat GPT.
Разумеется, автоматизировать процесс массового создания текстов с помощью AI не получится. Хотя бы потому, что полученный результат нужно доводить до ума вручную. Параметр «читабельности» во многом зависит от количества используемых промптов (запросов Chat GPT), с помощью которых собирается та или иная статья. Большой плюс использования технологий искусственного интеллектав том, что сегодня с его помощью уже можно автоматически оформлять разметку, вставлять линки на авторитетные источники, запаковывать данные в таблицы, формулировать заголовки с высоким CTR. От человека же требуется упорядочивание поисковой оптимизации и самой структуры статьи. Проблема проверки фактов и актуальных данных решается установкой плагина, который вытягивает сведения из Google прямо в чат-диалог с ИИ. Но не стоит забывать, что на сегодняшний день тот же Chat GPT использует поисковую информацию, актуальную на 2021 год.
Впрочем, с контентом, создаваемым ИИ, далеко не все так просто, как может показаться на первый взгляд. Что логично, иначе бы интернет захлестнула дорвейная волна неимоверной мощи. Дело в том, что поисковики считают тексты, созданные с помощью ИИ, спамом. Об этом однозначно и недвусмысленно заявлял старший аналитик Google Джон Мюллер.
На сегодняшний день у алгоритмов Google нет достаточных возможностей для обнаружения контента, созданного искусственным интеллектом. Тем не менее при обнаружении подозрительных сайтов к ним могут быть применены ручные санкции. При этом Мюллер подчеркивает, что для Google неважно, как именно используются AI-инструменты при «написании» текстов. Любой такой, даже приглаженный человеком, текст будет считаться спамом.
Очевидно, что дорвейщики будут и дальше пробовать использовать ИИ для своих целей, создавая в конечном счете те же СДЛ, а поисковики, в свою очередь, принципиально с этими явлениями бороться. Сейчас, однако, не очень понятно, как именно поисковые алгоритмы смогут обнаруживать такого рода дорвеи. Возможно, за счет внедрения автоматизированных систем детектора AI. Под детекторами ИИ понимаются достаточно эффективные в функционале сервисы, определяющие процент сгенерированного текста на той или иной странице.
Дорвеи в 2023 году: курилка по-прежнему жив
В начале нулевых годов дорвеи были на пике популярности и приносили владельцам хорошие деньги. В российском сегменте — до $1 000 ежедневно. Эти времена молочных рек и кисельных берегов были возможны потому, что поисковые алгоритмы не были настолько эффективными, чтобы отлавливать автоматически сгенерированный контент. Однако постепенно картина менялась. Что «Яндекс», что Google усовершенствовали способы борьбы с дорвеями, и сегодня найти в выдаче ссылку на что-то монструозно-бессмысленное по содержанию невозможно.
Тем не менее встречаются примеры продуманных, оптимизированных «по-белому» дорвейных СДЛ, которые до сих пор приносят относительно неплохую прибыль веб-мастерам. В качестве примера можно привести портал overcoder.net — Q&A-портал для программистов (сайт формата «вопрос-ответ»). Любопытно, что контент для этого сайта генерируется за счет автоматического перевода постов популярного сервиса Stackoverflow. У оригинального портала Stackoverflow есть своя русскоязычная версия, что не мешает клону привлекать хорошую поисковую органику и зарабатывать десятки тысяч рублей ежемесячно.
Довольно наглядная статистика сайта overcoder.net:
Как бы там ни было, но получить легкий и беспроблемный заработок на дорвеях сегодня не выйдет, даже используя технологии ИИ. При этом для получения хорошего трафика придется сначала и самому финансово потратиться, и потратить время на изучение софта. И это не говоря же о времени на подготовку контента для СДЛ.
Последнее редактирование:
