УРОК #4. Где взять контент? Уникализация контента. Опции

[manuel]

Продолжение урока #3.
Вы уже четко определились с тематикой, движком и доменом. Пора всерьез задуматься и об наполнении.

1. Откуда берется контент?

#1. Копи-паст. Идем в Google, набираем тематику, копируем и вставляем статьи.
Плюсы: простота, никаких затрат.
Минусы: практически нулевой трафик с ПС.

#2. Написание контента. Прочитав пару источников начинаем сами писать, что об этом все думаем.
Плюсы: трафик с ПС, такие тексты чаще интереснее читать.
Минусы: огромные затраты времени, либо дорогое написание под заказ.

#3. Сканирование текста со старых книг Сканируем, распознаем, вставляем.
Плюсы: трафик с ПС, не большие временные затраты.
Минусы: временные затраты, ошибки распознавания.

#4. Рерайт. - Переписываем статью своими словами.
Плюсы: практически не отличить от оригинала, трафик с ПС.
Минусы: время, возможно плохое качество.

Но самый оригинальный и действенный способ - работа с синомайзером. Синомайзер - программа, заменяющая слова синонимами.
Я работаю с ручным синомайзером от http://nildesign.ru/sinonymiser/ - т.к. тексты получаются вполне читаемые и осмысленные. Уникальность готовой работы от 15 до 40%. С таких текстов можно получить хоть какой-то трафик с ПС.


Далее под-статья, которую я когда-то писал, в сети ее нет.
"Уникализация WAREZa".
Был проведен опыт, покупались домены, брался одинаковый текст. вот что из этого вышло:

Каждый день появляется множество новых фильмов, программ и т.п. И все это великолепие люди непременно должны скачать. В чем проблема? Да ни в чем, кроме того, что одинаковые файлы с одинаковыми описаниями рассылаются по сотням варезников и очень быстро склеиваются. Получить с ним реальный трафик очень сложно.

Тогда в ход начинает вступать «секретное оружие». Приведем несколько методов.
1) Изменение заголовков
2) Изменение описаний
3) Перезаливка файлов
4) «Фальсификация данных».

Остановимся поподробнее. Первый способ – он же самый простой. Смысл – подмена информации. К примеру, заголовок «Doctor Web 3.2». На выходе можно получить:
Doctor Web 3.2.1
Doctor Web 3.2 rus
Новый Doctor Web 3.2 и т.п.

Но как я убедился на личном опыте, эти заголовки ничего особенного не принесут. Конечно, в планетарных масштабах сайта это существенная прибавка, но куда менее эффективная, чем слова «crack», «keygen», «ключи», «бесплатно». Как правило, дописывая эти слова в скобках, перед, за заголовком можно получить дополнительный неплохой трафик.
В примеру участвовало 2 варез-портала. На 100 новостей в каждом (программы) были дописаны эти «волшебные слова». Контент брался с варезников, популярностью более 1000 хостов в сутки. В не уникальности контента не было сомнений. Получили.
Сайт (без изм.) #1 – 372 хоста
Сайт (изм.) #2 – 794 хоста
Хорошая разница?

Пункт два – изменение описаний.
Изменялись описания у файлов, методом ручного рерайта. Второй способ – через публичный синомайзер. Те же данные.
Сайт №1 (без. изм) – 372 хоста
Сайт №2 (рерайт) – 427 хостов
Сайт №3 (сином) – 525 хостов
Стоит отметить, что в последнем варианте 10-15% запросов было по старым словам (которые заменял синомайзер на устаревшие).

Пункт три – перезаливка файлов.
Файлы перезаливались, ставились пароли. Дописывалась фраза «скачать с сервера».
Сайт №1 (без изм.) – 372 хоста
Сайт №2 (изм.) – 404 хоста.
Вывод – никакой разницы.

Пункт четыре – фальсификация.
В ходе эксперимента были изменены заголовки, на несуществующий. Пример:
Было IPB 2.3
Стало IPB 2.4
Было kaspersky 7.0
Стало kaspersky 8.0
Конечно, это не честно по отношению к юзерам, но эффективно.
Сайт №1 (без изм.) – 372 хоста
Сайт №2 (изм.) – 1098 хостов.

И еще стал итересен момент по регистрациям. Ссылки закрвывались хайдом.
Сайт №1 (без изм.) – 372 хоста
Сайт №2 (изм.) – 237 хостов, 34 регистрации.


Как видно из примера, наибольшую эффективность можно получить «фальсификацией». Но не всем хочется терять постоянных юзеров и довольствовать поисковым трафиков. Выводы делать только Вам.

Источник: http://manuelblog.net/?p=12

[HolyWanderer]

читал как-то о шинглах на серче. Тоже метод.
ссылку не помню, сохранил ток статью.
Прокоментируйте...

Шинглы или как поисковики находят плагиат.

Добавить пост в:

Большая часть материала взята из рассуждений и может не совпадать с действительностью. Часть взята из статей Яндекса.

Если вы считаете, что написаные мной факты и заключения неправильны, то прошу высказаться.

Документов в интернете много. Думаю в рунете минимум один милиард страниц. Чтобы сверить между собой милиард каждую с каждой нужен 1.000.000.000.000.000.000 операций сравнивания страниц. Даже если в сравнивании страниц учавствует только одно число, то чтобы найти его в базе 1.000.000.000 конктрольных сумм нужно 30000 (корень из одного милиардк) операций сравнивания. Можно ускорить благодаря разбивки на 1024 баз данных. В 32 раза.
Итого нам понадобиться 1.000.000.000.000.000.000.000 операций сравнивания двух чисел. Учитывая что кроме операции сравнивания там еще переборы по циклам, запросы на другие кластеры, то одна машина может считать до 1000.000 операций (максимальное значение) сравнивания двух чисел в секунду.
1.000.000.000.000.000 секундо машин нужно. В году 315.360.000 секунд. Три машины эту работу сделают за один милион лет :-). Чтобы в обозимом будушем(в течении 10ти лет) решить эту задачу нужно 100.000 машин.

ВЫВОД: ЕСЛИ ДВА САЙТА НИКАК не связаны между собой Яндекс не склеит.

Значит Яндекс ищет связи сайтов. Если вы обмениваетесь статьями, то ставьте СВОЮ статью на СВОЕМ сайте в ноиндекс. Т.е. бот не должен находить на двух перелинкованых в одну или две стороны сайтах одну и туже статью, даже с очень большими с изменениями. Поскольку залинкованные сайты проверяються очень тщательно.

Если яндекс нашел 3,4,5..10 копию документа, то он начнет усердние искать еще копии.

В общем Яндекс не тупо перебирает каждый с каждым.
——————————–
Исходя из вышесказанного и статей Яндекса можно судить, о том, что существуют несколько уровней сравнения и строгости проверки.

Нахождение сайтов

Лексический анализ. Глобальный метод. Беруться самые малораспространенные слова и обороты из Статьи заносяться и ищаться либо по бекам сайта либо по сайтам на который он ссылаеться. В самом плохом случае по всему инету.
Метод ссылочных связей. Наприме, если статья несет ссылку на сайт то проверяться материалы сайта на который в статье есть ссылка.

Проверки:
В зависимости от типа найденой взаимосвязи между документами два текста сверяються. Разными методами.

Выборка шинглов. Строгий метод. Используеться когда большие подозрения на дубли.
Шингл - контрольная сумма взахлест 10ти слов. Количество шинглов = количеству слов -9.

Например: Шинглы для
”В зависимости от типа найденой взаимосвязи между документами два текста сверяються. Разными методами.”
Есть 3 шингла
1.”В зависимости от типа найденой взаимосвязи между документами два текста сверяються.
2.”зависимости от типа найденой взаимосвязи между документами два текста сверяються. Разными”
3.”от типа найденой взаимосвязи между документами два текста сверяються. Разными методами”

Из этих шинглов выбираються несколько десятков шинглов выборки, которые сверяються.
По словам яши это делаеться так: Из статей понятно, что на каждый документ находятиться выборка из 85 шинглов. Как она находиться:
S1…Si - шинглы
F1…F85 случайные функции расчета контрольных сумм выборок. Функции постоянные, но сгенерированы на шару. Т.е. для двух документов функции одинаковые.
V1…V85 - шинглы выборки

—————-
V1= MIN(F1(S1), … F1(Si))
………………………….
V85 = MIN(F85(S1), … F85(Si)).
—————————

Метод сравнения сравнить все 85 шинглов выборки первого документа между соответсвующими шинглами второго документа. Максимум 85 операций.
Чтобы скеились документы ориентировочно нужно одинаковых 35 шинглов.

Супер шингл. Мягкий метод. Если тексты изменены на 10-15 % он их не найдет. Из всех шинглов расчитываеться один единственный шингл. (по другим данным несколько).
Если два супер шингла совпали, то скорее всего не склеят а проверят документ более тщательно. Алгоритм его выбора неизвестен. Скорее всего опираеться на лексические конструкции и на глобальные их частотные данные.
_________________________________________________________

Как избежать?

Замена слова на другое меняет 19 шинглов. Вероятность изменения одного из шинглов выборки = n*19/N, вероятность изменения двух n*19/N* (n-1)*19/N …
В среднем меняется n*19/N+ 2* n*19/N* (n-1)*19/N … шинглов
Обмен местами двух рядом стоящих шинглов меняет 20 шинглов.
Обмен местами на расстоянии больше 10ти слов стоящих слов меняет 19+19 =38 шинглов.
Обмен местами на расстоянии <10ти >0 слов стоящих слов меняет 20 + расстояние *2.
Обмен местами предложений > 10 слов или абзацев, если они удут рядом меняет 40 шинглов.
Обмен местами предложений > 10 слов или абзацев, если они удут рядом меняет 80 шинглов.
Добавление нового слова меняет 20 шинглов.
Добавление M подряд идущих слов меняет 20+M шинглов.

Видно что эфективнее всего добавлять много раз в разных местах по одному слову. Или менять рядом стоящие предложения местами.

Всего в тексте Шинглов на 9 меньше чем слов. Для супер шинглов, нужно поменять 20%шинглов. Но, возможно супер шингл учитывает только глаголы и существительные.
Если супер шингл считаеться по лексическому глобального методу, то в текст можно вставить в качестве примеров название Экзотических стран и городов, редкие ошибки, фамилии, речевые обороты и изменять это в каждом тексте.
Т.е. после прочтения статьи человеку кроме ее смысла запомниться что то необычное в ней, может, Супершингл запоминает что то в ней.

————————————————-
Если нашел и склеил статьи как это может сказаться на тИЦ и вИЦ. Это беспорно уменьшает эти показатели, но я думаю 2 склеяные статьи с сылками лучше чем одна статья. Ведь если вы пишете хорошие статьи и ваши статьи берут много сайтов почему бы не поставить вам побольше индексы?
Это доказывают новостные сайты и сайты видущие активный PR киевстар, МТС. У которых неплохие показатели тИЦ.

Популярность: 24% [?]

Метки: none

Нет публикаций.
Комментарии (9) на запись «Шинглы или как поисковики находят плагиат.»
Макс пишет:
01.01.1970 в 03:00

>>Обмен местами на расстоянии больше 10ти слов стоящих слов меняет 19+19 =38 шинглов.

Имхо, правильнее было бы сказать ”до 38 шинглов”. Ведь обмен на расстоянии 11 слов меняет около 30 шинглов.

Или я ошибаюсь ?
admin пишет:
01.01.1970 в 03:00

помойму вы правы, но на практике если честно подобные замены проводить автоматом крайне сложно - не уродую текст. Я пытаюсь работать немного над изменением текста, когда вместо ”он, она, это” - подставляет нужные значения. Программа не сильно хорошо обрабатывает и сложно дать вероятностную оценку. Изменение не стоп слов намного сложнее.