Рус запросы для парсеров (Хрефер)

Тема в разделе "Hrefer", создана пользователем Павел, 27 сен 2014.

    1. Павел
      TopicStarter Overlay

      Релизеры

      Симпатии:
      105
      Баллы:
      28
      Сообщения:
      178
      Я их использую для парса рус ресурсов, запросов примерно 500 000 почти все запросы с цифрами - так гораздо больше выдается сайтов по разным паукам! Пробуйте.

      Вложения:

      EvgenHost и ssovez нравится это.
    2. semion

      Member

      Симпатии:
      4
      Баллы:
      3
      Сообщения:
      19
      Павел , спасибо большое за эту базу, я просто немного другое имел в виду- вот ниже это уже готовый вариант или надо что то удалять или убирать?


      "/a/viewforum.php"
      "/a/viewtopic.php"
      "/a/viewtopic.php?f="
      "/a/viewtopic.php?p="
      "/a/viewtopic.php?pid="
      "/a/viewtopic.php?t="
      "/act=Profile"
      "/action=profile"
      "/action=profile;u="
      "/action=viewprofile"
      "/action=viewprofile;username="
      "/aforum/"
      "/aforum/index.php"
      "/b/viewforum.php"
      "/b/viewtopic.php"
      "/b/viewtopic.php?f="
      "/b/viewtopic.php?p="
      "/b/viewtopic.php?pid="
      "/b/viewtopic.php?t="
      "/bforum/"
      "/bforum/index.php"
      "/board.php?boardid="
      "/cforum/"
      "/cforum/index.php"
      "/cgi-bin/ultimatebb.cgi"
      "/cgi-bin/ultimatebb.cgi?f="
      "/cgi-bin/ultimatebb.cgi?ubb="
      "/cgi-bin/ultimatebb.cgi?ubb=forum"
      "/cgi-bin/ultimatebb.cgi?ubb=get_profile"
      "/cgi-bin/ultimatebb.cgi?ubb=get_topic"
      "/cgi-bin/ultimatebb.cgi?ubb=print_topic"
      "/cgi-bin/ultimatebb.php"
      "/cgi-bin/ultimatebb.php?f="
      "/cgi-bin/ultimatebb.php?ubb="
      "/cgi-bin/ultimatebb.php?ubb=forum"
      "/cgi-bin/ultimatebb.php?ubb=get_profile"
      "/cgi-bin/ultimatebb.php?ubb=get_topic"
      "/cgi-bin/ultimatebb.php?ubb=print_topic"
      "/dforum/"
      "/dforum/index.php"
      "/eforum/"
      "/eforum/index.php"
      "/f/viewforum.php"
      "/f/viewtopic.php"
      "/f/viewtopic.php?f="
      "/f/viewtopic.php?p="
      "/f/viewtopic.php?pid="
      "/f/viewtopic.php?t="
      "/fforum/"
      "/fforum/index.php"
      "/file=profile&mode=viewprofile&u="
      "/Forum-"
      "/forum.php?mod=forumdisplay&fid="
      "/forum/cgi-bin/yabb/YaBB.pl?action="
      "/forum/cgi-bin/yabb/YaBB.pl?action=viewprofile"
      "/forum/cgi-bin/yabb/YaBB.pl?board="
      "/forum/cgi-bin/yabb/YaBB.pl?num="
      "/forum/cgi-bin/yabb2/YaBB.pl?action="
      "/forum/cgi-bin/yabb2/YaBB.pl?action=viewprofile"
      "/forum/cgi-bin/yabb2/YaBB.pl?board="
      "/forum/cgi-bin/yabb2/YaBB.pl?num="
      "/forum/index.php?forums/"
      "/forum/member.php?u="
      "/forum/members/"
      "/forum/profile.php"
      "/forum/profile.php?mode="
      "/forums/cgi-bin/yabb/YaBB.pl?action="
      "/forums/cgi-bin/yabb/YaBB.pl?action=viewprofile"
      "/forums/cgi-bin/yabb/YaBB.pl?board="
      "/forums/cgi-bin/yabb/YaBB.pl?num="
      "/forums/cgi-bin/yabb2/YaBB.pl?action="
      "/forums/cgi-bin/yabb2/YaBB.pl?action=viewprofile"
      "/forums/cgi-bin/yabb2/YaBB.pl?board="
      "/forums/cgi-bin/yabb2/YaBB.pl?num="
      "/forums/index.php"
      "/forums/member.php?u="
      "/forums/members/"
      "/home.php?mod=space username="
      "/home-space-uid-"
      "/index.php?action=profile"
      "/index.php?action=profile;u="
      "/index.php?board="
      "/index.php?fid="
      "/index.php?id="
      "/index.php?option=com"
      "/index.php?showuser="
      "/index.php?topic="
      "/member.php?"
      "/member.php?action=profile"
      "/member.php?action=profile&uid=
      "/member.php?s="
      "/member.php?u="
      "/member/"
      "/memberlist.php?mode="
      "/memberlist.php?mode=viewprofile&u="
      "/members.php?mode=profile&userid="
      "/members/"
      "/mode=viewprofile"
      "/option,com_fireboard/"
      "/pop_profile.asp?mode="
      "/profile.php?action=show&member="
      "/profile.php?id="
      "/profile.php?lookup="
      "/profile.php?mode="
      "/profile.php?mode=viewprofile&u="
      "/profile.php?pid="
      "/profile.php?userid="
      "/scripts/forum/ultimatebb.cgi"
      "/scripts/forum/ultimatebb.cgi?f="
      "/scripts/forum/ultimatebb.cgi?ubb="
      "/scripts/forum/ultimatebb.cgi?ubb=forum"
      "/scripts/forum/ultimatebb.cgi?ubb=get_profile"
      "/scripts/forum/ultimatebb.cgi?ubb=get_topic"
      "/scripts/forum/ultimatebb.cgi?ubb=print_topic"
      "/scripts/forum/ultimatebb.php"
      "/scripts/forum/ultimatebb.php?f="
      "/scripts/forum/ultimatebb.php?ubb="
      "/scripts/forum/ultimatebb.php?ubb=forum"
      "/scripts/forum/ultimatebb.php?ubb=get_profile"
      "/scripts/forum/ultimatebb.php?ubb=get_topic"
      "/scripts/forum/ultimatebb.php?ubb=print_topic"
      "/showthread.php
      "/showthread.php?tid="
      "/showuser"
      "/space-uid-"
      "/space-username-"
      "/thread.php?postid="
      "/thread.php?threadid="
      "/threads/"
      "/tools.php?event=profile&pname="
      "/topic.php?forum="
      "/topic/"
      "/ubb/cgi/ultimatebb.cgi"
      "/ubb/cgi/ultimatebb.cgi?f="
      "/ubb/cgi/ultimatebb.cgi?ubb="
      "/ubb/cgi/ultimatebb.cgi?ubb=forum"
      "/ubb/cgi/ultimatebb.cgi?ubb=get_profile"
      "/ubb/cgi/ultimatebb.cgi?ubb=get_topic"
      "/ubb/cgi/ultimatebb.cgi?ubb=print_topic"
      "/ubb/cgi/ultimatebb.php"
      "/ubb/cgi/ultimatebb.php?f="
      "/ubb/cgi/ultimatebb.php?ubb="
      "/ubb/cgi/ultimatebb.php?ubb=forum"
      "/ubb/cgi/ultimatebb.php?ubb=get_profile"
      "/ubb/cgi/ultimatebb.php?ubb=get_topic"
      "/ubb/cgi/ultimatebb.php?ubb=print_topic"
      "/ultimatebb.cgi?ubb=get_profile"
      "/userinfo.php?uid="
      "/vbulletin/forumdisplay.php?f="
      "/vbulletin/member.php?u="
      "/vbulletin/showthread.php"
      "/vbulletin/showthread.php?p="
      "/vbulletin/showthread.php?t="
      "/viewforum.php"
      "/viewforum.php?f="
      "/viewforum.php?forum_id="
      "/viewforum.php?forum="
      "/viewforum.php?id="
      "/viewforum.php?pid="
      "/viewforum/"
      "/viewthread.php?thread_id="
      "/viewthread.php?tid="
      "/viewthread/"
      "/viewtopic.php?id="
      "/viewtopic.php?pid="
      "/viewtopic.php?post_id="
      "/viewtopic.php?topic_id="
      "/YaBB.cgi?action=viewprofile"
      "/YaBB.cgi?board="
      "/YaBB.cgi?num="
      "/YaBB.pl?action=viewprofile"
      "/YaBB.pl?board=
      "/YaBB.pl?board="
      "/YaBB.pl?num="
      "?markallread=true"
      "?members/"
      "?mod=space&uid="
      "?mod=space&username="
      "?showforum="
      "?showtopic="
      "?showuser="
      "?threads/"
      "a/viewforum.php?f="
      "act=Profile"
      "action=profile"
      "action=profile" "Additional Information:"
      "action=profile;u"
      "action=profile;u="
      "action=viewprofile"
      "action=viewprofile;username="
      "b/viewforum.php?f="
      "bb/viewforum.php"
      "bb/viewforum.php?f="
      "bb/viewtopic.php"
      "bb/viewtopic.php?f="
      "bb/viewtopic.php?p="
      "bb/viewtopic.php?pid="
      "bb/viewtopic.php?t="
      "bb-login.php"
      "biz/forum"
      "biz/forums"
      "biz/phorum"
      "board" + "Powered by Burning Board"
      "board" + "Powered by SMF"
      "board" + "Simple Machines"
      "board/forumdisplay.php"
      "board/forumdisplay.php?f="
      "board/index.php?showforum="
      "board/index.php?showtopic="
      "board/index.php?showuser="
      "board/member.php?u="
      "board/showthread.php"
      "board/showthread.php?p="
      "board/showthread.php?t="
      "board/ultimatebb.cgi"
      "board/ultimatebb.cgi?f="
      "board/ultimatebb.cgi?ubb="
      "board/ultimatebb.cgi?ubb=forum"
      "board/ultimatebb.cgi?ubb=get_profile"
      "board/ultimatebb.cgi?ubb=get_topic"
      "board/ultimatebb.cgi?ubb=print_topic"
      "board/ultimatebb.php"
      "board/ultimatebb.php?f="
      "board/ultimatebb.php?ubb="
      "board/ultimatebb.php?ubb=forum"
      "board/ultimatebb.php?ubb=get_profile"
      "board/ultimatebb.php?ubb=get_topic"
      "board/ultimatebb.php?ubb=print_topic"
      "board/viewforum.php"
      "board/viewforum.php?f="
      "board/viewtopic.php"
      "board/viewtopic.php?f="
      "board/viewtopic.php?p="
      "board/viewtopic.php?pid="
      "board/viewtopic.php?t="
      "board/YaBB.pl?action="
      "board/YaBB.pl?action=viewprofile"
      "board/YaBB.pl?board="
      "board/YaBB.pl?num="
      "by/forum"
      "by/forums"
      "by/phorum"
      "categories.cfm?catid="
      "cgi/ultimatebb.cgi"
      "cgi/ultimatebb.cgi?f="
      "cgi/ultimatebb.cgi?ubb="
      "cgi/ultimatebb.cgi?ubb=forum"
      "cgi/ultimatebb.cgi?ubb=forum&f="
      "cgi/ultimatebb.cgi?ubb=get_profile"
      "cgi/ultimatebb.cgi?ubb=get_profile&u="
      "cgi/ultimatebb.cgi?ubb=get_topic"
      "cgi/ultimatebb.cgi?ubb=get_topic&f="
      "cgi/ultimatebb.cgi?ubb=my_profile"
      "cgi/ultimatebb.cgi?ubb=print_topic"
      "cgi/ultimatebb.cgi?ubb=send_topic&t="
      "cgi/ultimatebb.php"
      "cgi/ultimatebb.php?f="
      "cgi/ultimatebb.php?ubb="
      "cgi/ultimatebb.php?ubb=forum"
      "cgi/ultimatebb.php?ubb=get_profile"
      "cgi/ultimatebb.php?ubb=get_topic"
      "cgi/ultimatebb.php?ubb=print_topic"
      "cgi/YaBB.pl?action="
      "cgi/YaBB.pl?action=viewprofile"
      "cgi/YaBB.pl?board="
      "cgi/YaBB.pl?num="
      "cgi/yabb/YaBB.pl?action="
      "cgi/yabb/YaBB.pl?action=viewprofile"
      "cgi/yabb/YaBB.pl?board="
      "cgi/yabb/YaBB.pl?num="
      "cgi/yabb2/YaBB.pl?action="
      "cgi/yabb2/YaBB.pl?action=viewprofile"
      "cgi/yabb2/YaBB.pl?board="
      "cgi/yabb2/YaBB.pl?num="
      "cgi-bin/forum/Blah.pl?,c=norge"
      "cgi-bin/forum/Blah.pl?,v=cal"
      "cgi-bin/forum/Blah.pl?,v=login"
      "cgi-bin/forum/Blah.pl?,v=portal"
      "cgi-bin/forum/Blah.pl?,v=search"
      "cgi-bin/forum/Blah.pl?b=othermovies,v=login,p=forgotpw"
      "cgi-bin/forum/Blah.pl?v-register/"
      "cgi-bin/forum/ultimatebb.cgi?/category/"
      "cgi-bin/forum/ultimatebb.cgi?/ubb/agree.html"
      "cgi-bin/forum/ultimatebb.cgi?/ubb/get_profile"
      "cgi-bin/forum/ultimatebb.cgi?/ubb/login.html"
      "cgi-bin/forum/ultimatebb.cgi?/ubb/search.html"
      "cgi-bin/forum/ultimatebb.cgi?/ubb/search/search_forum"
      "cgi-bin/forums/ultimatebb.cgi?ubb=agree"
      "cgi-bin/forums/ultimatebb.cgi?ubb=get_topic;f="
      "cgi-bin/forums/ultimatebb.cgi?ubb=login"
      "cgi-bin/forums/ultimatebb.cgi?ubb=lost_password"
      "cgi-bin/YaBB.pl?action="
      "cgi-bin/YaBB.pl?action=viewprofile"
      "cgi-bin/YaBB.pl?board="
      "cgi-bin/YaBB.pl?num="
      "cgi-bin/yabb/YaBB.pl?action="
      "cgi-bin/yabb/YaBB.pl?action=viewprofile"
      "cgi-bin/yabb/YaBB.pl?board="
      "cgi-bin/yabb/YaBB.pl?num="
      "cgi-bin/yabb2/YaBB.pl?action="
      "cgi-bin/yabb2/YaBB.pl?action=viewprofile"
      "cgi-bin/yabb2/YaBB.pl?board="
      "cgi-bin/yabb2/YaBB.pl?num="
      "chat/forumdisplay.php"
      "chat/forumdisplay.php?f="
      "chat/index.php?showforum="
      "chat/index.php?showtopic="
      "chat/index.php?showuser="
      "chat/member.php?u="
      "chat/showthread.php"
      "chat/showthread.php?p="
      "chat/showthread.php?t="
      "chat/ultimatebb.cgi"
      "chat/ultimatebb.cgi?f="
      "chat/ultimatebb.cgi?ubb="
      "chat/ultimatebb.cgi?ubb=forum"
      "chat/ultimatebb.cgi?ubb=get_profile"
      "chat/ultimatebb.cgi?ubb=get_topic"
      "chat/ultimatebb.cgi?ubb=print_topic"
      "chat/ultimatebb.php"
      "chat/ultimatebb.php?f="
      "chat/ultimatebb.php?ubb="
      "chat/ultimatebb.php?ubb=forum"
      "chat/ultimatebb.php?ubb=get_profile"
      "chat/ultimatebb.php?ubb=get_topic"
      "chat/ultimatebb.php?ubb=print_topic"
      "chat/viewforum.php"
      "chat/viewforum.php?f="
      "chat/viewtopic.php"
      "chat/viewtopic.php?f="
      "chat/viewtopic.php?p="
      "chat/viewtopic.php?pid="
      "chat/viewtopic.php?t="
      "chat/YaBB.pl?action="
      "chat/YaBB.pl?action=viewprofile"
      "chat/YaBB.pl?board="
      "chat/YaBB.pl?num="
      "club/index.php?PHPSESSID="
      "com/forum"
      "com/forums"
      "com/phorum"
      "community/YaBB.pl?action="
      "community/YaBB.pl?action=viewprofile"
      "community/YaBB.pl?board="
      "community/YaBB.pl?num="
      "component/k2/itemlist/search?searchword=&categories=&format=html&t=&tpl=search"
    3. Павел
      TopicStarter Overlay

      Релизеры

      Симпатии:
      105
      Баллы:
      28
      Сообщения:
      178
      Они все в кавычках - удали у всех кавычки - больше сайтов выдаст паук для сбора. Т.е не больше сайтов, т.к. пауки тока 100 страниц выдают, просто больше разнообразия будет, следовательно - больше наскрябаешь ресов
    4. semion

      Member

      Симпатии:
      4
      Баллы:
      3
      Сообщения:
      19
      Все , понял будем пробовать))
    5. Dle3

      Администратор

      Симпатии:
      48
      Баллы:
      28
      Сообщения:
      204
    6. semion

      Member

      Симпатии:
      4
      Баллы:
      3
      Сообщения:
      19
      Пишет нет прав для просмотра(( что делать надо?
    7. Dle3

      Администратор

      Симпатии:
      48
      Баллы:
      28
      Сообщения:
      204
      авторизоваться на сайте((
    8. semion

      Member

      Симпатии:
      4
      Баллы:
      3
      Сообщения:
      19
      Внимание! У вас нет прав для просмотра скрытого текста.
      Вроде вошел по ссылке, авторизованным((
    9. Павел
      TopicStarter Overlay

      Релизеры

      Симпатии:
      105
      Баллы:
      28
      Сообщения:
      178
      Да больше и не надо признаков - этих хватит, главное побольше русских слов найти распространённых. Пример: он, или, она, твой, авто, бизнес, стройка, мы, офер, и, тогда, вместе, надо, нужно и т.д. т.е. тех слов, которые обычно в обиходе и употребляют в повседневной речи и на форумах. Аббревиатуры тож не плохо лезут: СССР, АЭС, КГБ, СБУ, ФСБ, ООН и т.д. :)
    10. Dle3

      Администратор

      Симпатии:
      48
      Баллы:
      28
      Сообщения:
      204
      хз. проверял всё видно, залил сюда.

      Вложения:

    11. Marat1975

      Member

      Симпатии:
      3
      Баллы:
      3
      Сообщения:
      13
      Да все и там норм скачалась, нужно было еще раз авторизацию пройти. Там - сайт, тут - форум...
    12. CHEBURNATOR

      Active Member

      Симпатии:
      31
      Баллы:
      8
      Сообщения:
      41
      А с последним Хрефером конфликтов нет? У меня почему то на 4.6 парсит шустрее но меньшие объемы (я про свои признаки)

Поделиться этой страницей