Метапоисковик

И всё прочее, что касается HTML
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
RusBiT
лейтенант
Сообщения: 635
Зарегистрирован: 2007-08-03 11:43:53
Откуда: Красноярск
Контактная информация:

Метапоисковик

Непрочитанное сообщение RusBiT » 2009-04-09 13:41:32

Для диплома требуется написать поисковик по поисковикам, т.е. чтобы сразу искать и в яндексе, гугле, рамблере (например), при том убрать повторяющие результаты.

Задание явно сложное, как брать инфу с поисковых систем? Просто парсить страничку или есть еще какие нибудь методы(типа ответов в xml)?
Чем больше я познаю FreeBSD, тем больше я считаю себя ламером :)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Метапоисковик

Непрочитанное сообщение ProFTP » 2009-04-09 14:36:30

в одну строку... :smile:
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Метапоисковик

Непрочитанное сообщение ProFTP » 2009-04-09 14:42:07

ну там может есть сделнное
http://search.cpan.org/search?m=all&q=search&s=1

вывод допустим выводишь в массив, все эелементы повторяющиеся удаляешь, но поисковики выводят по разному, возможно, надо пробовать

либо делаешь чтобы в коненчом итоге вывод не был с одного и того же сайта...
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Метапоисковик

Непрочитанное сообщение zg » 2009-04-09 16:06:39

RusBiT писал(а):или есть еще какие нибудь методы(типа ответов в xml)?
в гугле есть soap, в яндексе это платно было вроде, во всех остальных скорее всего лучше парсить.
RusBiT писал(а):т.е. чтобы сразу искать и в яндексе, гугле, рамблере
гм.. ну и дипломы у вас :smile:

Аватара пользователя
RusBiT
лейтенант
Сообщения: 635
Зарегистрирован: 2007-08-03 11:43:53
Откуда: Красноярск
Контактная информация:

Re: Метапоисковик

Непрочитанное сообщение RusBiT » 2009-04-09 16:45:24

Инструмент специалиста конкурентной разведки.
С гуглем ясно , вот что делать с яндексом , рамблером. Если парсить, то явно мобильные версии http://m.ya.ru , http://m.myrambler.ru
Какие способы еще предложите?
Чем больше я познаю FreeBSD, тем больше я считаю себя ламером :)

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Метапоисковик

Непрочитанное сообщение zg » 2009-04-09 19:45:09

RusBiT писал(а):Если парсить, то явно мобильные версии
-)) WAP попробуй
RusBiT писал(а):Какие способы еще предложите?
напиши в яндекс :smile:

Аватара пользователя
RusBiT
лейтенант
Сообщения: 635
Зарегистрирован: 2007-08-03 11:43:53
Откуда: Красноярск
Контактная информация:

Re: Метапоисковик

Непрочитанное сообщение RusBiT » 2009-06-01 19:49:33

Может кому пригодиться
Яндекс.XML
Яндекс.XML позволяет вам делать автоматические запросы к Яндексу (не более 1000 в день) и самостоятельно обрабатывать результаты.
Зачем нужен (мне, по крайней мере):
1. Делать одновременно запросы в другие поисковые системы и объединять их выдачи.
2. Применять свой синтаксис, чтобы все основные операторы можно было набирать в русской раскладке.
3. Создать в Яндексе аналог оператора диапазона из Google — заменять '1930..1940' на '(1930|1931|1932|1933|1934|1935|1936|1937|1938|1939|1940)'. Для небольших диапазонов сойдет.
4. Сделать собственный дизайн выдачи. В нынешней яндексовской, на мой взгляд, много недостатков.
5. Выдавать ссылки на кэш для документов, найденных по ссылке.
6. Выводить несколько страниц с каждого найденного сайта.
И еще много чего по мелочи.

Если вдруг решите использовать Яндекс.XML вместо основного Яндекса, учтите, что, во-первых, их выдачи слегка различаются, во-вторых, в Яндекс.XML не работает параметр maxpassages, и больше двух сниппетов вам не покажут.

http://community.livejournal.com/kubok/45852.html
/me изучает поисковики :smile:
Чем больше я познаю FreeBSD, тем больше я считаю себя ламером :)

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Метапоисковик

Непрочитанное сообщение ProFTP » 2009-06-02 7:44:35

на каком языке?
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение