Страница 1 из 1
Метапоисковик
Добавлено: 2009-04-09 13:41:32
RusBiT
Для диплома требуется написать поисковик по поисковикам, т.е. чтобы сразу искать и в яндексе, гугле, рамблере (например), при том убрать повторяющие результаты.
Задание явно сложное, как брать инфу с поисковых систем? Просто парсить страничку или есть еще какие нибудь методы(типа ответов в xml)?
Re: Метапоисковик
Добавлено: 2009-04-09 14:36:30
ProFTP
в одну строку...

Re: Метапоисковик
Добавлено: 2009-04-09 14:42:07
ProFTP
ну там может есть сделнное
http://search.cpan.org/search?m=all&q=search&s=1
вывод допустим выводишь в массив, все эелементы повторяющиеся удаляешь, но поисковики выводят по разному, возможно, надо пробовать
либо делаешь чтобы в коненчом итоге вывод не был с одного и того же сайта...
Re: Метапоисковик
Добавлено: 2009-04-09 16:06:39
zg
RusBiT писал(а):или есть еще какие нибудь методы(типа ответов в xml)?
в гугле есть soap, в яндексе это платно было вроде, во всех остальных скорее всего лучше парсить.
RusBiT писал(а):т.е. чтобы сразу искать и в яндексе, гугле, рамблере
гм.. ну и дипломы у вас

Re: Метапоисковик
Добавлено: 2009-04-09 16:45:24
RusBiT
Инструмент специалиста конкурентной разведки.
С гуглем ясно , вот что делать с яндексом , рамблером. Если парсить, то явно мобильные версии
http://m.ya.ru ,
http://m.myrambler.ru
Какие способы еще предложите?
Re: Метапоисковик
Добавлено: 2009-04-09 19:45:09
zg
RusBiT писал(а):Если парсить, то явно мобильные версии
-)) WAP попробуй
RusBiT писал(а):Какие способы еще предложите?
напиши в яндекс

Re: Метапоисковик
Добавлено: 2009-06-01 19:49:33
RusBiT
Может кому пригодиться
Яндекс.XML
Яндекс.XML позволяет вам делать автоматические запросы к Яндексу (не более 1000 в день) и самостоятельно обрабатывать результаты.
Зачем нужен (мне, по крайней мере):
1. Делать одновременно запросы в другие поисковые системы и объединять их выдачи.
2. Применять свой синтаксис, чтобы все основные операторы можно было набирать в русской раскладке.
3. Создать в Яндексе аналог оператора диапазона из Google — заменять '1930..1940' на '(1930|1931|1932|1933|1934|1935|1936|1937|1938|1939|1940)'. Для небольших диапазонов сойдет.
4. Сделать собственный дизайн выдачи. В нынешней яндексовской, на мой взгляд, много недостатков.
5. Выдавать ссылки на кэш для документов, найденных по ссылке.
6. Выводить несколько страниц с каждого найденного сайта.
И еще много чего по мелочи.
Если вдруг решите использовать Яндекс.XML вместо основного Яндекса, учтите, что, во-первых, их выдачи слегка различаются, во-вторых, в Яндекс.XML не работает параметр maxpassages, и больше двух сниппетов вам не покажут.
http://community.livejournal.com/kubok/45852.html
/me изучает поисковики

Re: Метапоисковик
Добавлено: 2009-06-02 7:44:35
ProFTP
на каком языке?