Метапоисковик
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- RusBiT
- лейтенант
- Сообщения: 635
- Зарегистрирован: 2007-08-03 11:43:53
- Откуда: Красноярск
- Контактная информация:
Метапоисковик
Для диплома требуется написать поисковик по поисковикам, т.е. чтобы сразу искать и в яндексе, гугле, рамблере (например), при том убрать повторяющие результаты.
Задание явно сложное, как брать инфу с поисковых систем? Просто парсить страничку или есть еще какие нибудь методы(типа ответов в xml)?
Задание явно сложное, как брать инфу с поисковых систем? Просто парсить страничку или есть еще какие нибудь методы(типа ответов в xml)?
Чем больше я познаю FreeBSD, тем больше я считаю себя ламером 

Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- ProFTP
- подполковник
- Сообщения: 3388
- Зарегистрирован: 2008-04-13 1:50:04
- Откуда: %&й
- Контактная информация:
Re: Метапоисковик
в одну строку... 

- ProFTP
- подполковник
- Сообщения: 3388
- Зарегистрирован: 2008-04-13 1:50:04
- Откуда: %&й
- Контактная информация:
Re: Метапоисковик
ну там может есть сделнное
http://search.cpan.org/search?m=all&q=search&s=1
вывод допустим выводишь в массив, все эелементы повторяющиеся удаляешь, но поисковики выводят по разному, возможно, надо пробовать
либо делаешь чтобы в коненчом итоге вывод не был с одного и того же сайта...
http://search.cpan.org/search?m=all&q=search&s=1
вывод допустим выводишь в массив, все эелементы повторяющиеся удаляешь, но поисковики выводят по разному, возможно, надо пробовать
либо делаешь чтобы в коненчом итоге вывод не был с одного и того же сайта...
-
- полковник
- Сообщения: 5845
- Зарегистрирован: 2007-12-07 13:51:33
- Откуда: Верх-Нейвинск
Re: Метапоисковик
в гугле есть soap, в яндексе это платно было вроде, во всех остальных скорее всего лучше парсить.RusBiT писал(а):или есть еще какие нибудь методы(типа ответов в xml)?
гм.. ну и дипломы у васRusBiT писал(а):т.е. чтобы сразу искать и в яндексе, гугле, рамблере

- RusBiT
- лейтенант
- Сообщения: 635
- Зарегистрирован: 2007-08-03 11:43:53
- Откуда: Красноярск
- Контактная информация:
Re: Метапоисковик
Инструмент специалиста конкурентной разведки.
С гуглем ясно , вот что делать с яндексом , рамблером. Если парсить, то явно мобильные версии http://m.ya.ru , http://m.myrambler.ru
Какие способы еще предложите?
С гуглем ясно , вот что делать с яндексом , рамблером. Если парсить, то явно мобильные версии http://m.ya.ru , http://m.myrambler.ru
Какие способы еще предложите?
Чем больше я познаю FreeBSD, тем больше я считаю себя ламером 

-
- полковник
- Сообщения: 5845
- Зарегистрирован: 2007-12-07 13:51:33
- Откуда: Верх-Нейвинск
Re: Метапоисковик
-)) WAP попробуйRusBiT писал(а):Если парсить, то явно мобильные версии
напиши в яндексRusBiT писал(а):Какие способы еще предложите?

- RusBiT
- лейтенант
- Сообщения: 635
- Зарегистрирован: 2007-08-03 11:43:53
- Откуда: Красноярск
- Контактная информация:
Re: Метапоисковик
Может кому пригодиться

/me изучает поисковикиЯндекс.XML
Яндекс.XML позволяет вам делать автоматические запросы к Яндексу (не более 1000 в день) и самостоятельно обрабатывать результаты.
Зачем нужен (мне, по крайней мере):
1. Делать одновременно запросы в другие поисковые системы и объединять их выдачи.
2. Применять свой синтаксис, чтобы все основные операторы можно было набирать в русской раскладке.
3. Создать в Яндексе аналог оператора диапазона из Google — заменять '1930..1940' на '(1930|1931|1932|1933|1934|1935|1936|1937|1938|1939|1940)'. Для небольших диапазонов сойдет.
4. Сделать собственный дизайн выдачи. В нынешней яндексовской, на мой взгляд, много недостатков.
5. Выдавать ссылки на кэш для документов, найденных по ссылке.
6. Выводить несколько страниц с каждого найденного сайта.
И еще много чего по мелочи.
Если вдруг решите использовать Яндекс.XML вместо основного Яндекса, учтите, что, во-первых, их выдачи слегка различаются, во-вторых, в Яндекс.XML не работает параметр maxpassages, и больше двух сниппетов вам не покажут.
http://community.livejournal.com/kubok/45852.html

Чем больше я познаю FreeBSD, тем больше я считаю себя ламером 

- ProFTP
- подполковник
- Сообщения: 3388
- Зарегистрирован: 2008-04-13 1:50:04
- Откуда: %&й
- Контактная информация:
Re: Метапоисковик
на каком языке?