переходы с сайта - статистика...

[Alex Keda]

есть статистика переходов с сайта - куда уходили.
300 с копейками тысяч записей.
если кому интерсно - могу сделать дамп и отдать - с условием выката итога ))
графики не обязательно, но хотя бы табличку...
=======
собирал-собирал, а куда приткнуть - не знаю ))

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[hizel]

текст?
дафай на hizel амперсанд yandex точко ru

[Alex Keda]

дамп муси.
ща пожму скажу скока весит

[hizel]

занятно яндекс отдает

Код: Выделить всё

hizel@nightwatch:~/lis$ ls -l
итого 7536
-rw-r--r-- 1 hizel hizel 7703814 Июн 26 09:37 =?UTF-8?B?Z29fdG9fbGluay5zcWwuZ3o=?=

гм

Код: Выделить всё

hizel@nightwatch:~/lis$ cat d | wc -l
329343

колво записей совпадает

[Alex Keda]

непонял...

[hizel]

в общем принял, сую в свой мускул

[hizel]

вот экспресом родил три таблички

Код: Выделить всё

mysql> select from_url,count(to_url) as count_to_url from go_to_link group by from_url order by count_to_url DESC limit 20;
+---------------------------------+--------------+
| from_url                        | count_to_url |
+---------------------------------+--------------+
|                                 |        16505 |
| http://www.lissyara.su/?id=1488 |        14602 |
| http://www.lissyara.su/?id=1485 |        10878 |
| http://www.lissyara.su/?id=1062 |        10349 |
| http://www.lissyara.su/?id=1086 |         8503 |
| http://www.lissyara.su/?id=1611 |         6635 |
| http://www.lissyara.su/?id=1484 |         5859 |
| http://www.lissyara.su/?id=1320 |         4990 |
| http://www.lissyara.su/?id=1444 |         4426 |
| http://www.lissyara.su/?id=1128 |         3957 |
| http://www.lissyara.su/?id=1127 |         3771 |
| http://www.lissyara.su/?id=1533 |         3607 |
| http://www.lissyara.su/?id=1144 |         3543 |
| http://www.lissyara.su/?id=1066 |         3437 |
| http://www.lissyara.su/?id=1461 |         3425 |
| http://www.lissyara.su/scripts/ |         3382 |
| http://www.lissyara.su/?id=1329 |         3358 |
| http://www.lissyara.su/?id=1459 |         3353 |
| http://www.lissyara.su/?id=1173 |         3218 |
| http://www.lissyara.su/?id=1288 |         3005 |
+---------------------------------+--------------+
20 rows in set (0.00 sec)

Код: Выделить всё

mysql> select concat(date_format(go_date2,'%Y-%m-%d'),' 00:00:00') as go_date_day,count(to_url) as count_to_url from go_to_link group by go_date_day order by count_to_url DESC limit 20;
+---------------------+--------------+
| go_date_day         | count_to_url |
+---------------------+--------------+
| 2008-01-17 00:00:00 |         6817 |
| 2008-05-28 00:00:00 |         5590 |
| 2008-05-06 00:00:00 |         5036 |
| 2008-01-19 00:00:00 |         4919 |
| 2007-12-26 00:00:00 |         4663 |
| 2008-01-21 00:00:00 |         4576 |
| 2008-06-04 00:00:00 |         4226 |
| 2007-12-25 00:00:00 |         4223 |
| 2008-06-17 00:00:00 |         4182 |
| 2008-03-14 00:00:00 |         3810 |
| 2008-05-30 00:00:00 |         3787 |
| 2007-11-23 00:00:00 |         3693 |
| 2008-04-18 00:00:00 |         3646 |
| 2008-02-20 00:00:00 |         3591 |
| 2008-01-31 00:00:00 |         3559 |
| 2008-05-08 00:00:00 |         3494 |
| 2008-04-10 00:00:00 |         3457 |
| 2008-04-11 00:00:00 |         3403 |
| 2008-05-29 00:00:00 |         3363 |
| 2008-04-29 00:00:00 |         3344 |
+---------------------+--------------+
20 rows in set (0.00 sec)

Код: Выделить всё

mysql> select concat(date_format(go_date2,'%Y-%m-00'),' 00:00:00') as go_date_month,count(to_url) as count_to_url from go_to_link group by go_date_month order by count_to_url DESC limit 20;
+---------------------+--------------+
| go_date_month       | count_to_url |
+---------------------+--------------+
| 2008-05-00 00:00:00 |        54263 |
| 2008-01-00 00:00:00 |        47918 |
| 2008-04-00 00:00:00 |        46433 |
| 2007-12-00 00:00:00 |        43469 |
| 2008-02-00 00:00:00 |        42903 |
| 2008-03-00 00:00:00 |        40521 |
| 2008-06-00 00:00:00 |        40306 |
| 2007-11-00 00:00:00 |        13490 |
+---------------------+--------------+
8 rows in set (1.51 sec)

[Alex Keda]

её кстати чистить надо.
всякие давнлоадеры на robots.txt забивали и тоже ходили по линкам.
но их сразу видно - куча пеерходов за короткий промежуток времени с одного адреса.
собсно - помоему это самая главная проблема...

[hizel]

а как эта статистика снималась?
почему такое большое кол-во переходов с from_url=''

[Alex Keda]

непонял...

[hizel]

Код: Выделить всё

+---------------------------------+--------------+
| from_url                        | count_to_url |
+---------------------------------+--------------+
|                                 |        16505 |

from_url поле пустое c него наибольшее кол-во переходов

[Alex Keda]

а это когда реферер пустой.
можно сразу подропать... давнлоадеры всякие, и браузеры кривые

[f_andrey]

а гугл аналистик не пробовал прикручивать я иногда тешу свое самолюбие наблюдая кто когда откуда и почему забредает на мой блог статистика конечно не полная но красиво визуализированная

[Alex Keda]

а гугл аналистик не пробовал прикручивать я иногда тешу свое самолюбие наблюдая кто когда откуда и почему забредает на мой блог статистика конечно не полная но красиво визуализированная

там флеш. не люблю флеш
однако - уже довольно давно прикручен

[hizel]

Код: Выделить всё

mysql> select domain,count(*) as count_ from go_to_link group by domain order by count_ DESC limit 80;
+---------------------------+--------+
| domain                    | count_ |
+---------------------------+--------+
| www.freebsd.org           |  49589 |
| forum.lissyara.su         |  15900 |
| www.icq.com               |  10651 |
| NULL                      |   9006 |
| www.lissyara.su           |   7439 |
| www.opennet.ru            |   7180 |
| fr33man.ru                |   5754 |
| www.cs-amx.com            |   3881 |
| www.sys-adm.org.ua        |   3079 |
| sourceforge.net           |   2852 |
| turbogaz.kharkov-ua.com   |   2655 |
| lissyara.su               |   2643 |
| ip                        |   2526 |
| www.phpbb.com             |   2499 |
| ru.wikipedia.org          |   2352 |
| httpd.apache.org          |   2326 |
| www.exim.org              |   2155 |
| depositfiles.com          |   2154 |
| cybermotion.ru            |   1927 |
| http                      |   1810 |
| weec.ovl.ru               |   1797 |
| rapidshare.com            |   1788 |
| www.ntop.org              |   1676 |
| forum.ru-board.com        |   1605 |
| people.freebsd.org        |   1587 |
| lists.freebsd.org         |   1521 |
| www.amxmodx.org           |   1521 |
| www.rejik.ru              |   1515 |
| www.freebsd.org.ua        |   1413 |
| typo3.biz                 |   1400 |
| www.Courier-MTA.org       |   1260 |
| www.fr33man.ru            |   1250 |
| www.marvell.com           |   1247 |
| cod-4.ru                  |   1228 |
| bpft4.sourceforge.net     |   1220 |
| server.counter-strike.net |   1220 |
| www.postfix.org           |   1191 |
| vsftpd.beasts.org         |   1167 |
| doc.trolltech.com         |   1159 |
| 192.168.0.100             |   1154 |
| www.high5.net             |   1107 |
| russiaclan.ru             |   1075 |
| www.netams.com            |   1070 |
| www.dynamicnetworks.us    |   1060 |
| www.tildeslash.com        |   1059 |
| www.cacti.net             |   1056 |
| house.hcn-strela.ru       |   1034 |
| avos.satgate.net          |   1031 |
| www.eicar.org             |   1003 |
| www.samag.ru              |    994 |
| mangos.ru                 |    984 |
| 192.168.127.230           |    973 |
| www.openttd.org           |    973 |
| www.bsdportal.ru          |    956 |
| onix.opennet.ru           |    944 |
| www.eset.com              |    939 |
| www.cisco.com             |    932 |
| support.microsoft.com     |    891 |
| ldapadmin.sourceforge.net |    889 |
| www.samba.org             |    878 |
| www.jabber.org            |    874 |
| amxmod.net                |    870 |
| www.mysql.com             |    868 |
| www.maxmind.com           |    860 |
| ssl.fr33man.ru            |    845 |
| 127.0.0.1                 |    823 |
| www.clamav.net            |    808 |
| ns3744.ovh.net            |    800 |
| www.bog.pp.ru             |    795 |
| www.no-ip.com             |    793 |
| exim.org.ua               |    785 |
| forum.game-host.ru        |    770 |
| vsftpd.devnet.ru          |    769 |
| sarg.sourceforge.net      |    762 |
| www.iana.org              |    758 |
| www.teamspeak.com         |    754 |
| ts.firestrike.ru          |    754 |
| www.squid-cache.org       |    751 |
| dreamcatcher.ru           |    736 |
| www.i-rs.ru               |    734 |
+---------------------------+--------+
80 rows in set (1.83 sec)

domain получил через

Код: Выделить всё

hizel@nightwatch:~/lis$ cat reg.py
import MySQLdb
import re
from datetime import datetime as date

db = MySQLdb.connect(user='root',db='lissyara')
print 'connect'
cursor = db.cursor()
print 'cursor'
cursor.execute("SELECT id,to_url FROM go_to_link")
print 'execute'
result = cursor.fetchall()
domain = re.compile('https?\:\/\/([A-Za-z.0-9\-]+)')
print 'parse.....'
for row in result:
        domain_str = ''
        m = domain.match(row[1])
        if m:
                domain_str = m.group(1)
                cursor.execute("update go_to_link set domain='%s' where id=%s" % (domain_str,row[0]))

db.close()

[ProFTP]

это кто пришел от куда?

еще можно сделать кто ушол куда

[aemon]

это кто пришел от куда?

еще можно сделать кто ушол куда

и знать бы еще что сним случилось и принесло ли пользу