Создание БД из логов???

[Мишаня]

Кто поможет, нужно создать БД и файла логов построчно с разделителем "пробел" ... можно ли такое сделать и как?
Зарание спасибо за ответ!

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

а подробней

[ev]

сделать можно - банально скриптом инсерт

[Мишаня]

Есть файл с логами не важно какой, например:

Код: Выделить всё

Дата Имя Фамилия Отчество Телефон ОтКудаЗаходил КогдаЗаходил .... и т.д

и вот это записать в некую БД с полями разделенными пробелами построчно ...

просто потом хочу с помошью PHP осушествлять поиск по определенным параметрам по этой БД в WEB интерфейсе ...

[Мишаня]

сделать можно - банально скриптом инсерт

а поподробнее можно пожалуйста?

[Мишаня]

Есть файл с логами не важно какой, например:

Код: Выделить всё

Дата Имя Фамилия Отчество Телефон ОтКудаЗаходил КогдаЗаходил .... и т.д

и вот это записать в некую БД с полями разделенными пробелами построчно ...

просто потом хочу с помошью PHP осушествлять поиск по определенным параметрам по этой БД в WEB интерфейсе ...

а вообщето логи из posfix'a уточню ...

[ev]

если на пхп, то все относительно просто
1. читаем файл (построчно)
2. дальше делаем explode (чтобы разбить строку)
3. ну и делаем инсерт в базу с полученными данными

[Alex Keda]

лоад дата фром филе

[zg]

http://dev.mysql.com/doc/refman/5.0/en/load-data.html

Код: Выделить всё

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number LINES]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

TERMINATED BY - это признак конца поля, в твоём случае должен быть пробел

[Мишаня]

Спасибо, попробую отпишусь ..

[Hazzard]

если на пхп, то все относительно просто
1. читаем файл (построчно)
2. дальше делаем explode (чтобы разбить строку)
3. ну и делаем инсерт в базу с полученными данными

причём скрипт можно будет засунуть в крон чтобы он автоматически парсил логи и забивал в базу

[Мишаня]

Так, отписываюсь как и обещал!
Попробывал пока что два способа:
1) Напрямую с Mysql
2) C помощью Perl сценария
Итак: Создал БД users с 5 полями (id, year, name, sname, phone). Поле ID - AUTO_INCREMENT. Записываю пробную запись в БД напрямую с Mysql:

Код: Выделить всё

1987 Misha Pypkin 2556677

поле id принемает значение 1;
потом пробую записывать в БД с помощью файла вида:

Код: Выделить всё

1988 Anton Sidorov 2449908
1989 Sasha Rostov 2324345

C помощью кода:

Код: Выделить всё

LOAD DATA INFILE "/usr/home/user/users" INTO TABLE users fields terminated by ' ' lines terminated by '\n';

записываю столбики по пробелу, а строки по переходу на новую строку. Столкнулся с некоторыми трудностями:

1) Так как поиск идет по пробелу первая запись записывается в поле id, что совсем не нужно; (Исправляется установкой пробела в исходном файле в начале строки, но мне это не подходит т.к. логи все начинаются с символа);
2) При каждом обращении к такому коду идет запись в БД поллностью дублируя и страрые и новые записи, что тоже немыслимо, т.к. логи на 500000 строк а может и больше, и при добавлении хотя бы одной записи Сервер накроется нафиг нужно что бы просто было обновление новых записей.

Теперь что косается Perl сценария: есть вот такой вот скрипт:

Код: Выделить всё

#!/usr/local/bin/perl
use Mysql;
$dbh = Mysql->connect(undef,"users","anonymous","");
$filepath = "/usr/home/user/users.txt";
opendir (DIR, "$filepath");
@userfiles = sort readdir (DIR);

closedir(DIR);

foreach $file (@userfiles)
{
    open(USER,"$filepath/$file");
    @userdata = <USER>;
    chomp ($_) foreach (@userdata);
    close (USER);
    $inserth = $dbh->query("INSERT INTO users(year,name,sname,phone) VALUES ('$userdata[0]','$userdata[1]','$userdata[2]','$userdata[3]')");
    $num++;
}
print "'$userdata[0]' \n";
$counth = $dbh->query("SELECT ID FROM users");
$count = $counth->numrows;
print "В таблице $count пользователей, $num из которых только что было добавленно. \n\n";

Выводит точное количество строк, но вот ничего не добавляет и просто пустует ...

Подскажите пожалуйста что может быть не так? Мне желательно скрипт использовать, что бы потом на Cron прицепить ...?

[zg]

Подскажите пожалуйста что может быть не так?

ну во-первых не надо логи в базе хранить, мускул этого не любит, а во-вторых не использовать пробел в качестве разделителя -)

[Мишаня]

ну а если у меня логи пробелами разделены? что тогда?

[Hazzard]

если на пхп, то все относительно просто
1. читаем файл (построчно)
2. дальше делаем explode (чтобы разбить строку)
3. ну и делаем инсерт в базу с полученными данными

только прибавь к этому ещё
2.1 добавить одну пустую ячейку в запрос

[Мишаня]

А можно код в студию, а то так трудновато ориентироваться?

[Hazzard]

если на пхп, то все относительно просто
1. читаем файл (построчно)
2. дальше делаем explode (чтобы разбить строку)
3. ну и делаем инсерт в базу с полученными данными

причём скрипт можно будет засунуть в крон чтобы он автоматически парсил логи и забивал в базу

1) file();
2) explode();
3) mysql_***
http://www.php.net/manual/ru/

[ProFTP]

поробуй так ,если не заработает скажи

Код: Выделить всё

#!/usr/bin/perl
use DBI;

$db_type = 'mysql';
$db_host = ''localhost;

$db_name = '';
$db_user = '';
$db_pass = '';

$dbh = DBI->connect("DBI:$db_type:database=$db_name;host=$db_host",  $db_user,  $db_pass,  {RaiseError => 1,  PrintError => 1   }    ) || die $DBI::errstr;

$filepath = "/usr/home/user/users.txt";
opendir (DIR, "$filepath");
@userfiles = sort readdir (DIR);

closedir(DIR);

foreach $file (@userfiles)
{
    open(USER,"$filepath/$file");
    @userdata = <USER>;
    chomp ($_) foreach (@userdata);
    close (USER);
   $dbh = do(
        qq{ INSERT INTO users(year,name,sname,phone) 
                              VALUES (?,?,?,?)
             }, undef,  $userdata[0], $userdata[1], $userdata[2],$userdata[3] );

    $num++;
}
print "'$userdata[0]' \n";

$counth = $dbh->selectrow_arrayref(qq{SELECT COUNT(*) FROM users }, undef );

print "В таблице $counth->[0] пользователей, $num из которых только что было добавленно. \n\n";

вот еще я писал для логов постфикса
он смотрит если ли новые логи и записывет новые логи в БД...

Код: Выделить всё

#!/usr/bin/perl
use DBI;
use Fcntl ':flock';
my $log = '/var/log/maillog';
open LOG, '<', $log or die "Can't open $log: $!\n";
flock(LOG,LOCK_EX);
my $pos = 0;
$pos = do {chomp; $_} while <DATA>;
seek LOG, $pos, 0 if $pos <= -s $log;

$dbh = DBI->connect("DBI:mysql:host=localhost;database=db","login","pass") 
    or die "Нет доступа к СУБД!";
$insert = "INSERT INTO maillog (data,text) VALUES(?,?)";
$sth = $dbh->prepare("$insert");


while ($line = <LOG>)
{
  my ($month, $day, $time, $hostname, $servicename) = split / /, $line, 5;

$timedata="$month $day $time";
$text = "$hostname $servicename";

$sth->execute($timedata,$text);
}

$sth->finish;
$dbh->disconnect;


$pos = tell LOG;
flock(LOG,LOCK_UN);
close LOG;
exec qw(perl -0777 -i -pe), 's/$/\n'.$pos.'/', $0;
__DATA__
0

[zg]

ну а если у меня логи пробелами разделены? что тогда?

не надо логи в базе хранить

логи имеют первосходное свойство - они прекрасно хранятся в файлах

[Мишаня]

ну а если у меня логи пробелами разделены? что тогда?

не надо логи в базе хранить

логи имеют первосходное свойство - они прекрасно хранятся в файлах

Мне нужно выборку и поиск осудкствлять

[ev]

Мне нужно выборку и поиск осудкствлять

grep

[zg]

Мне нужно выборку и поиск осудкствлять

греп или авк будут в данном случае делать выборку в сотни раз эффективней, хотя бы потому, что данные хранятся в разных файлах, а не в одном как в мускуле. То есть выборка будет идти по целевым данным, а не всем подряд.

[Мишаня]

Мне нужно выборку и поиск осудкствлять

греп или авк будут в данном случае делать выборку в сотни раз эффективней, хотя бы потому, что данные хранятся в разных файлах, а не в одном как в мускуле. То есть выборка будет идти по целевым данным, а не всем подряд.

Да, вот именно поэтому я и хочу сделать потом веб интерфейс с поиском который будет заменять grep для обычного пользователя, что бы не давать ему определенных привилегий ...

[zg]

который будет заменять grep для обычного пользователя

а что мешает парсить вывод грепа? конечно не так удобно как с мускулем, но в принципе тоже ничего сложного. В моей статистике так и сделано, никто не жаловался. К слову, логи за месяц весят пять-шесть гиг.

[MAK]

1) Так как поиск идет по пробелу первая запись записывается в поле id, что совсем не нужно; (Исправляется установкой пробела в исходном файле в начале строки, но мне это не подходит т.к. логи все начинаются с символа);

Перемести поле id в конец таблицы. Или воще его убей.