[PHP] тормоза...

[Alex Keda]

имею такой кусок кода

Код: Выделить всё

$text = str_ireplace($model_marka_array, $model_marka_links_array, $text);

тексту немного - несколько килобайт.
массивы - 16182 значения в каждом, простые, не знаю как правильно называется, делал так:

Код: Выделить всё

array_push($model_marka_array, trim($var));

обработка занимает 1.4 секунды... машина - amd64 2 c чем-то гигагерца (эта машина, на которой сайт).
str_replace быстрей чем str_ireplace в два с лишним раза...
однако - и это много на мой взгляд.
есть более хорошие решения?
==========
легенда. есть текст типа "Новая Mazda 6 экономичней старой...." - так вот после обработки этой функцией будет:

Код: Выделить всё

Новая <a href="....">Mazda 6</a> экономичней старой....

может есть способ лучше?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zg]

может есть способ лучше?

есть, можно снизить время работы до тысячных долей секунды

[Alex Keda]

может есть способ лучше?

есть, можно снизить время работы до тысячных долей секунды

вы часом не из Англии?
Там тоже любят давать полноценные но при этом полностью бесполезные советы...

[zg]

вы часом не из Англии?
Там тоже любят давать полноценные но при этом полностью бесполезные советы...

нет, не из англии

ты чего от меня хочешь? если код, то выкладывай код, если решения, выкладывай алгоритм, если просто рассуждений на тему, то я уже порассуждал. Данный топик это рассуждение на тему "массивы", ты спросил можно, я ответил можно... чего ещё надо? ))))

[Alex Keda]

имею такой кусок кода

Код: Выделить всё

$text = str_ireplace($model_marka_array, $model_marka_links_array, $text);

тексту немного - несколько килобайт.
массивы - 16182 значения в каждом, простые, не знаю как правильно называется, делал так:

Код: Выделить всё

array_push($model_marka_array, trim($var));

обработка занимает 1.4 секунды...

собственно код. место которое тормозит.
инетерсует содержимое массивов?
я конечно могу записать в файл и выложить - но думаю от этого пользы не будет.
какой ещё нужен код?
синтаксис функции str_ireplace известен, массивы любые, одинакового размера, тест любой.
===========
всё-таки вы из англии ))

[zg]

всё-таки вы из англии ))

Лис, у тебя серьёзные проблемы с логикой работы, поэтому ошибка не в использовании функции str_ireplace, а в той сруктуре, где она используется, я на 99% уверен, что эту функцию вообще можно исключить из кода, либо делать обработку однократно.

[Alex Keda]

обработка делается однократно
одно выполнение занимает более секунды.
заменить - пока тока до кэширования результатов додоумался - но там сложные навороты с админкой получаются - чтобы измения запеленговать....
=========
есть лучший метод заменить вхождения в тесте?

[zg]

есть лучший метод заменить вхождения в тесте?

в BBCode интересно сделано

без кода трудно сказать...

[Alex Keda]

bbcode юзает тоже самое - по возможности str_replace - когда невозможно preg_* - поскольку первый значительно быстрей.
=========
код - ща солью массивы в текстовые файлы, текстик и настругаю образец на php в десяток строк.

[Alex Keda]

во.

[zg]

ок, пока смотрю, но самое быстрое решение будет на временных таблицах MySQL. Мускуль есть?

[zg]

это скрипт, который подсвечивает нужные ссылки в тексте?

хмм... ща подумаю

[Alex Keda]

ну, это 1/5 функции которая это делает.
там несколько сложней - html убирается в массив, заменяется униальными строками, потом по нему проходиться эта функция, ещё пара подобных - правда там массивы на порядок или два меньше этого, взад вертается html, и отдаётся обратно.
это тот кусок который тупит больше всего....
именно приведённая строка...
===========
база разумеется. есть.
в файл текстовый я из базы переливал.
==========
а каким боком тут муся - мне в тексте вхождения надо заменитьь....
хотя даже несколько сотен простых запросов будут быстрей - это да....

[zg]

без жертв не обойтись:

Код: Выделить всё

<?php

// время выполнения

setlocale(LC_ALL, 'ru_RU.CP1251');

	$model_marka_links_array = array();
	// открываем файл
	$handle = fopen("model_marka_links_array.txt", "r");
	while(!feof($handle)) {	// перебираем файл
		$str = fgets($handle);		// читаем строку из файла
		$str=trim($str);		// убираем начальные и конечные пробелы из файла
		if(empty($str)) continue;
		$model_marka_links_array[] = $str;	// добавление строки в массив
	}	// закрытие пребора файла
	// закрываем файл
	fclose($handle);


// достаём массивы из текстовых файлов
	$model_marka_array = array();
	// открываем файл
	$handle = fopen("model_marka_array.txt", "r");
	
	$i = 0;
	
	while(!feof($handle)) {	// перебираем файл
		$str = fgets($handle);		// читаем строку из файла
		$str=trim($str);		// убираем начальные и конечные пробелы из файла
		if(empty($str)) continue;
		$model_marka_array[$str] = $model_marka_links_array[ $i ++ ];	// добавление строки в массив
	}	// закрытие пребора файла
	// закрываем файл
	fclose($handle);



// достаём в переменную текст для обработки - text_for_replace.txt

		$handle = fopen("text_for_replace.txt", "rb");
		$text = fread($handle, filesize("text_for_replace.txt"));


// var_dump($model_marka_array);
// echo "===============================";
// var_dump($model_marka_links_array);

function repl( $str )
{
	global $model_marka_array;
	
	if ( isset($model_marka_array[ $str[0] ]) ) 
		return $model_marka_array[ $str[0] ];
	else 
		return $str[0];
}


// считываем текущее время
$start_time = microtime();
// разделяем секунды и миллисекунды
//(становятся значениями начальных ключей массива-списка)
$start_array = explode(" ",$start_time);
// это и есть стартовое время
$start_time = $start_array[1] + $start_array[0];

// заменяем. до момента замены время выполнения 0.0761
//$text = str_ireplace($model_marka_array, $model_marka_links_array, $text);

//$text = 'GAZ-А';
$text = preg_replace_callback('/[\w-]+/', 'repl', $text);

echo $text;
// после - время 4.7394

// Выводим время генерации скрипта
$end_time = microtime();
$end_array = explode(" ",$end_time);
$end_time = $end_array[1] + $end_array[0];
// вычитаем из конечного времени начальное
$time = $end_time - $start_time;
// округляем общее время
$time = round($time, 4);

echo "Время работы скрипта = ". $time;

?>

на перле этот скрипт будет работать в несколько раз быстрее, но есть траблы - составные слова не заменяются, поскольку регулярка слишком простая.

[zg]

такие траблы легко и просто решаются посредством C и сортированных массивов, но это будет сложнее в плане реализации.

[Alex Keda]

ясно...
на php решения нет...
тогда буду кэшировать выходной текст...
там есть кэширвоание - но страниц целиком - при появлении в массиве $_POST чего-то лишнего кэш удаляется...
в принципе - при копеечной посещаемости уже неплохо пашет - половина идёт из кэша.
придётся переписать кэширование на более сложное

[zg]

ясно...
на php решения нет...

да погоди сдаваться ))) выложи лучше мускульный экспорт таблиц ща ещё чё-нить нарую

[Alex Keda]

таблицы я могу любые сделать.
движок-то самописный.
==========
дамп таблицы по которой строиться текстовый файл.
принцип построениея простой

Код: Выделить всё

марка модель
маркамодель
марка-модель

типа того, с учётом что возможно смешивание русских и аглицких.
могу дать кусок кода на php для построения

[Alex Keda]

думаю, код не помешает сразу же...
проще будет

Код: Выделить всё

// построение массивов марок-моделей и соответствующих им url
// цель - обработка выводимого текст с целью более густой 
// внутренней перелинковки сайта
// начато 2007-12-01
// строим запрос на извлечение комбинаций марок и моделей
$sql = main_sql_query("SELECT /*
			CONVERT(`marka_name_eng` USING utf8) AS `marka_name_eng`,
			CONVERT(`marka_name_ru` USING utf8) AS `marka_name_ru`,
			CONVERT(`model_name_eng` USING utf8) AS `model_name_eng`,
			CONVERT(`model_name_ru` USING utf8) AS `model_name_ru` */
			*
			FROM `internal_links_level_1`");
// делаем массивы
$model_marka_array = array();
$model_marka_links_array = array();
// перебираем полученные данные, и стром массив
while ($row_id = mysql_fetch_assoc($sql))
{	// открытие построения массива
	//echo "имя переменной=" . $row_id['variable_name'] . "; значение переменной=" . $row_id['variable_value'] . "<br>";
	// строим url
	$url = "/catalog/" . $row_id['marka'] . "/" . $row_id['model'] . "/";
	// конвертим элементы
	$marka_name_eng = $row_id['marka_name_eng'];	//iconv('windows-1251','UTF-8',$row_id['marka_name_eng']);
	$model_name_eng = $row_id['model_name_eng'];	//iconv('windows-1251','UTF-8',$row_id['model_name_eng']);
	$marka_name_ru = $row_id['marka_name_ru'];	//iconv('windows-1251','UTF-8',$row_id['marka_name_ru']);
	$model_name_ru = $row_id['model_name_ru'];	//iconv('windows-1251','UTF-8',$row_id['model_name_ru']);

	$tip_content = "onMouseover=\"ddrivetip(" . $row_id['model_name_2'] . ")\" onMouseout=\"hideddrivetip()\" class=\"internal_invizible\"";

	// добавляем в массив аглицкую комбинацию
	array_push($model_marka_array, trim($marka_name_eng . " " . $model_name_eng));
	array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_eng . " " . $model_name_eng . "</a>");
	// добавляем в массив русскую комбинацию
	array_push($model_marka_array, trim($marka_name_ru . " " . $row_id['model_name_ru']));
	array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_ru . " " . $model_name_ru . "</a>");
	if($model_name_ru !== $model_name_eng){	// имена разные
		// добавляем в массив англо-русскую комбинацию
		array_push($model_marka_array, trim($marka_name_eng . " " . $model_name_ru));
		array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_eng . " " . $model_name_ru . "</a>");
		// добавляем в массив русско-ангийскую комбинацию
		array_push($model_marka_array, trim($marka_name_ru . " " . $model_name_eng));
		array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_ru . " " . $model_name_eng . "</a>");
	}	// закрытие - имена разные

	// надо ещё скленные - если без пробелов, типа Мазда3
	array_push($model_marka_array, trim($marka_name_eng . $model_name_eng));
	array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_eng . $model_name_eng . "</a>");
	// добавляем в массив русскую комбинацию
	array_push($model_marka_array, trim($marka_name_ru . $model_name_ru));
	array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_ru . $model_name_ru . "</a>");
	if($model_name_ru !== $model_name_eng){	// имена разные
		// добавляем в массив англо-русскую комбинацию
		array_push($model_marka_array, trim($marka_name_eng . $model_name_ru));
		array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_eng . $model_name_ru . "</a>");
		// добавляем в массив русско-ангийскую комбинацию
		array_push($model_marka_array,  trim($marka_name_ru . $model_name_eng));
		array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_ru . $model_name_eng . "</a>");
	}	// закрытие - имена разные

	// добавялем в массив вариант - через дефис. Глвное чтобы как диапазон не поняло...
	array_push($model_marka_array, trim($marka_name_eng . "-" . $model_name_eng));
	array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_eng . "-" . $model_name_eng . "</a>");
	// добавляем в массив русскую комбинацию
	array_push($model_marka_array, trim($marka_name_ru . "-" . $model_name_ru));
	array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_ru . "-" . $model_name_ru . "</a>");
	if($model_name_ru !== $model_name_eng){	// имена разные
		// добавляем в массив англо-русскую комбинацию
		array_push($model_marka_array, trim($marka_name_eng . "-" . $model_name_ru));
		array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_eng . "-" . $model_name_ru . "</a>");
		// добавляем в массив русско-ангийскую комбинацию
		array_push($model_marka_array, trim($marka_name_ru . "-" . $model_name_eng));
		array_push($model_marka_links_array, "<a " . $tip_content . " href=\"$url\">" . $marka_name_ru . "-" . $model_name_eng . "</a>");
	}	// закрытие - имена разные


}	// закрытие построения массива

[zg]

всё!.. нашёл я как твою траблу побороть с помощью муси в три запроса ща ещё потестю и выложу

[zg]

Код: Выделить всё

SET @s:='Citroen C4 Picasso';
SELECT @s:=replace(@s,  marka_name_eng,  model_name_2) FROM internal_links_level_1;
SELECT @s;

суть, я думаю, ясна? пихаем переменную с нужным текстом в базу, потом прогоняем её через все записи в таблице, заменяя найденные слова, в данном случае marka_name_eng на model_name_2

Показывает записи 0 - 0 (1 всего, Запрос занял 0.0002 сек)

ну.. тут у меня запрос видать скешировался и показывает аж десятитысячные

решение?

[Alex Keda]

э....
все слова в тексте пихать в базу во всех комбинациях?
в описании ситроена 4 могут быть упоминания о пежо, контора -то одна...
или отзыв посетителя где он пеерчислит десяток машинк оторыми владел...

[Alex Keda]

интеерсно, а сколько переменных муся выдержит...
если я всю колонку таблицы запихаю как переменные... и по тексту искать и заменять
вопрос что быстрей будет - муся или str_replace....
т.е. переверну твой метод - выдержит или нет...
надо вечером попробовать....

[zg]

э....
все слова в тексте пихать в базу во всех комбинациях?

тут есть много вариантов, я бы сделал таблицу синонимов

в описании ситроена 4 могут быть упоминания о пежо, контора -то одна...
или отзыв посетителя где он пеерчислит десяток машинк оторыми владел...

эээ... я дал идею как заменить "узкое" место

[zg]

интеерсно, а сколько переменных муся выдержит...
если я всю колонку таблицы запихаю как переменные... и по тексту искать и заменять

а как ты хочешь сделать? у меня моск этого не понимает... да и смысл, селект работает быстрее