fastcgi и большие файлы

[ProFTP]

при скачивание тестовой файл, скачка обрываеться по рахному от 60 до 70 мтеров, сам файл 100метров

Код: Выделить всё

 FastCgiConfig   -singleThreshold 5 -minProcesses 2 -maxProcesses 32 -restart    \
                        -idle-timeout 22 -killInterval 10  -autoUpdate \
                        -pass-header HTTP_AUTHORIZATION 

с разными конифгами пробовал

Код: Выделить всё

 FastCgiConfig   -singleThreshold 100 -minProcesses 2  -restart    \
                        -idle-timeout 1000 -killInterval 1000  -autoUpdate \
                        -pass-header HTTP_AUTHORIZATION 

Код: Выделить всё

max_execution_time = 300     ; Maximum execution time of each script, in seconds
max_input_time = 600	; Maximum amount of time each script may spend parsing request data
;max_input_nesting_level = 64 ; Maximum input variable nesting level
memory_limit = 32M      ; Maximum amount of memory a script may consume (128MB)

Код: Выделить всё

#!/bin/sh
PHP_FCGI_CHILDREN=2
export PHP_FCGI_CHILDREN
PHP_FCGI_MAX_REQUESTS=100
export PHP_FCGI_MAX_REQUESTS

exec /usr/local/bin/php-cgi

при скачивние в топе пишет что работает от www, но сайт нормально работает от пользователя...
права стоят!

почему он обрываеться? что еще в конфиге?
кто-то пробовал скачивать у себя с fastcgi?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zingel]

Код: Выделить всё

upload_max_filesize && post_max_size

нужно поставить больше 60-70

[ProFTP]

было 100

Код: Выделить всё

upload_max_filesize = 1000M
post_max_size = 1000M

поставил так, перегрузил, тоже самое...

[zingel]

покажи вывод (время меня интересует скачивания)

например через

Код: Выделить всё

time wget www.fuckingsomehost.tld/test.file

[ProFTP]

Код: Выделить всё

$ time wget http://.ua/1/1.avi
--2008-08-20 09:46:17--  http://.ua/1/1.avi
Resolving thedj.org.ua... 193.201.81.18
Connecting to thedj.org.ua|193.201.81.18|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 731711488 (698M) [video/x-msvideo]
Saving to: `1.avi'

40% [===============>                        ] 294,114,886 3.57M/s   in 80s    

2008-08-20 09:47:37 (3.50 MB/s) - Connection closed at byte 294114886. Retrying.

--2008-08-20 09:47:37--  (try: 2)  http://.ua/1/1.avi
Connecting to .ua|193.201.81.18|:80... connected.
HTTP request sent, awaiting response... 206 Partial Content
Length: 731711488 (698M), 437596602 (417M) remaining [video/x-msvideo]
Saving to: `1.avi.1'

49% [++++++++++++++++==>                     ] 360,217,279 3.50M/s  eta 1m 44s ^Ctime: command terminated abnormally
       99.69 real         0.84 user         6.59 sys

выключаеться по разному! несколько раз пробовал бывает до 85 процентов дойдет

кстате, хотел еще спросить как перегружать apache22 чтобы сессии не обрывались, точнее чтобы конфигурационный файл применить в действие

делал так:

Код: Выделить всё

# apachectl graceful

но файл при скачивании оборвался потом

[zingel]

Код: Выделить всё

кстате, хотел еще спросить как перегружать apache22 чтобы сессии не обрывались

правильно делал, у тебя есть бекенд в виде какого нить нджинкса?

[ProFTP]

сори не понял про бекенд, что это? где он?

я когда скачивал файл, то не перегружал apache22, хотелось бы решить задачу почему он обрывает...

просто заодно перегрузил apache так как написал, и он тоже оборвался, по той команде,

( postfix например держит соединение с БД и работает сней если кто-то что-то добавит, а почему апаче так не может?)

[zingel]

Код: Выделить всё

sockstat -4c && vmstat -z | grep socket*; grep httpd /var/log/messages

[ProFTP]

Код: Выделить всё

# sockstat -4c && vmstat -z | grep socket*; grep httpd /var/log/messages
USER     COMMAND    PID   FD PROTO  LOCAL ADDRESS         FOREIGN ADDRESS      
www      httpd      42501 36 tcp4   10.0.0.4:80          85.252.254.22:64373

стоял Аксселератор, я его выключил, перегрузил - тоже самое

[zingel]

а если качать по-другому протоколу, также обрывается? FTP? TFTP? если через SSL качать?

[ProFTP]

через ftp, тоже оборвалась... сетевая наверное, другие ограничение вроде бы не могут быть?

Код: Выделить всё

68% [++++++++++++++++++++++++==>             ] 500,504,213 3.96M/s  eta 56s

в логах всегда такое пишет

Код: Выделить всё

tcpflags 0x10<ACK>; tcp_do_segment: FIN_WAIT_2: Received 512 bytes of data after socket was closed, sending RST and removing tcpcb

[manefesto]

пробуй качнуть с той тачке на которой это добро стоит.

[ProFTP]

это и есть та тачка, ладно поменяю сетевую тогда...

с других сайтов качает (внешних), я пробовал скачать файл 1Gb, скачался...

[manefesto]

епт...ftp://localhost

[zingel]

Код: Выделить всё

ifconfig -amnv

[ProFTP]

Код: Выделить всё

# ifconfig -amnv
rl0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
	options=48<VLAN_MTU,POLLING>
	capabilities=48<VLAN_MTU,POLLING>
	ether 00:0e:2e:db:68:f2
	inet 10.0.0.8 netmask 0xffff0000 broadcast 10.8.255.255
	media: Ethernet autoselect (100baseTX <full-duplex>)
	status: active
	supported media:
		media autoselect
		media 100baseTX mediaopt full-duplex
		media 100baseTX
		media 10baseT/UTP mediaopt full-duplex
		media 10baseT/UTP
		media 100baseTX mediaopt hw-loopback
ed0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
	ether 52:54:ab:13:61:56
	media: Ethernet autoselect (10base2/BNC)
	supported media:
		media autoselect
		media 10base5/AUI
		media 10base2/BNC
		media 10baseT/UTP
		media 10baseT/UTP mediaopt full-duplex
xl0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
	options=49<RXCSUM,VLAN_MTU,POLLING>
	capabilities=49<RXCSUM,VLAN_MTU,POLLING>
	ether 00:0d:87:5b:ee:b5
	media: Ethernet autoselect (none)
	status: no carrier
	supported media:
		media autoselect
		media 100baseTX mediaopt full-duplex
		media 100baseTX
		media 10baseT/UTP mediaopt full-duplex
		media 10baseT/UTP
		media none
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
	inet6 fe80::1%lo0 prefixlen 64 scopeid 0x4 
	inet6 ::1 prefixlen 128 
	inet 127.0.0.1 netmask 0xff000000 
	groups: lo 

скачивание с другого сайта происходит нормально...

месяц назад это все работало, сейчас не работает...

[paix]

раздавать статику через фастцжи - сильный ход

[zingel]

диффайте, вспоминайте, что было месяц назад и что сейчас.

[ProFTP]

не помню что бы навреное 6.3 была после того как обновил - одни глюки, на релиз надо обновиться, но в прошлый раз когда обновлялся, то на легко не обновилась, ругалась, много времени надо убить на это обновление, и если я не знаю точно измениться лм что нибудь

девис полинг наверное не было, а может и был, но в sysctl.conf ничего не менял...

попробую сетевую поменяю, потом будет видно, из Frenzy загружусь

[LMik]

раздавать статику через фастцжи - сильный ход

+1 мужик! стопудово.

[ProFTP]

разрывает через 1.20 мин или 80сек!

время разрыва:
http
17:18
18:38
19:58

ftp
21:39
23:06
24:26

http:
26:10
23:06
24:26

ftp:
30:15
31:42
33:02

где это может быть?

думал что в sysctl.conf проблема (но я не понмю чтоыб я его менял), удалил его, и после перезагрузки никакой сервис на загружаеться вообще, NAT не работает, может это что-то в freebsd 7.0? скоипрвал sysctl.conf обратно - сервисы заработали...

а какой нужен по умолчанию sysctl.conf ?

вот он:

Код: Выделить всё

# $FreeBSD: src/etc/sysctl.conf,v 1.8 2003/03/13 18:43:50 mux Exp $
#
#  This file is read when going to multi-user and its contents piped thru
#  ``sysctl'' to adjust kernel values.  ``man 5 sysctl.conf'' for details.
#
#
# Uncomment this to prevent users from seeing information about processes that
# are being run under another UID.
compat.linux.osname=Linux
compat.linux.osrelease=4.3-STABLE
kern.ngroups=128
kern.argmax=65536
kern.cam.scsi_delay=1000

#kern.coredump=1

#ddb.panic=5
#debug.kdb.enter=1
#debug.kdb.panic=1
#ddb.panic=5
#ddb.console=5


kern.corefile=/home/%U.%N.core
kern.maxusers=384
kern.ipc.shmall=524288
kern.ipc.shmmax=1073741824

kern.ipc.somaxconn=8192 
kern.ipc.maxsockets=16424 
kern.ipc.maxsockbuf=16777216
kern.ipc.shm_allow_removed=1
kern.ipc.shm_use_phys=1
kern.logsigexit=0   # Do not log fatal signal exits (e.g. sig 11)
kern.maxfiles=10000
kern.maxproc=2164
kern.maxprocperuid=1000
kern.maxvnodes=300000
kern.polling.enable=1
kern.polling.user_frac=3
kern.ps_showallprocs=0
kern.sync_on_panic=1
net.inet.icmp.bmcastecho=0
net.inet.icmp.drop_redirect=1
net.inet.icmp.icmplim=30
net.inet.icmp.icmplim_output=1
net.inet.icmp.log_redirect=1
net.inet.icmp.maskrepl=0
net.inet.ip.accept_sourceroute=0
net.inet.ip.check_interface=1 #Verify packet arrives on correct interface
#
####
net.inet.ip.fastforwarding=1
net.inet.ip.forwarding=1
net.inet.ip.fw.autoinc_step=50
net.inet.ip.fw.curr_dyn_buckets=256
net.inet.ip.fw.debug=1
net.inet.ip.fw.dyn_ack_lifetime=300
net.inet.ip.fw.dyn_buckets=256
net.inet.ip.fw.dyn_count=3
net.inet.ip.fw.dyn_fin_lifetime=20
net.inet.ip.fw.dyn_max=1000
net.inet.ip.fw.dyn_rst_lifetime=5
net.inet.ip.fw.dyn_short_lifetime=30
net.inet.ip.fw.dyn_syn_lifetime=20
net.inet.ip.fw.enable=1
net.inet.ip.fw.one_pass=1
net.inet.ip.fw.verbose=1
net.inet.ip.fw.verbose_limit=100
vfs.usermount=0
####
#
#net.inet.ip.intr_queue_maxlen=5000
#net.inet.ip.portrange.first=491520
#net.inet.ip.portrange.last=655350
net.inet.ip.random_id=1 #Assign random ip_id values
net.inet.ip.redirect=0
net.inet.ip.rtexpire=60
net.inet.ip.rtminexpire=10
net.inet.ip.sourceroute=0
net.inet.ip.ttl=128
net.inet.tcp.always_keepalive=1
net.inet.tcp.blackhole=2
net.inet.tcp.delayed_ack=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.icmp_may_rst=1
net.inet.tcp.inflight.enable=1
net.inet.tcp.inflight.min=3000
net.inet.tcp.inflight.stab=2
net.inet.tcp.inflight_enable=20
net.inet.tcp.inflight_min=3500
net.inet.tcp.isn_reseed_interval=1800
net.inet.tcp.keepidle=30000
net.inet.tcp.keepintvl=30000
net.inet.tcp.log_in_vain=1
net.inet.tcp.newreno=1
net.inet.tcp.path_mtu_discovery=0
##net.inet.tcp.recvspace=64000
net.inet.tcp.rfc1644=1 #Enable rfc1644 (TTCP) extensions
#net.inet.tcp.sack.enable=0
##net.inet.tcp.sendspace=64000
##
net.inet.tcp.sendspace=3217968
net.inet.tcp.recvspace=3217968
##
net.inet.tcp.strict_rfc1948=1
net.inet.tcp.syncache.bucketlimit=30
net.inet.tcp.syncache.cachelimit=15359
net.inet.tcp.syncache.hashsize=512
net.inet.tcp.syncache.rexmtlimit=3
net.inet.tcp.syncookies=1
net.inet.udp.blackhole=1
net.inet.udp.log_in_vain=1
#net.inet.udp.maxdgram=51257
#net.inet.udp.recvspce=512570
#net.link.ether.bridge.config=ed0
#net.link.ether.bridge.enable=1
#net.link.ether.bridge.ipfw=1
net.link.ether.inet.log_arp_movements=1
net.link.ether.inet.max_age=1200
#net.link.ether.ipfw=1
#net.local.dgram.recvspace=20570
#net.local.stream.recvspace=65500
#net.local.stream.sendspace=65500
#security.bsd.conservative_signals=1

security.bsd.hardlink_check_gid=1
security.bsd.hardlink_check_uid=1
security.bsd.see_other_gids=0
security.bsd.see_other_uids=0
net.inet.tcp.msl=15000

security.bsd.unprivileged_read_msgbuf=0
#security.bsd.conservative_signals=0
security.bsd.conservative_signals=1


security.bsd.unprivileged_get_quota=0
security.bsd.unprivileged_proc_debug=0
#security.bsd.unprivileged_read_msgbuf=0
vfs.numvnodes=100000
vfs.hirunningspace=8388608
vfs.lorunningspace=6291456
vfs.vmiodirenable=1
vm.swap_idle_enabled=1
vm.swap_idle_threshold1=2
vm.swap_idle_threshold2=10
kern.module_path=/boot/kernel;/boot/modules;/usr/local/modules

серевую не менял еще ...

[zingel]

это ты сам такой сисктл нарисовал?

Код: Выделить всё

kern.ipc.maxsockets=16424
kern.ipc.maxsockbuf=16777216

Код: Выделить всё

net.inet.ip.fw.dyn_rst_lifetime=5
net.inet.ip.ttl=128

Код: Выделить всё

net.inet.tcp.strict_rfc1948=1
net.inet.tcp.syncache.bucketlimit=30
net.inet.tcp.syncache.cachelimit=15359
net.inet.tcp.syncache.hashsize=512
net.inet.tcp.syncache.rexmtlimit=3

^ в этих параметрах точно уверен?

[ProFTP]

да

он раньше работал, я пробовал оптимизировать, добавил там больше окно и еще некоторые параметры, почтал дальше, там рекомендовалось еще что-то изменить, этот sysctl работал на 6.3