Медленное копирование.

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-03 11:11:23

День добрый.

Решил на шлюз подключить винт и хранить на нем некие данные.
Винт 500 Гб Sata-2. Смонтировался без проблем, фвайловая система UFS2.
И тут наступил на грабли.

1. Вопрос первый: В чем причина медленного копирования с локальной сети на шлюз ?

Шлюз: МП на intel P31
проц: Celeron 1200E (1600)
ОЗУ: DDR-2 667 (1Гб + 512 Мб = 1.5 Гб.)
НЖМД: 1. под систему SATA-2 Samsung + Sata-2 Hitachi поднят gmirror
2. под файло-помойку НЖМД IDE ATA100 80 Гб
3. под нужные файлы Sata-2 500 Гб Seagate.
В локалку торчит встроенная в МП сетевая карта 1Gbit ( re0 ), подключена к свичу 100 Мбит.
На шлюзе установлена Samba и открыта шара на НЖМД IDE 80 Гб и Sata-2 500 Гб Seagate.
При попытке копирования на шлюз получил скорость 3,5 Мб/сек.
Порыв немного инет и дописав в конфиг самбы:

Код: Выделить всё

socket options = IPTOS_LOWDELAY TCP_NODELAY SO_SNDBUF=16384 SO_RCVBUF=16384 SO_KEEPALIVE
	getwd cache = yes
	read raw = yes
	write raw = yes
	max xmit = 65536
получил небольшое увеличение скорости ~ до 4 Мб/сек, но это не порадовало...
Далее делаю следуещее начинаю из инета тянуть большой файл ~ 200 метров (инет 10 Мбит ~ 1.2 Мбайт/сек) и одновременно лить инфу на шлюз.
Скорость заливания на шлюз упала до 2,5 - 3 Мб/сек.
Т.е. у меня сложилось впечатление что будто бы на сетевую повесили ограничение в 4Мб/сек (~ 32.5 Мбит/сек) при возможности сетевой в 1000 а свича в 100.
Я не расчитывал на скорость в 12,5 Мбайт (100 Мбит), но хотя бы 8 -9 Мбайт по локалке на шлюз хотелось бы иметь.

2. Вопрос второй: В чем причина низкой скорости копирования на самом шлюзе между винтами ?

После затыка по сети решил проверить как копируется инфа на самом шлюзе (предположил что тормоза не в сети а на винтах) и был удивлен.
Копирование с НЖМД Sata-2 на НЖМД Sata-2 или на НЖМД IDE ATA100 21-23 Мб/сек.
При копировании с себя на себя (Sata-2) скорость 8-9 Мб/сек. Копировал в МС и там же смотрел скорость.
Везде файловая система UFS-2. В момент копирования top показывает простой проца 28-33%, без копирования простой проца 44-49%.
При копировании в процессах видно что МС сжирает ~ 17-19% проца.
Память свободная тоже есть.

-----------------------------
Помогите решить делему, как минимум очень интересует поднять скорость копирования по сети.
Заранее спасибо за помощь.

Прилагаю следующее.
uname -a:

Код: Выделить всё

FreeBSD domain.local 8.0-RELEASE-p2 FreeBSD 8.0-RELEASE-p2 #4: Fri Jan 22 14:26:03 EET 2010     admin@domain.local:/usr/obj/usr/src/sys/FREE8  i386
dmesg

Код: Выделить всё

Copyright (c) 1992-2009 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
	The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 8.0-RELEASE-p2 #4: Fri Jan 22 14:26:03 EET 2010
    admin@domain.local:/usr/obj/usr/src/sys/FREE8
module_register: module pci/em already exists!
Module pci/em failed to register: 17
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Celeron(R) CPU        E1200  @ 1.60GHz (1602.88-MHz 686-class CPU)
  Origin = "GenuineIntel"  Id = 0x6fd  Stepping = 13
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0xe39d<SSE3,DTES64,MON,DS_CPL,EST,TM2,SSSE3,CX16,xTPR,PDCM>
  AMD Features=0x20100000<NX,LM>
  AMD Features2=0x1<LAHF>
  TSC: P-state invariant
real memory  = 1610612736 (1536 MB)
avail memory = 1558999040 (1486 MB)
ACPI APIC Table: <071508 APIC1628>
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
FreeBSD/SMP: 1 package(s) x 2 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
ioapic0 <Version 2.0> irqs 0-23 on motherboard
kbd1 at kbdmux0
cryptosoft0: <software crypto> on motherboard
acpi0: <071508 XSDT1628> on motherboard
acpi0: Overriding SCI Interrupt from IRQ 9 to IRQ 20
acpi0: [ITHREAD]
acpi0: Power Button (fixed)
acpi0: reservation of fee00000, 1000 (3) failed
acpi0: reservation of 0, a0000 (3) failed
acpi0: reservation of 100000, 5ff00000 (3) failed
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x808-0x80b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> irq 16 at device 1.0 on pci0
pci1: <ACPI PCI bus> on pcib1
vgapci0: <VGA-compatible display> port 0xb000-0xb0ff mem 0xd0000000-0xdfffffff,0xfe9f0000-0xfe9fffff irq 16 at device 0.0 on pci1
pci1: <multimedia, HDA> at device 0.1 (no driver attached)
pci0: <multimedia, HDA> at device 27.0 (no driver attached)
pcib2: <ACPI PCI-PCI bridge> irq 16 at device 28.0 on pci0
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> irq 17 at device 28.1 on pci0
pci3: <ACPI PCI bus> on pcib3
re0: <RealTek 8168/8168B/8168C/8168CP/8168D/8168DP/8111B/8111C/8111CP/8111DP PCIe Gigabit Ethernet> port 0xc800-0xc8ff mem 0xfeaff000-0xfeafffff,0xfdff0000-0xfdffffff irq 17 at device 0.0 on pci3
re0: Using 1 MSI messages
re0: Chip rev. 0x3c000000
re0: MAC rev. 0x00400000
miibus0: <MII bus> on re0
rgephy0: <RTL8169S/8110S/8211B media interface> PHY 1 on miibus0
rgephy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-FDX, auto
re0: Ethernet address: 00:e0:4d:a1:d3:28
re0: [FILTER]
pcib4: <ACPI PCI-PCI bridge> irq 18 at device 28.2 on pci0
pci4: <ACPI PCI bus> on pcib4
atapci0: <JMicron JMB368 UDMA133 controller> port 0xdc00-0xdc07,0xd880-0xd883,0xd800-0xd807,0xd480-0xd483,0xd400-0xd40f irq 18 at device 0.0 on pci4
atapci0: [ITHREAD]
ata2: <ATA channel 0> on atapci0
ata2: [ITHREAD]
uhci0: <UHCI (generic) USB controller> port 0xac00-0xac1f irq 23 at device 29.0 on pci0
uhci0: [ITHREAD]
uhci0: LegSup = 0x0f00
usbus0: <UHCI (generic) USB controller> on uhci0
ehci0: <EHCI (generic) USB 2.0 controller> mem 0xfe8fbc00-0xfe8fbfff irq 23 at device 29.7 on pci0
ehci0: [ITHREAD]
usbus1: EHCI version 1.0
usbus1: <EHCI (generic) USB 2.0 controller> on ehci0
pcib5: <ACPI PCI-PCI bridge> at device 30.0 on pci0
pci5: <ACPI PCI bus> on pcib5
rl0: <RealTek 8139 10/100BaseTX> port 0xe800-0xe8ff mem 0xfebffc00-0xfebffcff irq 16 at device 1.0 on pci5
miibus1: <MII bus> on rl0
rlphy0: <RealTek internal media interface> PHY 0 on miibus1
rlphy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto
rl0: Ethernet address: 00:30:4f:5a:c0:d3
rl0: [ITHREAD]
em0: <Intel(R) PRO/1000 Network Connection 6.9.14> port 0xec00-0xec3f mem 0xfebc0000-0xfebdffff,0xfeba0000-0xfebbffff irq 17 at device 2.0 on pci5
em0: [FILTER]
em0: Ethernet address: 00:0e:0c:d8:73:4e
vr0: <VIA VT6105 Rhine III 10/100BaseTX> port 0xe400-0xe4ff mem 0xfebff800-0xfebff8ff irq 18 at device 3.0 on pci5
vr0: Quirks: 0x0
vr0: Revision: 0x8b
miibus2: <MII bus> on vr0
ukphy0: <Generic IEEE 802.3u media interface> PHY 1 on miibus2
ukphy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto
vr0: Ethernet address: 00:19:5b:7c:22:11
vr0: [ITHREAD]
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
atapci1: <Intel ICH10 SATA300 controller> port 0xa880-0xa887,0xa800-0xa803,0xa480-0xa487,0xa400-0xa403,0xa080-0xa09f mem 0xfe8fb000-0xfe8fb7ff irq 19 at device 31.2 on pci0
atapci1: [ITHREAD]
atapci1: AHCI called from vendor specific driver
atapci1: AHCI v1.20 controller with 6 3Gbps ports, PM not supported
ata3: <ATA channel 0> on atapci1
ata3: [ITHREAD]
ata4: <ATA channel 1> on atapci1
ata4: [ITHREAD]
ata5: <ATA channel 2> on atapci1
ata5: [ITHREAD]
ata6: <ATA channel 3> on atapci1
ata6: [ITHREAD]
ata7: <ATA channel 4> on atapci1
ata7: [ITHREAD]
ata8: <ATA channel 5> on atapci1
ata8: [ITHREAD]
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
acpi_button0: <Power Button> on acpi0
acpi_tz0: <Thermal Zone> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x71 irq 8 on acpi0
cpu0: <ACPI CPU> on acpi0
est0: <Enhanced SpeedStep Frequency Control> on cpu0
p4tcc0: <CPU Frequency Thermal Control> on cpu0
cpu1: <ACPI CPU> on acpi0
est1: <Enhanced SpeedStep Frequency Control> on cpu1
p4tcc1: <CPU Frequency Thermal Control> on cpu1
pmtimer0 on isa0
orm0: <ISA Option ROM> at iomem 0xc0000-0xcf7ff pnpid ORM0000 on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
ata0 at port 0x1f0-0x1f7,0x3f6 irq 14 on isa0
ata0: [ITHREAD]
ata1 at port 0x170-0x177,0x376 irq 15 on isa0
ata1: [ITHREAD]
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
atkbd0: [ITHREAD]
ppc0: parallel port not found.
fuse4bsd: version 0.3.9-pre1, FUSE ABI 7.8
Timecounters tick every 1.000 msec
IPsec: Initialized Security Association Processing.
ipfw2 (+ipv6) initialized, divert enabled, nat loadable, rule-based forwarding enabled, default to accept, logging disabled
usbus0: 12Mbps Full Speed USB v1.0
usbus1: 480Mbps High Speed USB v2.0
ad4: 76319MB <Seagate ST380011A 3.04> at ata2-master UDMA100
ugen0.1: <Intel> at usbus0
uhub0: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
ugen1.1: <Intel> at usbus1
uhub1: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
ad6: 76318MB <Hitachi HDS721680PLA380 P21OABEA> at ata3-master SATA300
ad8: 76318MB <SAMSUNG HD080HJ ZH100-47> at ata4-master SATA300
GEOM_MIRROR: Device mirror/gm0 launched (2/2).
ad14: 476940MB <Seagate ST3500320AS SD15> at ata7-master SATA300
GEOM: mirror/gm0s1: geometry does not match label (16h,63s != 255h,63s).
SMP: AP CPU #1 Launched!
uhub0: 2 ports with 2 removable, self powered
uhub1: 2 ports with 2 removable, self powered
Trying to mount root from ufs:/dev/mirror/gm0s1a
Параметры сетевых заданы вручную
ifconfig:

Код: Выделить всё

re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=389b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_UCAST,WOL_MCAST,WOL_MAGIC>
        ether 00:e0:4d:a1:d3:28
        inet 192.168.10.250 netmask 0xffffff00 broadcast 192.168.10.255
        media: Ethernet 100baseTX <full-duplex>
        status: active
rl0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=8<VLAN_MTU>
        ether 00:30:4f:5a:c0:d3
        inet 111.222.333.444 netmask 0xffffff00 broadcast 111.222.333.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 10 mtu 1500
        options=9b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM>
        ether 04:4b:80:80:80:44
        inet6 fe80::64b:80ff:fe80:8044%em0 prefixlen 64 scopeid 0x3
        inet 10.159.144.21 netmask 0xfffff000 broadcast 10.159.159.255
        media: Ethernet 100baseTX <full-duplex>
        status: active
vr0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 20 mtu 1500
        options=2808<VLAN_MTU,WOL_UCAST,WOL_MAGIC>
        ether 00:1a:4d:74:ad:45
        inet6 fe80::21a:4dff:fe74:ad45%vr0 prefixlen 64 scopeid 0x4
        inet 10.159.145.75 netmask 0xfffff000 broadcast 10.159.159.255
        media: Ethernet 100baseTX <full-duplex>
        status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=3<RXCSUM,TXCSUM>
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000
pflog0: flags=141<UP,RUNNING,PROMISC> metric 0 mtu 33200
pfsync0: flags=0<> metric 0 mtu 1460
        syncpeer: 224.0.0.240 maxupd: 128
sysctl.conf

Код: Выделить всё

net.inet.ip.forwarding=1   
# Запрещает юзерам видеть процессы соседа&root
 security.bsd.see_other_uids=0
# Запрещает видеть групповые процессы
security.bsd.see_other_gids=0
# Пускаем запросы на закрытые порты в черные дыры
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
# Указываем размер очереди сокета
kern.ipc.somaxconn=1024
# Отрубаем ip-редиректы
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.ip.redirect=0
# Назначаем размеры буфера для TCP-подключений. Если на сервер ожидается большая 
# нагрузка, и у него много памяти – лучше поставить 65535. Значение выше 65535 
# не рекомендуется.
net.inet.tcp.sendspace=32768
net.inet.tcp.recvspace=32768
# Обновляем ARP-таблицу каждые 20 минут
net.link.ether.inet.max_age=1200
# Запрещаем отвечать на все лишние запросы.
net.inet.icmp.maskrepl=0
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.icmp.bmcastecho=0 

net.inet.tcp.finwait2_timeout=5000
net.inet.tcp.fast_finwait2_recycle=1
kern.ipc.somaxconn=4096
net.inet.tcp.always_keepalive=0
net.inet.tcp.nolocaltimewait=1
net.inet.ip.portrange.first=1024
kern.ipc.nmbclusters=65536
net.inet.ip.portrange.randomized=0
net.inet.tcp.keepidle=60000
kern.ipc.nmbclusters=262144
kern.ipc.maxsockets=204800
net.inet.tcp.recvspace=8192
net.inet.tcp.sendspace=16384
net.inet.tcp.msl=15000
loader.conf:

Код: Выделить всё

autoboot_delay="1"
loader_logo="none"
if_em_load="YES"

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

_kirill_
ст. сержант
Сообщения: 311
Зарегистрирован: 2007-05-11 9:41:21
Откуда: Tashkent
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение _kirill_ » 2010-02-03 15:58:50

Код: Выделить всё

ipfw show

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-03 16:38:52

_kirill_ писал(а):

Код: Выделить всё

ipfw show
Стоит PF, ipfw только натит GRE и то на инете, на шлюз все открыто, включал правило pass all.
Думаю что фаервол тут не причем.

Я вот на sysctl.conf грешу ...
Вот:

Код: Выделить всё

>ipfw show
00100         0            0 divert 8668 gre from any to any via rl0
00200         6          304 divert 8668 tcp from any to any dst-port 1723 out via rl0
00300        10          484 divert 8668 tcp from any 1723 to any in via rl0
00600 316687112 286507740756 allow ip from any to any
65535        54         4291 allow ip from any to any

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-03 18:30:45

Не уж то никто ни чего не подскажет ?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-04 7:36:44

Первый вопрос решен и снимается...

А второй скорость копирования на шлюзе в UFS еще актуален ...

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение arkan » 2010-02-04 9:08:52

fstab засвети
а то малоли что там у вас понаписано sync всякие и тому подобные

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-04 11:27:25

arkan писал(а):fstab засвети
а то малоли что там у вас понаписано sync всякие и тому подобные
Вот:

Код: Выделить всё

# Device		Mountpoint	FStype	Options		Dump	Pass#
/dev/mirror/gm0s1b	none		swap	sw		0	0
/dev/mirror/gm0s1a	/		ufs	rw		1	1
/dev/mirror/gm0s1e	/tmp		ufs	rw		2	2
/dev/mirror/gm0s1f	/usr		ufs	rw		2	2
/dev/mirror/gm0s1d	/var		ufs	rw		2	2
/dev/acd0		/cdrom		cd9660	ro,noauto	0	0
/dev/ad4s1		/usr/mydisk	ufs	rw		2	2
/dev/ad14s1		/usr/storage	ufs	rw		2	2

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение arkan » 2010-02-04 13:40:23

Странно конечно
держу много файлопомоек и ниразу не видел такую низкую скорость копирования
У меня если все смонтированно стандартно по дефолту то скорость на обыкновенных винтах sata примерно до 35 мегабайт/с
но если в fstab пропишу rw,sync то скорость падает до 10-12 мегабайт/с
Читал гдето чтоб увеличить скорость файловой системе надо прописать в fstab rw,async - но сам никогда такого не делал

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-04 13:46:05

Да вот и я говорю что старнно, но факт.
Сам разобраться не смог (((.

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Медленное копирование.

Непрочитанное сообщение Fastman » 2010-02-05 2:37:11

kharkov_max писал(а):Да вот и я говорю что старнно, но факт.
Сам разобраться не смог (((.

Код: Выделить всё

diskinfo -ctv /dev/ad14s
в студию.
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Медленное копирование.

Непрочитанное сообщение Fastman » 2010-02-05 2:43:25

arkan писал(а): У меня если все смонтированно стандартно по дефолту то скорость на обыкновенных винтах sata примерно до 35 мегабайт/с
но если в fstab пропишу rw,sync то скорость падает до 10-12 мегабайт/с
Читал гдето чтоб увеличить скорость файловой системе надо прописать в fstab rw,async - но сам никогда такого не делал
Не знаю кто вас пустил файло-помойки даже держать. Если не понимаете что творите.
sync - значит синхронный принцип записи. То есть пока реально не получим ответ что блок записан - дальше не торопимся. Конечно, медленнее, но надежнее.
async - кинули блок, и не дожидаясь побежали дальше за следующим. Ответ о том что он реально он записан придет чуть позже... если свет не вырубят электрики или еще какая напасть,
тогда уж ничего не спасет. Нет.. ну в принципе если железный контроллер с BBU еще возможно повезет... но я сомневаюсь что оно у вас есть, или окажется что звездец батарейке :)
С дисковой системой чудес не бывает :) Бывают говеные железяки и уставшие админы, которые пропускают очевидные вещи :)
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 7:37:47

Fastman писал(а):
kharkov_max писал(а):Да вот и я говорю что старнно, но факт.
Сам разобраться не смог (((.

Код: Выделить всё

diskinfo -ctv /dev/ad14s
в студию.
Вот:

Код: Выделить всё


>diskinfo -ctv /dev/ad14s1
/dev/ad14s1
        512             # sectorsize
        500107829760    # mediasize in bytes (466G)
        976773105       # mediasize in sectors
        969020          # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        9QM6NP37        # Disk ident.

I/O command overhead:
        time to read 10MB block      0.107947 sec       =    0.005 msec/sector
        time to read 20480 sectors   3.386494 sec       =    0.165 msec/sector
        calculated command overhead                     =    0.160 msec/sector

Seek times:
        Full stroke:      250 iter in   5.445723 sec =   21.783 msec
        Half stroke:      250 iter in   3.675011 sec =   14.700 msec
        Quarter stroke:   500 iter in   6.079833 sec =   12.160 msec
        Short forward:    400 iter in   2.611750 sec =    6.529 msec
        Short backward:   400 iter in   2.353486 sec =    5.884 msec
        Seq outer:       2048 iter in   0.311368 sec =    0.152 msec
        Seq inner:       2048 iter in   0.614001 sec =    0.300 msec
Transfer rates:
        outside:       102400 kbytes in   1.042094 sec =    98264 kbytes/sec
        middle:        102400 kbytes in   1.177648 sec =    86953 kbytes/sec
        inside:        102400 kbytes in   2.181967 sec =    46930 kbytes/sec

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение arkan » 2010-02-05 9:30:32

Fastman
вы любите теорию на форумы копипастить ?
дак эта теория нафиг на форумах ненужна так как теория это одно а практика это другое

вот тогда обьясни почему при таких показателях
outside: 102400 kbytes in 1.042094 sec = 98264 kbytes/sec
middle: 102400 kbytes in 1.177648 sec = 86953 kbytes/sec
inside: 102400 kbytes in 2.181967 sec = 46930 kbytes/sec
в реальности получается 3.5 M/sec

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 10:42:38

Пробовал включать rw,async скорость возросла но не на много ~3-4 Мб.
Вернул назад...

Может каких дровишек под чипсет нужно подкинуть ?

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение arkan » 2010-02-05 11:14:43

А собственно чем скорость то проверяете ???

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 11:29:33

arkan писал(а):Fastman
вы любите теорию на форумы копипастить ?
дак эта теория нафиг на форумах ненужна так как теория это одно а практика это другое

вот тогда обьясни почему при таких показателях
outside: 102400 kbytes in 1.042094 sec = 98264 kbytes/sec
middle: 102400 kbytes in 1.177648 sec = 86953 kbytes/sec
inside: 102400 kbytes in 2.181967 sec = 46930 kbytes/sec
в реальности получается 3.5 M/sec
Кстати скорость не 3.5 М/сек - это было в первом вопросе, который уже решен...
На данный момент интересует 2й вопрос по скоростии копирования на самом шлюзе.

В данный момент при коприровании с Sata-2 на Sata-2, она составляет 21-22 Мб/сек. При включении rw,acync была в среднем 28 Мб/сек.
С самого себя на себя (Sata-2), т.е. копируем файл в другую папку на 1м НЖМД, скорость 8-9 Мб/сек. При включении rw,acync была в среднем 10 Мб/сек.
В шлюзе несколько SATA-2 винтов и один IDE, так вот результат копирования на них на всех одинаковый, что уже наводит на подозрения ведь IDE винт на порядок медленнее ...
НЖМД были проверены в MHDD - поблем нет.
500 Гб был снят с рабочей Windows машины, на которой скорость копирования (NTFS) была 90 - 111 Мб/сек.

Вот и основной вопрос: Почему так медленно ?
Я не хочу точно такой же скорости как в Windows 90 - 111 Мб/сек, но как минимум 65-80 Мб/сек должно быть, как мне кажется ....

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 11:31:42

arkan писал(а):А собственно чем скорость то проверяете ???
Ну каких либо супер тестов я не запускал, меня устроит условно среднее значение.
Проверял копированием в mc (он при копировании показывает скорость).
Или мс копирует медленее чем позволяет система ?

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Медленное копирование.

Непрочитанное сообщение Fastman » 2010-02-05 11:32:24

arkan писал(а):Fastman
вы любите теорию на форумы копипастить ?
Да при чем тут теория ! Я попросил дать вывод чтобы отделить мух от котлет и узнать тормозит
сама внутренняя связка ось-контроллер или проблема в другом.
И если б вы столько попрыгали с бубном как я вокруг разнообразных устройств хранения, к теории относились бы с уважением кстати.
Главное в жизни здоровье и любовь, остальное я все куплю.

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение arkan » 2010-02-05 11:52:44

kharkov_max писал(а):Я не хочу точно такой же скорости как в Windows 90 - 111 Мб/сек, но как минимум 65-80 Мб/сек должно быть, как мне кажется ....
К сожалению это только *КАЖЕТСЯ*

вот поэтому многие на ZFS пытаются побыстрее свалить
а FFS так и славится своей тормазнутостью
Да простят меня разрабы бзди

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 12:00:52

arkan писал(а):
kharkov_max писал(а):Я не хочу точно такой же скорости как в Windows 90 - 111 Мб/сек, но как минимум 65-80 Мб/сек должно быть, как мне кажется ....
К сожалению это только *КАЖЕТСЯ*

вот поэтому многие на ZFS пытаются побыстрее свалить
а FFS так и славится своей тормазнутостью
Да простят меня разрабы бзди
Т.е. Вы хотите сказать что для UFS2 это нормально 25-30 Мб/сек на Sata-2 ?

arkan
ст. прапорщик
Сообщения: 559
Зарегистрирован: 2008-08-03 19:58:13
Откуда: Новосибирск
Контактная информация:

Re: Медленное копирование.

Непрочитанное сообщение arkan » 2010-02-05 12:20:39

kharkov_max писал(а):Т.е. Вы хотите сказать что для UFS2 это нормально 25-30 Мб/сек на Sata-2 ?
Как выше уже сказал что для увелечения производительности там надо с бубном хорошо побегать но насколько я помню что больше 55 на этой файлухе неудалось сделать на обыкновенных винтах
помоему на опеннете гдето читал про это с годика два назад
так что 30-35 это намана
да простят меня разрабы этой файлухи

Я у себя просто напихал винтов побольше ну и некоторые в 10 или в 5 RAID -а на простеньких файлопомойках просто распределил нагрузку с учетом использования шар по винтам

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 12:36:48

Хорошо...

А что скажете по поводу zfs ?
Увеличит ли скорость копирования на шлюзе использование этой файловой системы на файлопомойке.
Имею ввиду не то что бы поставись zfs и отключить в ней все ее фичи, тогда навеное точно будет быстрее, а скажем применить ее стандартную настройку.

Сильно не пинайте если не так написал, ибо еще особо не разбирался с ZFS пока ищу варианты увеличения (скорости копирования / надежности).
Возможно, Вы мне посоветуете какое нить другое более разумное решение или файловую систему...

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Медленное копирование.

Непрочитанное сообщение Fastman » 2010-02-05 12:40:26

kharkov_max писал(а):
arkan писал(а):
kharkov_max писал(а): Т.е. Вы хотите сказать что для UFS2 это нормально 25-30 Мб/сек на Sata-2 ?
Что в вашем понятии НОРМАЛЬНО ???? Народ, ну пойми те вы что нормальност можно определять только граничными условиями задачи.
Фря может и так работать с дисковой системой - http://forum.lissyara.su/viewtopic.php? ... 06#p224303
И зависит это от железа которое есть в наличии. Задач которые решаются, и прямых рук.
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Медленное копирование.

Непрочитанное сообщение kharkov_max » 2010-02-05 14:35:27

Fastman писал(а):
kharkov_max писал(а):
arkan писал(а):
kharkov_max писал(а): Т.е. Вы хотите сказать что для UFS2 это нормально 25-30 Мб/сек на Sata-2 ?
Что в вашем понятии НОРМАЛЬНО ???? Народ, ну пойми те вы что нормальност можно определять только граничными условиями задачи.
Фря может и так работать с дисковой системой - http://forum.lissyara.su/viewtopic.php? ... 06#p224303
И зависит это от железа которое есть в наличии. Задач которые решаются, и прямых рук.
Я понимаю что понятие "НОРМАЛЬНО" растяжимое и зависит от многих факторов, железа настроек и т.д.
Мне не понятно одно, возможно вы мне объясните хоть что нибудь....

Мать такая http://www.biostar.com.tw/app/en/mb/con ... p?S_ID=371

К примеру: берем мой шлюз и ставим на него Win XP. Потом подключаем 2 винта по 500 Гб. и копируем кучу данных (около 400 Гб.)
При этом видим что скорость копирования ~ составляет 100 Мб/с - вывод железо и файловая система NTFS позволяет скорость 100 Мб/с.
Делаем то же самое на freebsd, настройки по умолчанию, скажем проинсталили систему и все. Подключаем те же 2 винта в UFS2 и видим что скорость 21-22 Мб/с.

Вот исходя из этого и возникает вопрос "А это нормально ?".
Т.е. может такова сама файловая система UFS2 или у меня не настроена сама freebsd на максимальное быстродействие дисковой системы UFS2 с моим железом (чипсетом, контроллером). Или скажем UFS2 в моем случае можно приблизить к результатам винды, но тогда она станет не надежна и начнет пропадать, биться и т.д. инфа.....

Вот arkan подсказывает что это нормально, что на UFS2 добивались 50 Мб/с - все предельно понятно.
Возникает вопрос а есть ли файловая система, к примеру zfs, которая позволит не теряя в надежности увеличить быстродействие чтения/записи на винт, если само желазо это делать ПОЗВОЛЯЕТ !!!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Медленное копирование.

Непрочитанное сообщение Fastman » 2010-02-05 14:53:44

Нет, не будет у вас быстрее. Выж поймите что бензопилой неудобно забивать гвозди, а пилить деревья удобно.
Все остальное - лирика. Если хотите разобраться, давайте как нормальные люди разберемся откуда это растет.
Вы вот в курсе как mc копирует файлы ? Какими размерами блоков ? А как это делает винда в курсе ? Нет ?
Тогда берем фрю. чистую. Делаем 2 слайса. Сначала посредством dd с различным размером блока пишем и читаем.
Смотрим что получается. Потом блочным же копированием гоняем данные. Возможно драйвер фревый и помедленнее...
Цифры и факты давайте а не рассуждения "mc копирует вот так и винда вот так" - ибо это бред.
Главное в жизни здоровье и любовь, остальное я все куплю.