freeBDS-шлюз, периодически не грузятся сайты (err_timed_out)

[oleg_max]

Demis,
Скрипт на perl, нужен его листинг?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Demis]

Ага. Отлично. Теперь понятнее стало.
На мой взгляд с сетью стало хорошо.
Мы видим, что ип это 193.107.xxx.7

inet 193.107.xxx.7 --> 193.107.yyy.5

, а 193.107.yyy.5 это гейт (там еще было 193.107.yyy.8, но это м.б. не страшно,но это надо запомнить "в память" на всякий случай). Теперь pf. У меня такой вопрос, судя по rc.conf сначала использовался ipfw потом pf. На pf переход делался Вами или до Вас?

[Demis]

Скрипт на perl, нужен его листинг?

Пока нет, но интересно кто-же его дергает? (но это пока не срочная задача).

[Demis]

crontab -u ВашЛогин

И это... Слово "ВашЛогин" вместо него нужно подставлять реальное имя пользователя под которым Вы логинитесь на машину в freebsd.

[novik]

NAT реализован c помощью pf. Правило в pf.conf -

Код: Выделить всё

nat on $ext_if from $int_if:network to any -> ($ext_if)
nat on $ext_if from !($ext_if) -> ($ext_if:0)

!($ext_if) = все не$ext_if интерфейсы. А какие ещё заданы в pf.conf? Часть пакетов в alc0 не попадает? Они все в tun0 должны.

rdr on $int_if proto { tcp } from 192.168.1.0/24 to any port 80 -> 192.168.1.99 port 3128
Нет, ничего такого в pf.conf нет...

Тогда в /var/log/squid/access.log было бы пусто. Там пусто?

[Demis]

Дальше. pf - тут у меня сложности, т.к. я его совсем не использую и не знаю. Нужно, чтобы кто-то кто реально использует написал свое мнение.
Но идя по смыслу - передвинул-бы его запуск из того места где это находится сейчас (из конца файла), на место повыше. По моему разумению примерно к такому (для понимания добавил строки "# demis #", к блокам которые переместил) виду:

Код: Выделить всё

keymap="ua.koi8-u.shift.alt"
ifconfig_alc0="DHCP"
ifconfig_em0="inet 192.168.1.99 netmask 255.255.255.0"
hostname="gatew"
gateway_enable="YES"

# demis 1 #
fsck_y_enable="YES"
background_fsck="NO"

swapfile="/usr/swapfile"

# demis 2 #
netwait_enable="YES"
netwait_ip="$defaultrouter"

ppp_enable="YES"
ppp_mode="ddial"
#ppp_nat="YES"
ppp_profile="vinfast"

#ipnat_enable="YES"

firewall_enable="YES"
#firewall_nat_enable="YES"
#firewall_nat_interface="alc0"
firewall_type="OPEN"
#firewall_script="/etc/ipfw.rules"
#firewall_quiet="NO"

# demis 3 #
pf_enable="YES"
pf_rules="/etc/pf.conf"
pf_program="/sbin/pfctl"
pf_flags=""
pflog_enable="YES"
pflog_logfile="/var/log/pf.log"
pflog_flag=""

# demis 4 #
ntpdate_enable="YES"

# demis 5 # Вот тут пока подумать нужно
#natd_enable="YES"
#natd_flags="-f /etc/natd.conf"
#natd_interface="alc0"
#natd_flags="-dynamic -m" # -m = ╨╧ ╫╧┌═╧╓╬╧╙╘╔ ╙╧╚╥┴╬╔╘╪ ╬╧═┼╥┴ ╨╧╥╘╧╫
#natd_flags="-m -f /etc/natd.conf"

rinetd_enable="YES"
# demis 6 # gateway_enable="YES"

sshd_enable="YES"
openssh_enable="YES"

named_enable="YES"
named_uid="bind"
named_chrootdir=""
named_flags="-s"
#named_program="/usr/sbin/named"
#named_flags="-u bind -g bind"
inetd_enable="YES"
apache_enable="YES"
#sendmail_enable="NONE"
#sendmail_flags="-bd"
#sendmail_pidfile="/var/spool/postfix/pid/master.pid"
#sendmail_procname="/usr/local/libexec/postfix/master"
#sendmail_outbound_enable="NO"
sendmail_submit_enable="NO"
#sendmail_msp_queue_enable="NO"
#postfix_enable="YES"
exim_enable="YES"
mysql_enable="YES"
dovecot_enable="YES"

#proftpd_enable="YES"

# demis 7 # 
squid_enable="YES"
nfs_server_enable="YES"
rpcbind_enable="YES"

nmb_enable="YES"
samba_enable="Yes"
nfs_server_enable="YES"

kerberos5_server_enable="YES"
kadmind5_server_enable="YES"

Конфиги, в большинстве своем, отрабатывают последовательно. Если встретится повторная запись, то действует последняя, т.е. та, которая ниже всех по тексту. Это нужно просто запомнить.

[Demis]

Они все в tun0 должны.

Именно так. Это нормально.

[novik]

передвинул-бы его запуск из того места где это находится сейчас (из конца файла), на место повыше

Это для удобочитаемости? А так-то

Код: Выделить всё

rcorder /etc/rc.d/* /usr/local/etc/rc.d/*

man rcorder

[Demis]

man rcorder

Да, но не все так просто для новичка. Мы-же знаем, что и эти моменты могут быть переопределены в локальном rc.d . Например "cat /usr/local/etc/rc.d/dovecot" :

Код: Выделить всё

#!/bin/sh
#
# $FreeBSD: head/mail/dovecot/files/dovecot.in 359890 2014-06-30 17:33:21Z bdrewery $
#

# PROVIDE: dovecot
# REQUIRE: LOGIN slapd
# KEYWORD: shutdown

# Define dovecot_* variables in one of these files:
#       /etc/rc.conf
#       /etc/rc.conf.local
#       /etc/rc.conf.d/dovecot

Где "# REQUIRE: LOGIN slapd" является этим переопределением, а точнее зависимостью. Мол ждать пока не запустится "LOGIN" и "slapd" или нечто аналогичное.

[novik]

эти моменты могут быть переопределены

Конечно. Но

Код: Выделить всё

rcorder /etc/rc.d/* /usr/local/etc/rc.d/*

показывая очерёдность старта должен учесть эти

REQUIRE: LOGIN slapd

[novik]

oleg_max, вы не могли бы выложить содержимое файла

pf_rules="/etc/pf.conf"

целиком?
А то не зная его содержимого, сложно выяснить как у вас pf работает.

[Demis]

Оно да, должен, но не обязан. Можно легко получить нечто:

Код: Выделить всё

/usr/local/etc/rc.d/healthd
rcorder: requirement `slapd' in file `/usr/local/etc/rc.d/dovecot' has no providers.
/usr/local/etc/rc.d/dovecot

Но так мы уходим в сторону и только запутаем новичка.

[Demis]

А то не зная его содержимого, сложно выяснить как у вас pf работает.

Поддерживаю.

[Demis]

И еще хочется увидеть результат команды:

Код: Выделить всё

# /usr/local/etc/rc.d/squid configtest

[oleg_max]

На pf переход делался Вами или до Вас?

До меня. На этом рабочем месте до меня было 3 или 4 человека. Что каждый пытался делать с этой несчастной фряхой, одной только ей известно.

crontab -u ВашЛогин
И это... Слово "ВашЛогин" вместо него нужно подставлять реальное имя пользователя под которым Вы логинитесь на машину в freebsd.

Да, я понял, что нужно реальный логин ставить Просто не стал реальный логин светить... Хотя SSH все равно не работает, стучаться в него можно, но бесполезно

А какие ещё заданы в pf.conf? Часть пакетов в alc0 не попадает? Они все в tun0 должны.

Код: Выделить всё

int_if = "em0"
ext_if = "tun0" 

Тогда в /var/log/squid/access.log было бы пусто. Там пусто?

нет access.log не пустой. Он почти 50 Мб весит, но последняя дата изменения файла 6 декабря.

[oleg_max]

oleg_max, вы не могли бы выложить содержимое файла
oleg_max писал(а): ↑2019-12-19 17:06:14
pf_rules="/etc/pf.conf"
целиком?

Да, не вопрос:

Код: Выделить всё

int_if = "em0"
ext_if = "tun0"
icmp_types= "{ echoreq, unreach }"
udp_services= "{ ntp, 53 }"
ipphone1 = "194.50.125.136" #(не знаю кто и вообще для чего это сюда вставил, подозреваю, что предыдущий админ для себя лазейку оставил)
sip_server = "192.168.1.199"

# Ports we want to allow access to from the outside world on our local system (ext_if)
tcp_services = "{ #открытые_порты, не уверен стоит ли их "светить"? }"
voip_tcp = "5060" #(тоже не знаю кто и зачем сюда это вставил, астериск на отдельном сервере со своим инет каналом)
voip_udp = "{5060, 4569, 5036, 9999 >< 20001, 2727}"

# ping requests
icmp_types = "echoreq"

# Private networks, we are going to block incoming traffic from them
priv_nets = "{ 127.0.0.0/8, 192.168.0.0/16, 172.16.0.0/12 }"

### options
set block-policy return
set loginterface $ext_if
set skip on lo0
set timeout { udp.first 300, udp.single 150, udp.multiple 900 }

scrub in all

### nat/rdr
# NAT traffic from internal network to external network through external interface

#rdr on $int_if proto tcp from 192.168.1.0/24 to $ext_if port xxx -> 192.168.1.101
#rdr on $int_if proto tcp from 192.168.1.0/24 to $ext_if port yyy -> 192.168.1.103 port yyy
#no nat on $int_if proto tcp from $int_if to 192.168.1.0/24
#nat on $int_if proto tcp from 192.168.1.0/24 to 192.168.1.101 port xxx -> $int_if
#nat on $int_if proto tcp from 192.168.1.0/24 to 192.168.1.103 port yyy -> $int_if

nat on $ext_if from $int_if:network to any -> ($ext_if)
nat on $ext_if from !($ext_if) -> ($ext_if:0)

nat-anchor ip-pbx
binat-anchor ip-pbx

# redirect traffic to proxy on localhost
# rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port xxx -> 192.168.1.101 port xxx #(реальные порты заменил)
rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port yyy -> 192.168.1.103 port yyy
rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port zzz -> 192.168.1.103 port zzz
rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port aaa -> 192.168.1.220 port aaa
# rdr pass on $ext_if proto { tcp, udp } from any to xxx.xxx.xxx.7 port 5060 -> 192.168.1.199 port 5060
#rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port 1717 -> 192.168.1.174 port 80
#rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port 2727 -> 192.168.1.172 port 80
#rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port 3737 -> 192.168.1.173 port 80
#rdr pass on $ext_if proto tcp from any to xxx.xxx.xxx.7 port 88 -> 192.168.1.240 port 88

#nat on $ext_if inet proto udp from $sip_server to any -> ($ext_if) static-port
#rdr on $ext_if inet proto udp from any to ($ext_if) port 5060 -> $sip_server
#nat on $ext_if from $int_if to any -> ($ext_if)

rdr-anchor ip-pbx

### filter rules
block in log all
pass quick on lo0 all
pass inet proto icmp all icmp-type $icmp_types

pass in on $ext_if inet proto tcp from any to any port $voip_tcp flags S/SA keep state
pass out on $ext_if inet proto tcp all flags S/SA keep state
pass in on $ext_if inet proto udp from any to any port $voip_udp keep state
pass out on $ext_if proto udp all keep state

# block incoming traffic from private networks on external interface
block drop in quick on $ext_if from $priv_nets to any

# block outgoing traffic to private networks on external interface
block drop out quick on $ext_if from any to $priv_nets

#pass in log quick on $ext_if proto tcp from any to ххх.ххх.ххх.7 port $tcp_services keep state
#pass in log quick on $int_if proto tcp from 192.168.1.0/24 to ххх.ххх.ххх.7 port $tcp_services keep state
#pass out log quick on $ext_if proto tcp from any to any port $tcp_services keep state

# allow in ping replies
#pass in inet proto icmp all icmp-type $icmp_types keep state

# allow all traffic from internal network to internal interface
pass in log on $int_if from $int_if:network to any keep state
pass out on $int_if from any to $int_if:network keep state

pass in log quick on $ext_if proto tcp to port $tcp_services
pass in quick on $ext_if proto udp to port $udp_services

# allow all traffic out via external interface
pass out on $ext_if proto tcp all modulate state flags S/SA
pass out on $ext_if proto { tcp, udp, icmp } all keep state
anchor ip-pbx 

[oleg_max]

Demis » 2019-12-23 20:29:09

И еще хочется увидеть результат команды:

# /usr/local/etc/rc.d/squid configtest

только завтра на месте смогу проверить. SSH rip

[Demis]

только завтра на месте смогу проверить.

Ок. Не проблема. По поводу ssh. Тут у Вас так: реально через /etc/rc.conf стартует два ssh даемона.

sshd_enable="YES"
openssh_enable="YES"

Ну или пытается стартовать. При особой сноровке, если назначить разные порты (скажем 22 для одного и 22422 для другого), то одновременный запуск можно сделать.

sockstat | grep 22

Конфиг классического ssh увидим так:

Код: Выделить всё

ls /etc/ssh/sshd_config
-rw-r--r--  1 root  wheel  3761 Sep 19  2010 /etc/ssh/sshd_config 

В нем можно найти параметр:

Код: Выделить всё

cat /etc/ssh/sshd_config | grep Port
#Port 22
#GatewayPorts no

Обратите внимание "порт" с большой буквы. По дефолту он закомментирован (и при этом будет активным если нет других даемонов), но в каком виде у Вас - это нужно просто разобраться.
Второй ssh (который openssh), он установлен из портов (ports, не путать с портами от сокета типа 22 или 3389) конфиг от него должен валяться по пути:

Код: Выделить всё

ls /usr/local/etc/

В нем тоже должен быть указан номер порта от даемона. Есть вероятность, что в обоих случаях эти порты изменены.
Ознакомившись с конфигами и зная какой из них (или даже оба) стартует можно будет понять как подключаться через putty.
По конфигу от pf. Не узрел в нем правила разрешающего прохождение пакетов от внешнего ко внутреннему интерфейсу.
Тут наверное novik лучше подскажет.

[novik]

нет access.log не пустой. Он почти 50 Мб весит, но последняя дата изменения файла 6 декабря.

Это странно, с таким /etc/pf.conf squid в прозрачном режиме не должен работать, и access.log должен быть пустым. 6 декабря в /etc/pf.conf что-то меняли?

Да, не вопрос

Не понятно что подгружа(ло)ет правила в якоря в вашем /etc/pf.conf Это может быть скрипт, посмотрите что в cron-е у вас запускается. Но может это просто не рабочие останки от

На этом рабочем месте до меня было 3 или 4 человека. Что каждый пытался делать с этой несчастной фряхой, одной только ей известно.

[Demis]

Вполне можно шнурком. Выдернуть, подождать

На свежую голову подумалось, что лучше перезагрузиться. Как-то очень давно был случай, когда вроде все перепрописал, передернул на живую. Диагностика стала показывать, что все правильно, а реально по новому не работало.

[Demis]

Предполагаю, что это именно

просто не рабочие останки от

, а ip-pbx это отсылка к некоему ip-адресу от атэски. И осталось как апокриф. Судя по тексту, похоже, что якоря были когда-то связаны только с атэской.

[Demis]

Думаю, надо нам попросить у ТС что-то вроде

Код: Выделить всё

pfctl -sa

т.е. диагностику загруженных правил. Только живые адреса подправьте, но ничего не выкидывайте.

[snorlov]

В правилах pf я не заметил перенаправление на сквид, поэтому дело и не в сквиде, но вот в таблице маршрутизации, маршрут 0.0.0.0 указывает на alc0, а по идеи после поднятия ppp он должен указать на tun0, хотя я может быть и просмотрел этот момент, но defaultrouter из rc.conf удалите в любом случае...

[oleg_max]

Доброго времени суток!

И еще хочется увидеть результат команды:

# /usr/local/etc/rc.d/squid configtest

Выдает - unknown directive configtest.

По поводу ssh. Тут у Вас так: реально через /etc/rc.conf стартует два ssh даемона.

C SSH тут отдельная история. Пытался я его реанимировать, но безуспешно. С самого начала и сейчас при попытке запустить sshd

Код: Выделить всё

service sshd onestart

ругается на -

Код: Выделить всё

/usr/sbin/ssh-keygen: undefined symbol "ssh_OpenSSL_add_all_algorithms"
Performing sanity check on sshd confoguration
/usr/sbin/sshd: undefined symbol "ssh_OpenSSL_add_all_algorithms"
/etc/rc.d/sshd: WARNING: failed precmd routine for sshd

При попытке запустить openssh:

Код: Выделить всё

service openssh start

Код: Выделить всё

Performing sanity check on openssh configuration
/usr/local/sbin/sshd: Undefined symbol "logwtmp"
/usr/local/etc/rc.d/openssh: WARNING: failed precmd routine for openssh

Пробовал менять порты, потому что ругалось, что используется один и тот же порт. Порты sshd и openssh добавлял в pf.conf. Они там и сейчас есть, просто я строку с открытыми портами убрал из листинга pf.conf.

ls /etc/ssh/sshd_config

У меня данная команда выполняется только если добавить -la

Код: Выделить всё

ls -la /etc/ssh/sshd_config

Это может быть скрипт, посмотрите что в cron-е у вас запускается.

В crontab есть автозапуск скрипта, который pppoe перезапускает, и логротейт

Код: Выделить всё

# /etc/crontab - root's crontab for FreeBSD
#
# $FreeBSD: release/9.1.0/etc/crontab 194170 2009-06-14 06:37:19Z brian $
#
SHELL=/bin/sh
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin
#
#minute	hour	mday	month	wday	who	command
#
*/5	*	*	*	*	root	/usr/libexec/atrun
#
# Save some entropy so that /dev/random can re-seed on boot.
*/11	*	*	*	*	operator /usr/libexec/save-entropy
#
# Rotate log files every hour, if necessary.
0	*	*	*	*	root	newsyslog
#
# Perform daily/weekly/monthly maintenance.
1	3	*	*	*	root	periodic daily
15	4	*	*	6	root	periodic weekly
30	5	1	*	*	root	periodic monthly
#
# Adjust the time zone if the CMOS clock keeps local time, as opposed to
# UTC time.  See adjkerntz(8) for details.
1,31	0-5	*	*	*	root	adjkerntz -a
#
*/1	*	*	*	*	root	/sbin/ppp_check.pl
#
0	*	*	*	*	root	/usr/local/sbin/logrotate	/usr/local/etc/logrotate.conf 

[oleg_max]

Думаю, надо нам попросить у ТС что-то вроде

pfctl -sa

Сформировало увесистый файл 190Кб. Не уверен, что есть смысл весь листинг сюда постить.