самописный "веб" - сервер

[ASD]

Всем, хорошего настроения

Хотелось бы написать самописный "веб"-сервер.Есть опыт програмирования на С++ в видузе...поэтому не совсем все понятно *nix

1. Что можно почитать про многопоточность во FreeBSD
2. Так же хотел узнать как можно использовать CGI-программы в самописном сервере?
3. посоветуйте консольный IDE

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zg]

1. Что можно почитать про многопоточность во FreeBSD

man fork

2. Так же хотел узнать как можно использовать CGI-программы в самописном сервере?

как реализуешь сервер так и будешь использовать это к HTTP никак не относится, насколько я знаю.

3. посоветуйте консольный IDE

многие говорят vim, насколько это правда не знаю. Некоторые сидят в mc, я сижу в ee

[paradox]

Хотелось бы написать самописный "веб"-сервер.Есть опыт програмирования на С++ в видузе...поэтому не совсем все понятно *nix

зачем?

1. Что можно почитать про многопоточность во FreeBSD

многопоточность на бсд это вчерашнее время
читаем о man kevent

2. Так же хотел узнать как можно использовать CGI-программы в самописном сервере?

это вопрос не к самописному серверу
а к вам

3. посоветуйте консольный IDE

vi/vim

[Larin]

http://www.google.com.by/search?hl=ru&q ... =&aq=f&oq=
ых:)
книжек море.

[ASD]

1. Что можно почитать про многопоточность во FreeBSD

man fork

пошел по варианту thread

2. Так же хотел узнать как можно использовать CGI-программы в самописном сервере?

как реализуешь сервер так и будешь использовать это к HTTP никак не относится, насколько я знаю.

блин, все равно не понятно....ладно как дойду спрошу

3. посоветуйте консольный IDE

многие говорят vim, насколько это правда не знаю. Некоторые сидят в mc, я сижу в ee

Пишу в MS VC2005....по фтп на фряху....сойдет на первое время

[ASD]

1. Что можно почитать про многопоточность во FreeBSD

многопоточность на бсд это вчерашнее время
читаем о man kevent

я так понимаю после каждого accept-а я должен вешать kevent на вновь созданный сокет?

[paradox]

зачем создавать сокет?
у тебя уже есть сокет который слушает
а аксепт тебе уже возращает сокет при коннекте

[ASD]

зачем создавать сокет?
у тебя уже есть сокет который слушает
а аксепт тебе уже возращает сокет при коннекте

разве не?

Функция accept создаёт для общения с клиентом новый сокет и возвращает его дескриптор.

[ASD]

зачем создавать сокет?
у тебя уже есть сокет который слушает
а аксепт тебе уже возращает сокет при коннекте

Ясно, что я туплю...но честно не могу понять...т.е. один сокет для всех соединений?

[paradox]

почему один сокет?
один сокет слушает
а аксепт по этому сокету возращает новый сокет соединения

[ASD]

почему один сокет?
один сокет слушает
а аксепт по этому сокету возращает новый сокет соединения

Хотел что то вроде такого...прошу не пинать...проект под винду был...

Код: Выделить всё

BOOL StartServer()
{
    BOOL retVal = TRUE;
    CString str;


    try {
        serverINSock = socket(PF_INET, SOCK_STREAM, 0);
        CSockAddr saServer(INADDR_ANY, serverINPort);
        if (bind(serverINSock, saServer, sizeof(saServer)) != 0) {
            
            retVal = FALSE;
        }

        if (listen(serverINSock, SOMAXCONN) != 0) {
            
            retVal = FALSE;
        }



        AfxBeginThread(ServerThread, NULL);

    }
    catch(CException* e) {
        e->Delete();
    }
    return retVal;
}

UINT ServerThread(LPVOID pParam)
{
    CSockAddr src;
    int x = sizeof(src);

    try {
    SOCKET t = accept(serverINSock, (sockaddr *)&src, &x);
    if (serverINSock != INVALID_SOCKET){

        //---------------------------------------------------

        if (t != INVALID_SOCKET) {
                    
            AfxBeginThread(ServerThread, pParam);    
            new INServer(new CSocketIO(t));
        }
    }
    }
    catch(CException* e) {
        e->Delete();
    }
   
    return 0;
}

а уже в CSocketIO реализовать евент на чтение/запись для кажого вновь созданного сокета....или все таки я не так понимаю....

[paradox]

а уже в CSocketIO реализовать евент на чтение/запись для кажого вновь созданного сокета....или все таки я не так понимаю....

скажи нормально а то смысл фразы потерян

[ASD]

а уже в CSocketIO реализовать евент на чтение/запись для кажого вновь созданного сокета....или все таки я не так понимаю....

скажи нормально а то смысл фразы потерян

я имел ввиду что уже в объекте CSocketIO(это не принципиально, главное что сокет=объект) слушаем события по созданному(accept) сокету ...
что то вроде этого:

Код: Выделить всё

for (;;) 
{
..........................
	if ((n = kevent(kq, kev, ch, kev, nevents, NULL)) < 0)
........................
}

[paradox]

что то я не пойму что ты спрашиаешь
давай четкие вопросы

[ASD]

что то я не пойму что ты спрашиаешь
давай четкие вопросы

видимо все таки я не понял что такое kevent - еще раз:
на вновь созданный(по accept-у) дескриптор сокета - вешаются события?
вернее регистрируется ли он в дескрипторе очереди сообщений ядра? или только регистрируется базовы сокет(listen)? если только на листен не понятно как определить от кого "коннект"

[paradox]

на вновь созданный(по accept-у) дескриптор сокета - вешаются события?

да

вернее регистрируется ли он в дескрипторе очереди сообщений ядра?

что ты понимаешь под регистрируються?

или только регистрируется базовы сокет(listen)?

регистрируються те что ты регистрируешь

если только на листен не понятно как определить от кого "коннект"

не только листен
а вообще откого коннект можно узнать по getpeername

наверное тебе стоит посмотреть на уже готовые реализации на основе kevent
например inetd в бсд вроде на kevent
ну и bsdproxy в порах есть - он точно на kevent

ну и в гугле полно библиотек всяких на select и kevent и poll
так сказать на все случаи жизни

[ASD]

на вновь созданный(по accept-у) дескриптор сокета - вешаются события?

да

ок! спасибо

вернее регистрируется ли он в дескрипторе очереди сообщений ядра?

что ты понимаешь под регистрируються?

Код: Выделить всё

 if ( ( kq = kqueue() ) == -1 )
                exit(1);
EV_SET(&ke, fd, EVFILT_VNODE, EV_ADD|EV_CLEAR,  NOTE_WRITE, 0, NULL);
if ( kevent(kq, &ke, 1, NULL, 0, NULL) == -1 )
                exit(1);

или только регистрируется базовы сокет(listen)?

регистрируються те что ты регистрируешь

примерно понятно....

если только на листен не понятно как определить от кого "коннект"

не только листен
а вообще откого коннект можно узнать по getpeername

ну как то не красиво запрашивать getpeername после каждого события...

наверное тебе стоит посмотреть на уже готовые реализации на основе kevent
например inetd в бсд вроде на kevent
ну и bsdproxy в порах есть - он точно на kevent

ну и в гугле полно библиотек всяких на select и kevent и poll
так сказать на все случаи жизни

смотрю thttpd

[ASD]

на вновь созданный(по accept-у) дескриптор сокета - вешаются события?

да

а если 2 потока "повешают" событие, допустим - EVFILT_WRITE.....как грамотно обработать событие - что бы обоим досталось?

[paradox]

каких еще потока?

[ASD]

каких еще потока?

я хотел чтобы при accepte-е стартовал поток, которому передавался сокет(созданный по accept-у), в потоке создавлся объект(класса "сокета"), объект вешал события на сокет....и так далее новое подключение -> accept -> поток-объект -> событие на сокет...
так вот а если при accept-e сокет будет передоваться 2м потокам, второй должен логировать "сырые" данные...

[paradox]

я хотел чтобы при accepte-е стартовал поток, которому передавался сокет(созданный по accept-у),

это будет не сервер
а тормознутый терминал
поскольку время создание потока в бсд очень медленное

тогда передумай полностью концепцию

поскольку kevent это Non-Blocked-IO идеология
где потоков нет

смысла юзать потоки для kevent я не вижу если чесно

если переходить на pthread то тогда kevent нужно выбрасывать
а что бы время на создание потока не затрачивалось
создаваь при старте самого демона
количество потоков которые будут обрабатывать данные...
как напимер в mysql сервере и прочих....

[ASD]

Подскажите почему клиент, не обрывает соединения после получения такой вот конструкции....а находится в режиме "открытия страницы http://......

HTTP/1.0 200
Server: ABOS0.1.0
Date: Thu, 23 Jul 2009 06:02:11 GMT
Content-Type: text/html; charset=Hз
Cache-Control: max-age=1
Expires: Thu, 23 Jul 2009 06:02:12 GMT
Connection: close

<html>
<head>
<title>МОЙ ПЕРВЫЙ ВЕБ_СЕРВЕР!!!!</title>
</head>
<body bgcolor="white" text="black">
<center><h1>И СКОРЕЕ ВСЕГО ПОСЛЕДНИЙ!!!!</h1></center>
</body>
</html>

[xDi]

Всем, хорошего настроения

Хотелось бы написать самописный "веб"-сервер.Есть опыт програмирования на С++ в видузе...поэтому не совсем все понятно *nix

1. Что можно почитать про многопоточность во FreeBSD
2. Так же хотел узнать как можно использовать CGI-программы в самописном сервере?
3. посоветуйте консольный IDE

Рекоммендую книги Стивенса "UNIX. Разработка сетевых приложений" и "UNIX. Взаимодействие процессов". Очень хорошо расписано. Именно прочитав их я и написал свой веб-сервер. Алгоритм многопоточного сервера был такой:

главный поток:
1. Запускаем сервер, проверив не запущена ли уже копия.
2. Инициализация (чтение конфигов и пр)
3. Создание сокета, привязка к адресу, постановка на прослушивание.
4. Запескаем поток диспетчеров потока
5. Бесконечное ожидание останова

диспетчер потоков (запускается по сигналу таймера (SIGALRM):
1. проверяет необходимость порождения рабочих потоков (как это реализуете - решать вам)
2. если требуется, плодит рабочие потоки
3. запускает таймер

рабочий поток работает в бесконечном цикле:
1. блокирует мютекс
2. принимает соединение
3. разблокирует мютекс
4. выполняет полезную работу
5. проверяет необходимость суицида (опять же механизм зависит от вашей реализации управления колличеством рабочих потоков. т.е. диспетчер потоков будет их плодить, если нехватает, а если избыток, то очередной поток себя завершит).

т.о. в процессе постоянно существует некоторое колличество рабочих потоков, при чем только один поток готов приниммать соединение (за счет мютекса).

подводные камни:
- исключение повисаний в заблокированом ожидании соединения (решил поллингом. как вариант - неблокируемые сокеты)
- механизм завершения (решил это обработкой сигналов)
- были и другие, сейчас на вскидку не вспомню.

[Alex Keda]

апач чтоли 1.x писал?

[xDi]

апач чтоли 1.x писал?

Нет, первый апач не многопоточный. Там механизм похожий, но плодятся не потоки (thread), а ветвятся (fork) дочерние процессы.
Я писал сервер под узкую задачу: наиболее эффективно (с точки зрения ресурсов) отдавать сравнительно большие статические файлы большому числу медленных клиентов.