Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2013-05-30 10:26:20

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Nginx php5-fpm wyskiej dostępności

Witam,

Programiści napisali aplikację do liczenia unikalnych użytkowników. Skrypt jest podłączony do stron www.rp.pl www.gazeta.pl oraz www.onet.pl.
Odwiedzin i zapytań jest w milionach, ja to muszę ogarnąć serwerem a raczej kilkoma.
Mój pierwszy serwer
Procesor 1procesor z 2 rdzeniami
Ram 4GB
Działa na nim nginx z load balancing

Kolejne dwa mają strony www ze skryptem do zliczania i wysyłania statystyk do stacji klienta
Dwa serwery o parametrach
Procesor 1x2 rdzenie
Ram 2GB
Nginx i php5-fpm

Ostatni serwer to sama baza danych MySQL
Procesor 1 procesor 4 rdzenie
Ram 6GB
Tylko MySQL

Wszystko jest umieszczone w chmurze e24cloud.pl. Obciążenie sieci jest na poziomie 350k/s, maszyny mają max 35%procesora i 500Mb ramu zużytego, bazodanowy oczywiście więcej ok 1,2GB ramu i rdzenie pracują na 50%.
Niestety podczas pomiarów na rp.pl, onet i gazeta skrypt wykonuje nam się ok 72s co zniekształca statystyki.

Konfiguracja nginx jest taka

Kod:

#cat /etc/nginx/sites-available/default 
# You may add here your
# server {
#    ...
# }
# statements for each of your virtual hosts to this file

##
# You should look at the following URL's in order to grasp a solid understanding
# of Nginx configuration files in order to fully unleash the power of Nginx.
# http://wiki.nginx.org/Pitfalls
# http://wiki.nginx.org/QuickStart
# http://wiki.nginx.org/Configuration
#
# Generally, you will want to move this file somewhere, and start with a clean
# file but keep this around for reference. Or just disable in sites-enabled.
#
# Please see /usr/share/doc/nginx-doc/examples/ for more detailed examples.
##

server {
    listen   80; ## listen for ipv4; this line is default and implied
    #listen   [::]:80 default_server ipv6only=on; ## listen for ipv6

    #root /usr/share/nginx/www;
    root /var/www/html/adprize;
    index index.php index.html index.htm;

    # Make site accessible from http://localhost/
    server_name localhost;

    location / {
        # First attempt to serve request as file, then
        # as directory, then fall back to displaying a 404.
    #    try_files $uri $uri/ /index.html;
        # Uncomment to enable naxsi on this location
        # include /etc/nginx/naxsi.rules
        try_files $uri $uri/ @kohana;

    }


    # Only for nginx-naxsi used with nginx-naxsi-ui : process denied requests
    #location /RequestDenied {
    #    proxy_pass http://127.0.0.1:8080;    
    #}

    #error_page 404 /404.html;

    # redirect server error pages to the static page /50x.html
    #
    #error_page 500 502 503 504 /50x.html;
    #location = /50x.html {
    #    root /usr/share/nginx/www;
    #}
    
    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    location ~ \.php$ {

        fastcgi_split_path_info ^(.+\.php)(.*)$;
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME /var/www/html/adprize/$fastcgi_script_name;
        fastcgi_param REMOTE_ADDR $http_x_real_ip;
        include fastcgi_params;
        fastcgi_intercept_errors on;
        fastcgi_ignore_client_abort off;
        fastcgi_connect_timeout 60;
        fastcgi_send_timeout 180;
        fastcgi_read_timeout 180;
        fastcgi_buffer_size 128k;
        fastcgi_buffers 4 256k;
        fastcgi_busy_buffers_size 256k;
        fastcgi_temp_file_write_size 256k;
    }
        # HANDLES THE REWRITTEN URLS TO KOHANA CONTROLLER
        location @kohana {
        fastcgi_pass 127.0.0.1:9000;
    set $memcached_key $uri;
        memcached_pass     127.0.0.1:11211;
        default_type       text/html;
        fastcgi_index index.php;
        include fastcgi_params;
        fastcgi_param SCRIPT_FILENAME $document_root/index.php;
        }
 
 
    # CACHE CONTROL FOR STATIC FILES
        location ~* \.css|\.js|\.jpg|\.jpeg|\.png|\.gif|\.swf|\.svg|\.tiff|\.pdf$ {
            expires 30d;
        }
 
    # REDIRECTING MEDIAS TO STATIC
        #location ^~ /medias/ {
        #    rewrite ^/medias/(.*) http://static.xxxx.com/$1 permanent;
        #    break;
        #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny all;
    #}
}

To jest konfiguracja serwerów www, które obrabiają skrypt php oparty o framework KOHANA.
Konfiguracja php

Kod:

#cat /etc/php5/fpm/pool.d/www.conf 
; Start a new pool named 'www'.
; the variable $pool can we used in any directive and will be replaced by the
; pool name ('www' here)
[www]

; Per pool prefix
; It only applies on the following directives:
; - 'slowlog'
; - 'listen' (unixsocket)
; - 'chroot'
; - 'chdir'
; - 'php_values'
; - 'php_admin_values'
; When not set, the global prefix (or /usr) applies instead.
; Note: This directive can also be relative to the global prefix.
; Default Value: none
;prefix = /path/to/pools/$pool

; Unix user/group of processes
; Note: The user is mandatory. If the group is not set, the default user's group
;       will be used.
user = www-data
group = www-data

; The address on which to accept FastCGI requests.
; Valid syntaxes are:
;   'ip.add.re.ss:port'    - to listen on a TCP socket to a specific address on
;                            a specific port;
;   'port'                 - to listen on a TCP socket to all addresses on a
;                            specific port;
;   '/path/to/unix/socket' - to listen on a unix socket.
; Note: This value is mandatory.
;listen = /var/run/php5-fpm.sock
listen = 127.0.0.1:9000

; Set listen(2) backlog.
; Default Value: 128 (-1 on FreeBSD and OpenBSD)
;listen.backlog = 128

; Set permissions for unix socket, if one is used. In Linux, read/write
; permissions must be set in order to allow connections from a web server. Many
; BSD-derived systems allow connections regardless of permissions. 
; Default Values: user and group are set as the running user
;                 mode is set to 0666
;listen.owner = www-data
;listen.group = www-data
;listen.mode = 0666
 
; List of ipv4 addresses of FastCGI clients which are allowed to connect.
; Equivalent to the FCGI_WEB_SERVER_ADDRS environment variable in the original
; PHP FCGI (5.2.2+). Makes sense only with a tcp listening socket. Each address
; must be separated by a comma. If this value is left blank, connections will be
; accepted from any ip address.
; Default Value: any
;listen.allowed_clients = 127.0.0.1

; Choose how the process manager will control the number of child processes.
; Possible Values:
;   static  - a fixed number (pm.max_children) of child processes;
;   dynamic - the number of child processes are set dynamically based on the
;             following directives. With this process management, there will be
;             always at least 1 children.
;             pm.max_children      - the maximum number of children that can
;                                    be alive at the same time.
;             pm.start_servers     - the number of children created on startup.
;             pm.min_spare_servers - the minimum number of children in 'idle'
;                                    state (waiting to process). If the number
;                                    of 'idle' processes is less than this
;                                    number then some children will be created.
;             pm.max_spare_servers - the maximum number of children in 'idle'
;                                    state (waiting to process). If the number
;                                    of 'idle' processes is greater than this
;                                    number then some children will be killed.
;  ondemand - no children are created at startup. Children will be forked when
;             new requests will connect. The following parameter are used:
;             pm.max_children           - the maximum number of children that
;                                         can be alive at the same time.
;             pm.process_idle_timeout   - The number of seconds after which
;                                         an idle process will be killed.
; Note: This value is mandatory.
pm = static
pm.start_servers = 0
pm.max_children = 1
pm.min_spare_servers = 0
pm.max_spare_servers = 0
pm.max_requests = 0

; The number of child processes to be created when pm is set to 'static' and the
; maximum number of child processes when pm is set to 'dynamic' or 'ondemand'.
; This value sets the limit on the number of simultaneous requests that will be
; served. Equivalent to the ApacheMaxClients directive with mpm_prefork.
; Equivalent to the PHP_FCGI_CHILDREN environment variable in the original PHP
; CGI. The below defaults are based on a server without much resources. Don't
; forget to tweak pm.* to fit your needs.
; Note: Used when pm is set to 'static', 'dynamic' or 'ondemand'
; Note: This value is mandatory.
; pm.max_children = 5
; pm.max_children = 2000

; The number of child processes created on startup.
; Note: Used only when pm is set to 'dynamic'
; Default Value: min_spare_servers + (max_spare_servers - min_spare_servers) / 2
; pm.start_servers = 2
; pm.start_servers = 25

; The desired minimum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
; pm.min_spare_servers = 20

; The desired maximum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
; pm.max_spare_servers = 500

; The number of seconds after which an idle process will be killed.
; Note: Used only when pm is set to 'ondemand'
; Default Value: 10s
;pm.process_idle_timeout = 10s;
 
; The number of requests each child process should execute before respawning.
; This can be useful to work around memory leaks in 3rd party libraries. For
; endless request processing specify '0'. Equivalent to PHP_FCGI_MAX_REQUESTS.
; Default Value: 0
;pm.max_requests = 500
; pm.max_requests = 50000

; The URI to view the FPM status page. If this value is not set, no URI will be
; recognized as a status page. It shows the following informations:
;   pool                 - the name of the pool;
;   process manager      - static, dynamic or ondemand;
;   start time           - the date and time FPM has started;
;   start since          - number of seconds since FPM has started;
;   accepted conn        - the number of request accepted by the pool;
;   listen queue         - the number of request in the queue of pending
;                          connections (see backlog in listen(2));
;   max listen queue     - the maximum number of requests in the queue
;                          of pending connections since FPM has started;
;   listen queue len     - the size of the socket queue of pending connections;
;   idle processes       - the number of idle processes;
;   active processes     - the number of active processes;
;   total processes      - the number of idle + active processes;
;   max active processes - the maximum number of active processes since FPM
;                          has started;
;   max children reached - number of times, the process limit has been reached,
;                          when pm tries to start more children (works only for
;                          pm 'dynamic' and 'ondemand');
; Value are updated in real time.
; Example output:
;   pool:                 www
;   process manager:      static
;   start time:           01/Jul/2011:17:53:49 +0200
;   start since:          62636
;   accepted conn:        190460
;   listen queue:         0
;   max listen queue:     1
;   listen queue len:     42
;   idle processes:       4
;   active processes:     11
;   total processes:      15
;   max active processes: 12
;   max children reached: 0
;
; By default the status page output is formatted as text/plain. Passing either
; 'html', 'xml' or 'json' in the query string will return the corresponding
; output syntax. Example:
;   http://www.foo.bar/status
;   http://www.foo.bar/status?json
;   http://www.foo.bar/status?html
;   http://www.foo.bar/status?xml
;
; By default the status page only outputs short status. Passing 'full' in the
; query string will also return status for each pool process.
; Example: 
;   http://www.foo.bar/status?full
;   http://www.foo.bar/status?json&full
;   http://www.foo.bar/status?html&full
;   http://www.foo.bar/status?xml&full
; The Full status returns for each process:
;   pid                  - the PID of the process;
;   state                - the state of the process (Idle, Running, ...);
;   start time           - the date and time the process has started;
;   start since          - the number of seconds since the process has started;
;   requests             - the number of requests the process has served;
;   request duration     - the duration in µs of the requests;
;   request method       - the request method (GET, POST, ...);
;   request URI          - the request URI with the query string;
;   content length       - the content length of the request (only with POST);
;   user                 - the user (PHP_AUTH_USER) (or '-' if not set);
;   script               - the main script called (or '-' if not set);
;   last request cpu     - the %cpu the last request consumed
;                          it's always 0 if the process is not in Idle state
;                          because CPU calculation is done when the request
;                          processing has terminated;
;   last request memory  - the max amount of memory the last request consumed
;                          it's always 0 if the process is not in Idle state
;                          because memory calculation is done when the request
;                          processing has terminated;
; If the process is in Idle state, then informations are related to the
; last request the process has served. Otherwise informations are related to
; the current request being served.
; Example output:
;   ************************
;   pid:                  31330
;   state:                Running
;   start time:           01/Jul/2011:17:53:49 +0200
;   start since:          63087
;   requests:             12808
;   request duration:     1250261
;   request method:       GET
;   request URI:          /test_mem.php?N=10000
;   content length:       0
;   user:                 -
;   script:               /home/fat/web/docs/php/test_mem.php
;   last request cpu:     0.00
;   last request memory:  0
;
; Note: There is a real-time FPM status monitoring sample web page available
;       It's available in: ${prefix}/share/fpm/status.html
;
; Note: The value must start with a leading slash (/). The value can be
;       anything, but it may not be a good idea to use the .php extension or it
;       may conflict with a real PHP file.
; Default Value: not set 
;pm.status_path = /status
 
; The ping URI to call the monitoring page of FPM. If this value is not set, no
; URI will be recognized as a ping page. This could be used to test from outside
; that FPM is alive and responding, or to
; - create a graph of FPM availability (rrd or such);
; - remove a server from a group if it is not responding (load balancing);
; - trigger alerts for the operating team (24/7).
; Note: The value must start with a leading slash (/). The value can be
;       anything, but it may not be a good idea to use the .php extension or it
;       may conflict with a real PHP file.
; Default Value: not set
;ping.path = /ping

; This directive may be used to customize the response of a ping request. The
; response is formatted as text/plain with a 200 response code.
; Default Value: pong
;ping.response = pong

; The access log file
; Default: not set
;access.log = log/$pool.access.log

; The access log format.
; The following syntax is allowed
;  %%: the '%' character
;  %C: %CPU used by the request
;      it can accept the following format:
;      - %{user}C for user CPU only
;      - %{system}C for system CPU only
;      - %{total}C  for user + system CPU (default)
;  %d: time taken to serve the request
;      it can accept the following format:
;      - %{seconds}d (default)
;      - %{miliseconds}d
;      - %{mili}d
;      - %{microseconds}d
;      - %{micro}d
;  %e: an environment variable (same as $_ENV or $_SERVER)
;      it must be associated with embraces to specify the name of the env
;      variable. Some exemples:
;      - server specifics like: %{REQUEST_METHOD}e or %{SERVER_PROTOCOL}e
;      - HTTP headers like: %{HTTP_HOST}e or %{HTTP_USER_AGENT}e
;  %f: script filename
;  %l: content-length of the request (for POST request only)
;  %m: request method
;  %M: peak of memory allocated by PHP
;      it can accept the following format:
;      - %{bytes}M (default)
;      - %{kilobytes}M
;      - %{kilo}M
;      - %{megabytes}M
;      - %{mega}M
;  %n: pool name
;  %o: ouput header
;      it must be associated with embraces to specify the name of the header:
;      - %{Content-Type}o
;      - %{X-Powered-By}o
;      - %{Transfert-Encoding}o
;      - ....
;  %p: PID of the child that serviced the request
;  %P: PID of the parent of the child that serviced the request
;  %q: the query string 
;  %Q: the '?' character if query string exists
;  %r: the request URI (without the query string, see %q and %Q)
;  %R: remote IP address
;  %s: status (response code)
;  %t: server time the request was received
;      it can accept a strftime(3) format:
;      %d/%b/%Y:%H:%M:%S %z (default)
;  %T: time the log has been written (the request has finished)
;      it can accept a strftime(3) format:
;      %d/%b/%Y:%H:%M:%S %z (default)
;  %u: remote user
;
; Default: "%R - %u %t \"%m %r\" %s"
;access.format = "%R - %u %t \"%m %r%Q%q\" %s %f %{mili}d %{kilo}M %C%%"
 
; The log file for slow requests
; Default Value: not set
; Note: slowlog is mandatory if request_slowlog_timeout is set
;slowlog = log/$pool.log.slow
 
; The timeout for serving a single request after which a PHP backtrace will be
; dumped to the 'slowlog' file. A value of '0s' means 'off'.
; Available units: s(econds)(default), m(inutes), h(ours), or d(ays)
; Default Value: 0
;request_slowlog_timeout = 0
 
; The timeout for serving a single request after which the worker process will
; be killed. This option should be used when the 'max_execution_time' ini option
; does not stop script execution for some reason. A value of '0' means 'off'.
; Available units: s(econds)(default), m(inutes), h(ours), or d(ays)
; Default Value: 0
;request_terminate_timeout = 0
 
; Set open file descriptor rlimit.
; Default Value: system defined value
;rlimit_files = 1024
 
; Set max core size rlimit.
; Possible Values: 'unlimited' or an integer greater or equal to 0
; Default Value: system defined value
;rlimit_core = 0
 
; Chroot to this directory at the start. This value must be defined as an
; absolute path. When this value is not set, chroot is not used.
; Note: you can prefix with '$prefix' to chroot to the pool prefix or one
; of its subdirectories. If the pool prefix is not set, the global prefix
; will be used instead.
; Note: chrooting is a great security feature and should be used whenever 
;       possible. However, all PHP paths will be relative to the chroot
;       (error_log, sessions.save_path, ...).
; Default Value: not set
;chroot = 
 
; Chdir to this directory at the start.
; Note: relative path can be used.
; Default Value: current directory or / when chroot
chdir = /
 
; Redirect worker stdout and stderr into main error log. If not set, stdout and
; stderr will be redirected to /dev/null according to FastCGI specs.
; Note: on highloaded environement, this can cause some delay in the page
; process time (several ms).
; Default Value: no
;catch_workers_output = yes

; Limits the extensions of the main script FPM will allow to parse. This can
; prevent configuration mistakes on the web server side. You should only limit
; FPM to .php extensions to prevent malicious users to use other extensions to
; exectute php code.
; Note: set an empty value to allow all extensions.
; Default Value: .php
;security.limit_extensions = .php .php3 .php4 .php5
 
; Pass environment variables like LD_LIBRARY_PATH. All $VARIABLEs are taken from
; the current environment.
; Default Value: clean env
;env[HOSTNAME] = $HOSTNAME
;env[PATH] = /usr/local/bin:/usr/bin:/bin
;env[TMP] = /tmp
;env[TMPDIR] = /tmp
;env[TEMP] = /tmp

; Additional php.ini defines, specific to this pool of workers. These settings
; overwrite the values previously defined in the php.ini. The directives are the
; same as the PHP SAPI:
;   php_value/php_flag             - you can set classic ini defines which can
;                                    be overwritten from PHP call 'ini_set'. 
;   php_admin_value/php_admin_flag - these directives won't be overwritten by
;                                     PHP call 'ini_set'
; For php_*flag, valid values are on, off, 1, 0, true, false, yes or no.

; Defining 'extension' will load the corresponding shared extension from
; extension_dir. Defining 'disable_functions' or 'disable_classes' will not
; overwrite previously defined php.ini values, but will append the new value
; instead.

; Note: path INI options can be relative and will be expanded with the prefix
; (pool, global or /usr)

; Default Value: nothing is defined by default except the values in php.ini and
;                specified at startup with the -d argument
;php_admin_value[sendmail_path] = /usr/sbin/sendmail -t -i -f www@my.domain.com
;php_flag[display_errors] = off
;php_admin_value[error_log] = /var/log/fpm-php.www.log
;php_admin_flag[log_errors] = on
;php_admin_value[memory_limit] = 32M

Nie wiem co jeszcze mogę zoptymalizować, żeby to szybko działało tak to 7s max. Jeśli na tych stronach nie ma obciążenia to skrypt tak się wykonuje.
Przy dużych obciążeniach mam takie błędy

Kod:

2013/05/30 10:23:50 [error] 2135#0: *25434 upstream timed out (110: Connection timed out) while connecting to upstream, client: 178.xxx.xxx.85, server: localhost, request: "GET /dir/dot2.php?t=1369902193142&ct=4200&uid=8h5g8l8ow6Pq7cpnfz3i12qz0whqcddkAgtO25qh&a=http%3A%2F%2Fwww.rp.pl%2Fartykul%2F1014374.html%23.Uab5iZz-YNs.facebook&i=18430674&secID=OgSeLc41R4HSyIIY5IXAT7oSzkkSSdj5e5IBwqoC9NLuV HTTP/1.0", upstream: "fastcgi://127.0.0.1:9000", host: "adprize.pl", referrer: "http://www.rp.pl/artykul/1014374.html"
2013/05/30 10:23:51 [error] 2135#0: *25438 upstream timed out (110: Connection timed out) while connecting to upstream, client: 178.xxx.xxx.85, server: localhost, request: "GET /dir/dot2.php?t=1369902192514&ct=28920&uid=epypmv4e55090f31lv4oAhdr3ok1s386rOoA9wqy&a=http%3A%2F%2Fprawo.rp.pl%2Fartykul%2F942089.html&i=18297410&secID=2VPSH88I8iyztsmqAD0X6qymR7JoIc66VHmLMJmeRiYKb HTTP/1.0", upstream: "fastcgi://127.0.0.1:9000", host: "adprize.pl", referrer: "http://prawo.rp.pl/artykul/942089.html"
2013/05/30 10:23:51 [error] 2135#0: *25440 upstream timed out (110: Connection timed out) while connecting to upstream, client: 178.xxx.xxx.85, server: localhost, request: "GET /dir/dot2.php?t=1369902184666&ct=280&uid=z0lqklo9c513qcf0n7tv2a7664gbj94ngn9h4aqz&a=http%3A%2F%2Fwww.rp.pl%2Fartykul%2F11%2C1014653-Sprawca-masakry-w-Afganistanie-przyzna-sie-do-winy.html&i=18439296&secID=OgSeLc41R4HSyIIY5IXAT7oSzkkSSdj5e5IBwqoC9NLuV HTTP/1.0", upstream: "fastcgi://127.0.0.1:9000", host: "adprize.pl", referrer: "http://www.rp.pl/artykul/11,1014653-Sprawca-masakry-w-Afganistanie-przyzna-sie-do-winy.html"
2013/05/30 10:23:51 [error] 2135#0: *25442 upstream timed out (110: Connection timed out) while connecting to upstream, client: 178.xxx.xxx.85, server: localhost, request: "GET /dir/dot2.php?t=1369902181141&ct=4200&uid=y3kw60abu6qKKi5704j5qbhq6soqw3kw2ehq1aKK&a=http%3A%2F%2Fwww.ekonomia.rp.pl%2Fartykul%2F707218%2C1014105-Rosna-stawki-najmu-w-Niemczech.html&i=18430614&secID=rZ2YZFmfN72h4b3l5zMJcaLr5lKmaaLaV4dGDiVHKB42C HTTP/1.0", upstream: "fastcgi://127.0.0.1:9000", host: "adprize.pl", referrer: "http://www.ekonomia.rp.pl/artykul/707218,1014105-Rosna-stawki-najmu-w-Niemczech.html"
2013/05/30 10:23:51 [error] 2135#0: *25444 upstream timed out (110: Connection timed out) while connecting to upstream, client: 178.xxx.xxx.85, server: localhost, request: "GET /dir/dot2.php?t=1369902181750&ct=5250&a=http%3A%2F%2Fwww.rp.pl%2Fartykul%2F107684%2C1012204-Smierc--ktora-ma-obudzic-sumienie-Francji.html&i=17016605&secID=OgSeLc41R4HSyIIY5IXAT7oSzkkSSdj5e5IBwqoC9NLuV HTTP/1.0", upstream: "fastcgi://127.0.0.1:9000", host: "adprize.pl", referrer: "http://www.rp.pl/artykul/107684,1012204-Smierc--ktora-ma-obudzic-sumienie-Francji.html"

Możecie pomóc ?


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#2  2013-05-30 11:33:23

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Nginx php5-fpm wyskiej dostępności

W czym pomóc?
Stawiasz ucarpa, 2500 maszynek wisi na jednym wirtualnym ucarpowym IP, jak diabli wezmą 1500 maszynek, pozostały tysiączek dalej obrabia zapytania.
Do tego między serwerami albo replikacja bazy SQL, albo kluster bazodanowy do tego bajzlu, z plikami to samo (np DRBD).
Cały ruch idzie na ten wirtualny ucarpowy IP.
W zasadzie chyba wszystko.

Z innych opcji (jak ktoś lubi sobie życie utrudniać) albo moduł CLUSTER z iptables, albo Nginx jako proxy-load-balancer i failover w jednym.

W twojej konfiguracji obecnej natomiast masz dwie zalety:
SPOF - Single Point of Failure - 2 szt, padnie Nginx z load-balancing - dupa, padnie Mysql - dupa.
Jakiś 1% albo więcej wydajności tracisz na TCP po localhoście.
To jest o tyle pocieszne, że przy komunikacji przez UNIX-socket jest pytanie <=> odpowiedź, a przy TCP za każdym razem zaczyna się sesją TCP SYN - ACK - SYN_ACK i tak dalej.

Reszta roboty w samym skrypcie, bo jak się wykonuje 72 sekundy, to autor skryptu powinien trafić do konserw dla psów.
Skrypt ma się robić w 0,0x sekundy, w najgorszym razie 0,x sekundy.

Kolejne dwa mają strony www ze skryptem do zliczania i wysyłania statystyk do stacji klienta

Słowa kluczowe - syslog, do tego lekki demon do analizowania logów idacych przez socket UNIX? dałoby radę XXX razy szybciej, niż skryptologia.
A np Nginx ma całkiem grzeczny modul logowania, który może zbierać cłakiem ciekawe informacje u użyszkodnikach, i jest dosć elastyczny w konfiguracji, do Awstats wystarcza w zupełności.

Zależy jednak, jakie dane idą do klienta, jeśli syslog nie teges, to lekki jak piórko skrypt, który wysyła dane natychmiast do demona, który to demon  je analizuje, sortuje  i wysyła, gdzie trzeba.
Przez socket, rzecz jasna (w miarę możliwości).
I zamiast super-duper frameworka, kilka linijek kodu do tego skrypta, a serwer najlepiej napisać w C,
jak ktoś potrafi.
Albo bezposreni insert do bazy, przez socket Mysqla taki 30 linijkowy skrypt powinien wyrobić się z transakcją SQL i wpisaniem do bazy 20 rekordów w 0,5 sekundy max.
Może insertować do tabeli memory siedzącej w ramie, gdzie przejmie te dane inny program do obróbki
- choć to już dosyć karkołomna zabawa.

Nie wiem, jak Nginx, ale np Apache ma moduł logowania do SQLa bezpośrednio.
Nginxa na 1500% można puscić z logami przez syslog/rsyslog z takim samym rezultatem.

Tak bym to widział.

Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2013-05-30 12:11:03)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#3  2013-05-30 11:59:21

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Re: Nginx php5-fpm wyskiej dostępności

ile maszynek ? ja mam tylko 3 do roboty :)))
No mam nginx proxy-load-balancer, czyli co więcej maszyn muszę dostawić ?

Co mi da ucarpa ? zrobi mi więcej IP czy co ? Sorki ale nie znam tego

Ostatnio edytowany przez redelek (2013-05-30 12:01:29)


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#4  2013-05-30 12:21:41

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Nginx php5-fpm wyskiej dostępności

Ma być wysoka dostępność?
http://goodworkaround.com/node/11

Wysoka dostępność oznacza brak punktów SPOF, które mogą położyć cały system.
Dlatego wlaśnie wiesza sie kilka maszynek na jednym wspólnym IP, zeby w razie padu jednej lub kilku ,
bez żadnego opóźnienia pozostałe przejęły jej robotę w możliwie maksymalnie bezkolizyjny sposób.
I nie ma tu różnicy, czy masz 2 maszyny, czy 200 maszyn, tak to wlasnie działa.

Dodatkowo, powinieneś mieć co najmniej 2 serwery SQL na różnych maszynach, na wypadek, jak jedną by dialbi wzięli.
I między nimi jakąś replikację lub synchronizację, najlepiej replikację dwukierunkową typu multi-master.
Sznurek: http://en.wikipedia.org/wiki/Multi-master_replicati … ement_Systems
Tu masz przyklad "MarysiBD" z master-replication: https://kb.askmonty.org/en/what-is-mariadb-galera-cluster/

Tak się robi wysoką dostępność, chmury, itp.

Jak natomiast jakis skrypt się robi 7 - 72 sekundy, to pogadaj z tym skryptem, żeby to robił szybciej.
Jakieś 100 razy szybciej.

Albo po prostu napisz, jakie to dane wyciągacie do klientów, żeby się nie okazało, że wszysko masz w logach Nginxa, tylko trzeba to jakoś obrobić.

Ostatnio edytowany przez Jacekalex (2013-05-30 12:33:23)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#5  2013-05-30 12:30:19

  redelek - Członek DUG

redelek
Członek DUG
Skąd: Warszawa
Zarejestrowany: 2008-07-17

Re: Nginx php5-fpm wyskiej dostępności

no ba to co chcą jest w logach nginx, ale zwolnią programistę który się narobił :)))
Z tego co mi kiedyś pokazali co ta aplikacja zbiera to ja to samo mam w logach serwera, no ale ja nie jestem programistą :(((
Trzeba by to poukładać i gdzieś zaczytywać co jakiś czas :)))


Pozdrawiam
Redelek
--------------------------------------------------------
Polecam hosting ViPower https://vipower.pl/panel/aff.php?aff=208, TikTalik https://tiktalik.com/pl/

Offline

 

#6  2013-05-30 12:40:30

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: Nginx php5-fpm wyskiej dostępności

redelek napisał(-a):

no ba to co chcą jest w logach nginx, ale zwolnią programistę który się narobił :)))
Z tego co mi kiedyś pokazali co ta aplikacja zbiera to ja to samo mam w logach serwera, no ale ja nie jestem programistą :(((
Trzeba by to poukładać i gdzieś zaczytywać co jakiś czas :)))

Co Ci przypomina, Co Ci przypomina, widok znajomy ten....
Pod warunkiem, że czyta z socketu /dev/snort, i parsuje argumenty w pętli linia po linii, dla każdej linii wykonując akcję opisaną w funkcji uruchamianej petlą.
Trudne?

Zajrzyj np do źródełka skryptu guardian.pl do snorta.

A zamiast szarpać się, każ naskrobać skrypta programiście, żeby się narobił w miarę sensownie, zamiast partolić skrypty php, ktore się robią czasami po 72 sekundy.

Pozdrawiam
;-)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
Nas ludzie lubią po prostu, a nie klikając w przyciski ;-)