[plonegov-br] [zope-pt] [Problemas servidor Plone ´IDG´] [4 Anexos]

Silvio Marino silviomarino em ufscar.br
Quinta Julho 26 15:19:27 BRT 2018


Alexandre,

aqui na UFSCar lançamos o portal da universidade sem uso de servidor de 
cache. Depois de um mês verificamos que todos os dias a partir das 16h o 
portal ficava sobrecarregado (grande consumo de memória e uso de cpu). 
Configuramos o varnish no servidor e o problema foi resolvido. Além de 
diminuir o consumo de memória e uso de cpu, o cache aumentou o número de 
respostas aos acessos simultâneos que praticamente derrubavam o servidor.

Passado um tempo, descobrimos que a origem do problema era uma rotina de 
um aplicativo para celular, desenvolvido pelos alunos, que às 16h acessa 
o portal para consultar o cardápio do restaurante universitário.

Abraço

Silvio

Em 26/07/2018 11:54, Alexandre Chagas escreveu:
> Muito legal, Clayton :)
>
> Principalmente no exemplo que relatastes quanto a importância do 
> servidor de cache, com a opinião do grupo, possuo mais embasamento em 
> favor desse argumento.
>
> E os links, obrigado.
>
> Forte abraço,
>
> Alexandre Chagas.
>
> Em 26 de julho de 2018 11:40, Clayton <claytonc.sousa em gmail.com 
> <mailto:claytonc.sousa em gmail.com>> escreveu:
>
>     Alexandre,
>
>     Só para complementar[1].
>
>     Seria bom você acompanhar os acesso com o google analytics[2] e
>     webmasters[3].
>
>     [1] https://www.similarweb.com/website/ana.gov.br
>     <https://www.similarweb.com/website/ana.gov.br>
>     [2] https://analytics.google.com
>     [3] https://www.google.com/intl/pt-BR/webmasters
>     <https://www.google.com/intl/pt-BR/webmasters>
>
>     abraços,
>     Clayton
>
>
>     Em qui, 26 de jul de 2018 às 11:30, Clayton
>     <claytonc.sousa em gmail.com <mailto:claytonc.sousa em gmail.com>> escreveu:
>
>         Alexandre,
>
>         Se fosse um portal estático até concordaria em partes com a
>         infraestrutura a falta de um servidor de cache.
>         Mas o servidor de cache é essencial em portais dinâmicos
>         independente da tecnologia, conforme os acessos aumentam mais
>         memoria é consumida.
>         Agora se o pessoal da infraestrutura não quiser instalar um
>         servidor de cache (Varnish) vai ter que colocar mais máquinas.
>         Ocorreu um caso parecido comigo que também não queriam colocar
>         um servidor de cache e não era Plone, precisava de 10 máquinas
>         físicas parrudas para aquentar a carga do dia, elas ficavam
>         100% CPU e de memoria, após a instalação do varnish caiu para
>         2 maquinas virtuais e a carga não passa dos 40% da sua capacidade.
>
>         abraços,
>
>         Clayton
>
>
>
>         Em qui, 26 de jul de 2018 às 10:53, Alexandre Chagas
>         alexandre.acs em gmail.com <mailto:alexandre.acs em gmail.com>
>         [zope-pt] <zope-pt em yahoogrupos.com.br
>         <mailto:zope-pt em yahoogrupos.com.br>> escreveu:
>
>             [Anexos
>             <#m_6694694538527866386_m_-4995943502867876293_m_1000269164368263916_TopText>
>             de Alexandre Chagas incluídos abaixo]
>
>             Bom dia pessoal, aos feras de infraestrutura ;)
>
>             Gostaria de saber a opinião/ajuda de vocês quanto a um
>             problema num de nossos servidores:
>
>             sou Alexandre e trabalho na ANA - Agência Nacional de
>             Águas ;)
>
>             O servidor em questão, é do portal principal da Agência.
>
>             - Servidor Linux"Debian" com cerca de 140 GB de disco e 16
>             GB de RAM,
>             - Instalação Plone (IDG) zeo com duas instâncias,
>             basicamente não há outros serviços instalados neste servidor.
>
>             * Um breve resumo quanto a instalação: (instalei o Plone
>             puro 4.3.11) e depois, via buildout instalei o
>             brasil.gov.portal) pronto, simples e rápido, no ar há
>             cerca de dois anos. funcionando bem até o momento.
>
>             Mensagem da nossa infraestrutura
>
>             >>>>>
>             Prezados,
>             Analisando os indicadores do servidor SAPUCAÍ (Plone
>             Produção – site ANA), notei que há  aumento constante do
>             consumo de memória, independente do horário , logo o
>             problema de estouro não tem relação com picos de consultas
>             ou usuários no site , que varia em 24 horas. Além disto
>             nota-se um aumento repentino do consumo entre 18:00 e
>             18:14 do dia 20/07. (Imagens em anexo).
>             <<<<<
>
>             Eu, quanto à nossa infra.
>
>             - Um fator que sempre questionei foi e é, a falta de um
>             servidor de CACHE instalado, a resposta da infra é que não
>             precisa porque nosso portal não é tão grande assim.
>
>             - Tento argumentar que por falta de cache, a busca no
>             banco é constante, causando um consumo excessivo de
>             memória. Dou-me com vencido! :(
>
>             Então, possuímos esse servidor com haproxy, mas não há
>             cacheamento sendo executado!
>
>             Analisei os logs e não identifiquei nada de anormal,
>             exceto no event.log de uma das instâncias, (anexo >
>             print-server-log.jpg) onde identifiquei um evento estranho
>             mais próximo ao horário indicado pela infra (entre 18:00 e
>             18:14), no logo indica 18:40. Por isso não acredito que
>             este foi a causa.
>
>             Não sei se ajuda, mas segue anexo os prints enviados pela
>             infra.
>
>             Gostaria de saber a opinião de vocês quanto a necessidade
>             de utilização de um servidor. E como proceder com estes
>             aumentos repentinos de uso de memória.
>
>             Desde já, agradecido por qualquer ajuda ;)
>
>             -- 
>             *Alexandre Chagas*
>
>
>
>             __._,_.___
>
>             Anexo(s) de Alexandre Chagas | Exibir anexos na web
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJxYnFjZWF1BF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawN2aWV3T25XZWIEc3RpbWUDMTUzMjYxMzIwMQ-->
>
>             4 de 4 foto(s)
>
>             server-print-1.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=323354697>
>             server-print-1.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=323354697>
>             server-print-2.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1885622511>
>             server-print-2.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1885622511>
>             server-print-3.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1888164744>
>             server-print-3.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1888164744>
>             print-server-log.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1712675314>
>             print-server-log.jpg
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1712675314>
>             ------------------------------------------------------------------------
>             Enviado por: Alexandre Chagas <alexandre.acs em gmail.com
>             <mailto:alexandre.acs em gmail.com>>
>             ------------------------------------------------------------------------
>
>
>             Para enviar uma mensagem: zope-pt em yahoogrupos.com.br
>             <mailto:zope-pt em yahoogrupos.com.br>
>             Para sair do grupo envie uma mensagem em branco para:
>             zope-pt-unsubscribe em yahoogrupos.com.br
>             <mailto:zope-pt-unsubscribe em yahoogrupos.com.br>
>
>
>
>             Visite seu Grupo
>             <https://br.groups.yahoo.com/neo/groups/zope-pt/info;_ylc=X3oDMTJlaHRxamR0BF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwN2dGwEc2xrA3ZnaHAEc3RpbWUDMTUzMjYxMzIwMQ-->
>
>
>             Yahoo! Grupos
>             <https://br.groups.yahoo.com/neo;_ylc=X3oDMTJkNmoyZjA4BF9TAzk3NDkwNDM1BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNmdHIEc2xrA2dmcARzdGltZQMxNTMyNjEzMjAx>
>
>             • Privacidade
>             <https://info.yahoo.com/privacy/br/yahoo/groups/details.html>
>             • Sair do grupo
>             <mailto:zope-pt-unsubscribe em yahoogrupos.com.br?subject=Sair+do+grupo>
>             • Termos de uso
>             <https://info.yahoo.com/legal/br/yahoo/utos/terms/>
>
>             __,_._,___
>
>
>     -- 
>     Comunidade Plone no Governo
>     Site: http://www.softwarelivre.gov.br/plone
>     <http://www.softwarelivre.gov.br/plone>
>     Wiki: http://colab.interlegis.leg.br/wiki/PloneGovBr
>     <http://colab.interlegis.leg.br/wiki/PloneGovBr>
>     Histórico:
>     http://colab.interlegis.leg.br/search/?type=thread&order=latest&list=plonegov-br
>     <http://colab.interlegis.leg.br/search/?type=thread&order=latest&list=plonegov-br>
>     Lista:
>     https://listas.interlegis.gov.br/mailman/listinfo/plonegov-br
>     <https://listas.interlegis.gov.br/mailman/listinfo/plonegov-br>
>
>
>
>
> -- 
> *Alexandre Chagas*
>
>
>

-- 
Silvio Marino

Departamento de WebSites e Hospedagem - DeWeb
Secretaria Geral de Informática - SIn
Universidade Federal de São Carlos - UFSCar
Telefone: (16) 3306-6470

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.interlegis.gov.br/pipermail/plonegov-br/attachments/20180726/24a75da8/attachment.html>


Mais detalhes sobre a lista de discussão PloneGov-BR