[plonegov-br] [zope-pt] [Problemas servidor Plone ´IDG´] [4 Anexos]

Welkson Renny de Medeiros welkson.medeiros em ifrn.edu.br
Sexta Julho 27 10:40:51 BRT 2018


Sugerem algum material detalhando a configuração do Varnish para portais Plone? (exceções do cache, tempo de expiração, etc.).

Pergunto pois no passado já tentaram configurar o Varnish por aqui (IFRN), e tiveram bastante problema com a interface de administração do Plone (pelo que entendi, o Varnish também estava fazendo cache dessa interface), notícias que eram publicadas mas o cache não atualizava, etc.

Att.,

--
Welkson Renny de Medeiros
Analista de Tecnologia da Informação
IFRN/RE – DIGTI/COINRE (Siape: 1956951)
Tel.: 84 4005-0872 / PGP Key ID: B42652AF

De: <plonegov-br-bounces em listas.interlegis.gov.br> em nome de Alexandre Chagas <alexandre.acs em gmail.com>
Responder para: Comunidade Plone no Governo <plonegov-br em listas.interlegis.gov.br>
Data: sexta-feira, 27 de julho de 2018 09:50
Para: Comunidade Plone no Governo <plonegov-br em listas.interlegis.gov.br>
Assunto: Re: [plonegov-br] [zope-pt] [Problemas servidor Plone ´IDG´] [4 Anexos]

Obrigado Sílvio,

Como falei com outro colega, também anexei seu argumento no intuito de convencer nossa infraestrutura a instalar um servidor de cache.

Grato pela contribuição ;)

Alexandre Chagas.


Em 26 de julho de 2018 15:19, Silvio Marino <silviomarino em ufscar.br<mailto:silviomarino em ufscar.br>> escreveu:

Alexandre,

aqui na UFSCar lançamos o portal da universidade sem uso de servidor de cache. Depois de um mês verificamos que todos os dias a partir das 16h o portal ficava sobrecarregado (grande consumo de memória e uso de cpu). Configuramos o varnish no servidor e o problema foi resolvido. Além de diminuir o consumo de memória e uso de cpu, o cache aumentou o número de respostas aos acessos simultâneos que praticamente derrubavam o servidor.

Passado um tempo, descobrimos que a origem do problema era uma rotina de um aplicativo para celular, desenvolvido pelos alunos, que às 16h acessa o portal para consultar o cardápio do restaurante universitário.
Abraço

Silvio

Em 26/07/2018 11:54, Alexandre Chagas escreveu:
Muito legal, Clayton :)

Principalmente no exemplo que relatastes quanto a importância do servidor de cache, com a opinião do grupo, possuo mais embasamento em favor desse argumento.

E os links, obrigado.

Forte abraço,

Alexandre Chagas.

Em 26 de julho de 2018 11:40, Clayton <claytonc.sousa em gmail.com<mailto:claytonc.sousa em gmail.com>> escreveu:
Alexandre,

Só para complementar[1].

Seria bom você acompanhar os acesso com o google analytics[2] e webmasters[3].

[1] https://www.similarweb.com/website/ana.gov.br
[2] https://analytics.google.com
[3] https://www.google.com/intl/pt-BR/webmasters

abraços,
Clayton


Em qui, 26 de jul de 2018 às 11:30, Clayton <claytonc.sousa em gmail.com<mailto:claytonc.sousa em gmail.com>> escreveu:
Alexandre,

Se fosse um portal estático até concordaria em partes com a infraestrutura a falta de um servidor de cache.
Mas o servidor de cache é essencial em portais dinâmicos independente da tecnologia, conforme os acessos aumentam mais memoria é consumida.
Agora se o pessoal da infraestrutura não quiser instalar um servidor de cache (Varnish) vai ter que colocar mais máquinas.
Ocorreu um caso parecido comigo que também não queriam colocar um servidor de cache e não era Plone, precisava de 10 máquinas físicas parrudas para aquentar a carga do dia, elas ficavam 100% CPU e de memoria, após a instalação do varnish caiu para 2 maquinas virtuais e a carga não passa dos 40% da sua capacidade.

abraços,

Clayton



Em qui, 26 de jul de 2018 às 10:53, Alexandre Chagas alexandre.acs em gmail.com<mailto:alexandre.acs em gmail.com> [zope-pt] <zope-pt em yahoogrupos.com.br<mailto:zope-pt em yahoogrupos.com.br>> escreveu:
[Anexos de Alexandre Chagas incluídos abaixo]
Bom dia pessoal, aos feras de infraestrutura ;)

Gostaria de saber a opinião/ajuda de vocês quanto a um problema num de nossos servidores:

sou Alexandre e trabalho na ANA - Agência Nacional de Águas ;)

O servidor em questão, é do portal principal da Agência.

- Servidor Linux"Debian" com cerca de 140 GB de disco e 16 GB de RAM,
- Instalação Plone (IDG) zeo com duas instâncias, basicamente não há outros serviços instalados neste servidor.

* Um breve resumo quanto a instalação: (instalei o Plone puro 4.3.11) e depois, via buildout instalei o brasil.gov.portal) pronto, simples e rápido, no ar há cerca de dois anos. funcionando bem até o momento.

Mensagem da nossa infraestrutura

>>>>>
Prezados,
Analisando os indicadores do servidor SAPUCAÍ (Plone Produção – site ANA), notei que há  aumento constante do consumo de memória, independente do horário , logo o problema de estouro não tem relação com picos de consultas ou usuários no site , que varia em 24 horas. Além disto nota-se um aumento repentino do consumo entre 18:00 e 18:14 do dia 20/07. (Imagens em anexo).
<<<<<

Eu, quanto à nossa infra.

- Um fator que sempre questionei foi e é, a falta de um servidor de CACHE instalado, a resposta da infra é que não precisa porque nosso portal não é tão grande assim.

- Tento argumentar que por falta de cache, a busca no banco é constante, causando um consumo excessivo de memória. Dou-me com vencido! :(

Então, possuímos esse servidor com haproxy, mas não há cacheamento sendo executado!

Analisei os logs e não identifiquei nada de anormal,
exceto no event.log de uma das instâncias, (anexo > print-server-log.jpg) onde identifiquei um evento estranho mais próximo ao horário indicado pela infra (entre 18:00 e 18:14), no logo indica 18:40. Por isso não acredito que este foi a causa.

Não sei se ajuda, mas segue anexo os prints enviados pela infra.

Gostaria de saber a opinião de vocês quanto a necessidade de utilização de um servidor. E como proceder com estes aumentos repentinos de uso de memória.

Desde já, agradecido por qualquer ajuda ;)

--
Alexandre Chagas


__._,_.___

Anexo(s) de Alexandre Chagas | Exibir anexos na web <https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJxYnFjZWF1BF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawN2aWV3T25XZWIEc3RpbWUDMTUzMjYxMzIwMQ-->

4 de 4 foto(s)
[server-print-1.jpg]<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=323354697>
server-print-1.jpg<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=323354697>
[server-print-2.jpg]<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1885622511>
server-print-2.jpg<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1885622511>
[server-print-3.jpg]<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1888164744>
server-print-3.jpg<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1888164744>
[print-server-log.jpg]<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1712675314>
print-server-log.jpg<https://br.groups.yahoo.com/neo/groups/zope-pt/attachments/143748755;_ylc=X3oDMTJtdjBkNnExBF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNhdHRhY2htZW50BHNsawNwaG90bwRzdGltZQMxNTMyNjEzMjAx?itemid=1712675314>
________________________________
Enviado por: Alexandre Chagas <alexandre.acs em gmail.com<mailto:alexandre.acs em gmail.com>>
________________________________


Para enviar uma mensagem: zope-pt em yahoogrupos.com.br<mailto:zope-pt em yahoogrupos.com.br>
Para sair do grupo envie uma mensagem em branco para: zope-pt-unsubscribe em yahoogrupos.com.br<mailto:zope-pt-unsubscribe em yahoogrupos.com.br>


Visite seu Grupo<https://br.groups.yahoo.com/neo/groups/zope-pt/info;_ylc=X3oDMTJlaHRxamR0BF9TAzk3NDkwNDM3BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwN2dGwEc2xrA3ZnaHAEc3RpbWUDMTUzMjYxMzIwMQ-->
[Yahoo! Grupos]<https://br.groups.yahoo.com/neo;_ylc=X3oDMTJkNmoyZjA4BF9TAzk3NDkwNDM1BGdycElkAzE2OTYzNjgEZ3Jwc3BJZAMyMTM3MTE0NjkxBHNlYwNmdHIEc2xrA2dmcARzdGltZQMxNTMyNjEzMjAx>
• Privacidade<https://info.yahoo.com/privacy/br/yahoo/groups/details.html> • Sair do grupo<mailto:zope-pt-unsubscribe em yahoogrupos.com.br?subject=Sair+do+grupo> • Termos de uso<https://info.yahoo.com/legal/br/yahoo/utos/terms/>

__,_._,___

--
Comunidade Plone no Governo
Site: http://www.softwarelivre.gov.br/plone
Wiki: http://colab.interlegis.leg.br/wiki/PloneGovBr
Histórico: http://colab.interlegis.leg.br/search/?type=thread&order=latest&list=plonegov-br
Lista: https://listas.interlegis.gov.br/mailman/listinfo/plonegov-br



--
Alexandre Chagas





--

Silvio Marino



Departamento de WebSites e Hospedagem - DeWeb

Secretaria Geral de Informática - SIn

Universidade Federal de São Carlos - UFSCar

Telefone: (16) 3306-6470

--
Comunidade Plone no Governo
Site: http://www.softwarelivre.gov.br/plone
Wiki: http://colab.interlegis.leg.br/wiki/PloneGovBr
Histórico: http://colab.interlegis.leg.br/search/?type=thread&order=latest&list=plonegov-br
Lista: https://listas.interlegis.gov.br/mailman/listinfo/plonegov-br



--
Alexandre Chagas

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.interlegis.gov.br/pipermail/plonegov-br/attachments/20180727/e104bd82/attachment.html>


Mais detalhes sobre a lista de discussão PloneGov-BR