[gitec] DocumentosSapl.fs crescendo vertiginosamente - impossibilidade de compactação (PACK)

celso magela de almeida celso em pocosdecaldas.mg.leg.br
Terça Outubro 6 10:48:13 BRT 2015


Jean,

O NTP server é uma das primeiras coisas que instalamos nos servidores.
Talvez numa máquina antiga tenha ficado sem a instalação no início e isso
tenha causado um erro irreparável no banco.
Estava olhando a data de criação dos arquivos e a última data que achei é
fevereiro de 2014, portanto o problema é bem antigo...

mas vamos aos dados:

*# ntpdate*
 6 Oct 10:13:50 ntpdate[19673]: no servers can be used, exiting
root em sapl:~# locale
LANG=pt_BR.UTF-8
LANGUAGE=pt_BR:pt:en
LC_CTYPE="pt_BR.UTF-8"
LC_NUMERIC=pt_BR
LC_TIME=pt_BR
LC_COLLATE="pt_BR.UTF-8"
LC_MONETARY=pt_BR
LC_MESSAGES="pt_BR.UTF-8"
LC_PAPER=pt_BR
LC_NAME=pt_BR
LC_ADDRESS=pt_BR
LC_TELEPHONE=pt_BR
LC_MEASUREMENT=pt_BR
LC_IDENTIFICATION=pt_BR
LC_ALL=

*# cat /etc/timezone*
America/Sao_Paulo




Celso Magela de Almeida
Assessor TI
Câmara Municipal de Poços de Caldas - MG
www.pocosdecaldas.mg.leg.br
35 - 3729-3840 - 8805-7054

Em 5 de outubro de 2015 16:59, Jean Rodrigo Ferri <
jeanferri em interlegis.gov.br> escreveu:

> Em 05-10-2015 15:31, celso magela de almeida escreveu:
>
>> Em 02 de julho, reportamos o problema que estávamos enfrentando com o
>> banco
>> de dados do SAPL (DocumentosSapl.fs) muito grande. Na época, o nosso banco
>> estava em 80Gb, com  certa de 70 mil documentos.
>>
>> O tamanho do HD foi crescendo conforme a necessidade. Sempre que o espaço
>> livre caia a menos de 50%, ampliávamos o HD. Isso começou a preocupar
>> porque o banco estava crescendo vertiginosamente. Hoje o banco em uso está
>> com mais de 90Gb(90431.7M).
>>
>> Houve questionamentos sobre a compactação do banco. Informei que estávamos
>> fazendo mas não estava adiantando nada. Uma das soluções sugeridas foi a
>> troca das pastas para Btreefolder2.
>>
>> Em  1º de Outubro, enviei e-mail para o Morale e Jean solicitando auxílio.
>> Além do tamanho do banco, o sistema começou a travar toda vez que alguém
>> fazia uma inserção de um documento. Na mensagem, reportei algumas
>> características que até então nós não tínhamos observado:
>>
>> 1- Novas pastas criadas e os novos arquivos incluídos no banco eram todos
>> criados com a data 2033-02-17 (Last Modified  2033-02-17 13:30), apesar da
>> máquina estar com a data atualizada em todo o sistema. Existem muitos
>> documentos com essa data. Nós não temos a menor ideia de quando essa data
>> começou a ser usada pelo SAPL.  Apesar de termos feito outras instalações
>> à
>> partir do zero, a data foi usada aparentemente em mais de uma instalação
>> feita.  Na máquina de testes ela também está sendo aparecendo em novos
>> documentos, inclusive nas novas pastas Btreefolder2. A única coisa que
>> essas máquinas possuem em comum é o banco.
>>
>> 2-Mensagens no log começaram a aparecer toda vez que o sistema travava:
>> “ CRITICAL ZODB.FileStorage
>> /var/interlegis/SAPL-2.5/instances/sapl25/var/DocumentosSapl.fs Database
>> records 548203165 seconds in the future”. Calculei quando seria esses
>> 548.203.165 segundos no futuro e bate com a data de 17-02-2033.
>>
>> Talvez pelo tamanho do banco, a conversão para Btrefolder2 foi uma tarefa
>> árdua e que demorou o dia inteiro.  Na importação dos documentos para a
>> nova pasta, as datas de criação das pastas e dos arquivos continuaram
>> 17-02-2033.
>>
>> Após a alteração para Btreefolder2 resolvi fazer outro pack.  NÃO ADIANTOU
>> NADA.
>>
>> Aí resolvi calcular esses 548203165  segundos  em dias.  Deu 6344,9 dias.
>> Na compactação do banco, selecionei  -6345  “MENOS 6345 DIAS”, acreditando
>> que possivelmente, a compactação não estava acontecendo porque não
>> existiam
>> documentos antigos, nem mesmo temporários, apenas documentos "criados no
>> futuro".
>>
>> " Click pack to pack the Zope database, removing previous revisions of
>> objects that are older than -6345 days."
>>
>> A compactação do banco demorou 29 minutos e baixou o banco para 7.782,6 Mb
>> - 7,8 GB!!!
>>
>> Agora só precisamos descobrir porque essa data está sendo usada pelo
>> sistema e como fazer para alterar a data dos arquivos criados com a data
>> de  17-02-2033 para uma data atual.
>>
>> Acredito que o tutorial para corrigir o ContentType :
>> https://colab.interlegis.leg.br/wiki/SaplCorrigirContentType não irá
>> corrigir a data, mas pergunto:
>>
>> É possível usá-lo para alterar também a data dos documentos???
>>
>
>
> Você instalou o NTP server nesse servidor? Tem que configurar certinho
> essa parte de data para o sistema funcionar. Veja também como estão os
> LOCALES desse server.
>
> Pior que isso faz uma zoeira no banco pois se você usar ele com data no
> futuro os registros ficarão com aquela data e então comportamentos
> inesperados ocorrerão.
>
> Abraço,
>
> --
> Jean Ferri
> Analista de Sistemas
> Programa Interlegis
> --
> Histórico do grupo:
> http://colab.interlegis.leg.br/search/?type=thread&order=latest&list=gitec
>
> Regras de participação:
> http://colab.interlegis.leg.br/wiki/ComoParticiparComunidade
>
> Para administrar ou excluir sua conta visite:
> https://listas.interlegis.gov.br/mailman/listinfo/gitec
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.interlegis.gov.br/pipermail/gitec/attachments/20151006/9502f0d5/attachment.html>


Mais detalhes sobre a lista de discussão GITEC