[gitec] DocumentosSapl.fs crescendo vertiginosamente - impossibilidade de compactação (PACK)

Jean Rodrigo Ferri jeanferri em interlegis.gov.br
Segunda Outubro 5 16:59:46 BRT 2015


Em 05-10-2015 15:31, celso magela de almeida escreveu:
> Em 02 de julho, reportamos o problema que estávamos enfrentando com o banco
> de dados do SAPL (DocumentosSapl.fs) muito grande. Na época, o nosso banco
> estava em 80Gb, com  certa de 70 mil documentos.
>
> O tamanho do HD foi crescendo conforme a necessidade. Sempre que o espaço
> livre caia a menos de 50%, ampliávamos o HD. Isso começou a preocupar
> porque o banco estava crescendo vertiginosamente. Hoje o banco em uso está
> com mais de 90Gb(90431.7M).
>
> Houve questionamentos sobre a compactação do banco. Informei que estávamos
> fazendo mas não estava adiantando nada. Uma das soluções sugeridas foi a
> troca das pastas para Btreefolder2.
>
> Em  1º de Outubro, enviei e-mail para o Morale e Jean solicitando auxílio.
> Além do tamanho do banco, o sistema começou a travar toda vez que alguém
> fazia uma inserção de um documento. Na mensagem, reportei algumas
> características que até então nós não tínhamos observado:
>
> 1- Novas pastas criadas e os novos arquivos incluídos no banco eram todos
> criados com a data 2033-02-17 (Last Modified  2033-02-17 13:30), apesar da
> máquina estar com a data atualizada em todo o sistema. Existem muitos
> documentos com essa data. Nós não temos a menor ideia de quando essa data
> começou a ser usada pelo SAPL.  Apesar de termos feito outras instalações à
> partir do zero, a data foi usada aparentemente em mais de uma instalação
> feita.  Na máquina de testes ela também está sendo aparecendo em novos
> documentos, inclusive nas novas pastas Btreefolder2. A única coisa que
> essas máquinas possuem em comum é o banco.
>
> 2-Mensagens no log começaram a aparecer toda vez que o sistema travava:
> “ CRITICAL ZODB.FileStorage
> /var/interlegis/SAPL-2.5/instances/sapl25/var/DocumentosSapl.fs Database
> records 548203165 seconds in the future”. Calculei quando seria esses
> 548.203.165 segundos no futuro e bate com a data de 17-02-2033.
>
> Talvez pelo tamanho do banco, a conversão para Btrefolder2 foi uma tarefa
> árdua e que demorou o dia inteiro.  Na importação dos documentos para a
> nova pasta, as datas de criação das pastas e dos arquivos continuaram
> 17-02-2033.
>
> Após a alteração para Btreefolder2 resolvi fazer outro pack.  NÃO ADIANTOU
> NADA.
>
> Aí resolvi calcular esses 548203165  segundos  em dias.  Deu 6344,9 dias.
> Na compactação do banco, selecionei  -6345  “MENOS 6345 DIAS”, acreditando
> que possivelmente, a compactação não estava acontecendo porque não existiam
> documentos antigos, nem mesmo temporários, apenas documentos "criados no
> futuro".
>
> " Click pack to pack the Zope database, removing previous revisions of
> objects that are older than -6345 days."
>
> A compactação do banco demorou 29 minutos e baixou o banco para 7.782,6 Mb
> - 7,8 GB!!!
>
> Agora só precisamos descobrir porque essa data está sendo usada pelo
> sistema e como fazer para alterar a data dos arquivos criados com a data
> de  17-02-2033 para uma data atual.
>
> Acredito que o tutorial para corrigir o ContentType :
> https://colab.interlegis.leg.br/wiki/SaplCorrigirContentType não irá
> corrigir a data, mas pergunto:
>
> É possível usá-lo para alterar também a data dos documentos???


Você instalou o NTP server nesse servidor? Tem que configurar certinho 
essa parte de data para o sistema funcionar. Veja também como estão os 
LOCALES desse server.

Pior que isso faz uma zoeira no banco pois se você usar ele com data no 
futuro os registros ficarão com aquela data e então comportamentos 
inesperados ocorrerão.

Abraço,

-- 
Jean Ferri
Analista de Sistemas
Programa Interlegis


Mais detalhes sobre a lista de discussão GITEC