O erro "Too many open files in system" indica que o Dovecot atingiu o limite máximo de arquivos abertos. Isso pode ser causado por um limite baixo de File Descriptors (FDs) ou por um vazamento de arquivos abertos.
1) Aumentar o limite de arquivos abertos (File Descriptors)
vi /etc/security/limits.conf
Adicione ou altere os seguintes valores:
dovecot soft nofile 65535
dovecot hard nofile 1048576
2) Aumentar o limite no serviço systemd do Dovecot
vi /etc/systemd/system/dovecot.service
Adicione ou altere a seguinte configuração:
Editar
[Service]
LimitNOFILE=1048576
3) Aplicar alterações e reiniciar o serviço
systemctl daemon-reexec
systemctl restart dovecot
4) Validar se o limite foi aplicado corretamente
cat /proc/$(pgrep dovecot)/limits | grep "open files"