Ich habe nachträglich gelernt, dass mein Ansatz obwohl er funktioniert, der falsche ist. Er löst nicht die Ursache des Problems, sondern bekämpft nur ein Symptom.
Die Ursache ist, dass SSL am Server falsch eingerichtet war. Für Let’s Encrypt genügt es nicht, am Webserver Zertifikat und Passwort zu setzen. Das schon erwähnte Let’s Encrypt Authority X4 (IdenTrust cross-signed) pem muss als Certificate chain hinterlegt werden.
Im Apache httpd gibts dafür ein extra Setting. Im ngingx jedoch nicht. Die Konfiguration erfolgt dort so, dass das Zertifikat zusammen mit dem Let’s Encrypt Authority X4 (IdenTrust cross-signed) pem von oben in eine Datei gespeichert wird. Diese Datei wird dem nginx dann als Zertifikatsdatei angegeben.
Ob man es richtig gemacht hat, kann man z.B. mit dem SSL Test von ssllabs.com testen. Ist alles korrekt, so erhält man Grade A+. Ansonsten nur Grade B.
Anschließend konnte ich das Intermediate Certificate das ich wie in meinem vorherigen Post beschrieben in wp-includes/certificates/ca-bundle.crt eingefügt hatte, wieder entfernen.