Bu genellikle çok fazla eklenti yüklemekten kaynaklanıyor. Veya woocommerce ve WP Bakery Page Builder gibi ağır eklentilerden kaynaklanır. RevSlider da buna örnek. Bunlardan mümkün olduğunca uzak durun.
Eğer kullanmak zorunda isen de sunucu işlemci ram biraz yüksek olmalı. Yoksa yavaşlık kaçınılmaz.
Admin panelde cache eklentisi de deneyebilirsin. Mesela şu:
WP Admin CACHE