Saat ini menggunakan Panel atau tanpa panel servernya tuan?
Seharusnya kalau server sudah series E5 itu lumayan cukup untuk kebutuhan trafik pengunjung segitu, Kalau saran saya coba gunakan nginx saja yang bagus untuk situs yang mempunyai trafik besar, saya pribadi sudah ada banyak user managed server rata-rata saya berikan nginx dan itu working good, contoh saja saat ini salah satu klien saya yang trafiknya sekitar 45ribu per hari masih menggunakan jenis vps 4 core dan ram 8gb saja dan itupun load server tidak pernah lebih dari 3.
Kunci nya sih jangan gunakan kontrol panel kalau mau resource semua digunakan untuk website.