พระวังต้องห้ามถูกทิ้งรกร้างมานานหลายปี สมัยสงครามเวียดนามพวกเวียดกงแอบเข้ามาซ่องสุมจนทหารอเมริกันต้องส่งเครื่องบินมาทิ้งระเบิด