Công trình nhà Tứ Ân trong khuôn viên cùa Bảo Tháp và chùa Phe (xã Đại Thanh) được xây khi chưa được cấp có thẩm quyền phê duyệt, đã làm ảnh hưởng nghiêm trọng đến di tích. Trước vấn đề này, Sở Văn hoá và Thể thao Hà Nội đã có văn bản yêu cầu địa phương đình chỉ thi công và dừng toàn bộ hoạt động liên quan đến việc xây dựng các hạng mục công trình trong khuôn viên di tích.