Năm xưa, vùng Dâu có 5 ngôi chùa cổ là: chùa Dâu (thờ thần mây), chùa Đậu (thờ thần mưa), chùa Tướng (thờ thần sấm), chùa Dàn (thờ thần chớp) và chùa Tổ (thờ mẹ của Tứ pháp). 5 ngôi chùa này ngoài thờ Phật còn thờ cả Tứ pháp.
Tương truyền chùa Dâu được xây từ buổi đầu Công Nguyên, cụ thể khởi công xây dựng vào năm 187 và hoàn thành vào năm 226. Như vậy tính theo mốc thời gian này, chùa Dâu hiện đã gần 1800 năm tuổi. Đến năm 1313 ngôi chùa được xây lại và trùng tu nhiều lần trong những thế kỷ sau.