Phạm Ngũ Thư quê ở làng Phù Ủng, huyện Đường Hào, phủ Thượng Hồng, lộ Hải Đông (nay thuộc xã Phù Ủng, huyện Ân Thi, tỉnh Hưng Yên), là cháu ba đời của danh tướng Phạm Ngũ Lão. Khi Hồ Quý Ly cướp ngôi nhà Trần, ông từ quan về ở ẩn rồi xuất gia tu hành tại chùa Vân Yên trên dãy núi Yên Tử với pháp danh là Trí Lâm.
Ít lâu sau đó nhà Hồ sụp đổ, quân Minh kéo vào xâm lược, đất nước rơi vào cảnh lầm than. Tình hình này khiến Phạm Ngũ Thư không thể ngồi yên. Ông quyết định hoàn tục và tham gia vào cuộc khởi nghĩa của Lê Lợi ở Lam Sơn. Được chủ tướng tin cậy, ông đã xây dựng một hệ thống tình báo ngụy trang thường dân để thu thập tin tức trên các địa bàn hoạt động.
Bản thân Phạm Ngũ Thư còn giả trang thành người hành khất và sớm nhận thấy ưu thế của lớp vỏ bọc này trong hoạt động tình báo, vì giới xin ăn có thể "la cà" khắp nơi mà không bị chú ý. Từ đó, ông đã xây dựng một mạng lưới tình báo đắc lực gồm những người ăn xin. Hệ thống này đã góp phần mang lại thành công cho cuộc khởi nghĩa của Lê Lợi.
Trực tiếp điều hành mạng lưới thu thập thông tin, Phạm Ngũ Thư còn giả trang thành người xin ăn để đi lại khắp nơi mà giặc chẳng nghi ngờ, cũng nhờ đó mà ông nhận thấy lợi thế của những người hành khất vì càng dơ dáy, cùi hủi ghẻ lở thì lại càng được việc, họ có thể "một gậy, một bị khắp nơi tung hoành", "liều mạng cùi" xông bừa vào chỗ đóng quân, kho lương của địch để quan sát và la cà khắp nơi để chuyển tin nhanh chóng mà an toàn, từ đó Phạm Ngũ Thư tạo dựng thêm nhiều tai mắt trong giới cái bang. "Hệ thống tình báo" này hoạt động đắc lực, góp phần quan trọng vào thắng lợi của nghĩa quân Lam Sơn, quét sạch giặc Minh ra khỏi bờ cõi, giành lại nền độc lập.
Năm Mậu Thân (1428), Lê Lợi lên ngôi vua, đặt niên hiệu Thuận Thiên, đến tháng 2, định công phong chức tước, ban thưởng cho các công thần chia làm 4 hạng, gồm 339 người có nhiều quân công nhất, trong đó có Phạm Ngũ Thư. Ông được phong làm Trung lượng tả phụng thần vệ quân, tước Đại trí tự nhưng ông viện cớ tàn tật để khước từ quan chức xin về quê sinh sống, chỉ nhận tước và phần thưởng là hai trăm mẫu ruộng rồi đem chia hết cho dân nghèo để trồng cấy.
Lại nghĩ đến cảnh nhiều người còn khổ cực, Phạm Ngũ Thư nói với vợ rằng: "Thời lang thang lo việc nước, ta đã chung sống với giới xin ăn, cảm thông được nỗi đau thương, chua xót vô biên của những con người khốn khổ bị xã hội khinh khi, ruồng rẫy. Ta hằng phát nguyện sẽ chia sẻ, cứu giúp xoa dịu thương đau cho họ". Dặn vợ con làm nhiều hơn nữa việc thiện, phát tâm giúp đỡ kẻ khó, rồi ông ra đi. Tay chống gậy trúc, áo quần rách rưới, xin ăn sống qua ngày nay đây mai đó, để hiểu nỗi đau thương mà san sẻ, an ủi họ người cùng cảnh ngộ, lựa lời nhắc nhở họ về lý nghiệp báo, khuyên họ xả bỏ thù hằn, nghi kị, chán nản mà khơi nguồn cho niềm lạc quan và tình người tuôn chảy.
Thế là viên thủ lĩnh của "đội quân cái bang" hoạt động tình báo năm nào nhưng ngay sau khi chiến thắng quân Minh thì ông lại trở về với những con người cùng khổ cho đến lúc cuối đời. Và trên bia mộ của ông chỉ khắc dòng chữ: "Phạm khất sĩ chi mộ" (mộ của người ăn mày họ Phạm).
Lời bàn về Phạm Ngũ Thư
Tình báo là hoạt động điều tra, thu thập, nghiên cứu, tổng hợp, xử lý những tin tức, tư liệu bí mật về quân sự, chính trị, quốc phòng, an ninh, kinh tế... của đối phương. Hoạt động này xuất hiện cùng với sự ra đời của nhà nước, trên cơ sở các thông tin thu thập được sẽ có những đánh giá và xử lý để đưa ra những nhận định đúng đắn, sáng suốt và kịp thời, đặc biệt là những quyết định có liên quan đến chính sách đối ngoại và quốc phòng. Thật đáng khâm phục vì ngay từ thời xa xưa, tổ tiên chúng ta đã vận dụng một cách linh hoạt, sáng tạo và hiệu quả "phép dụng gián" của Tôn Tử trong cuộc kháng chiến chống quân Minh. Và nếu Tôn Tử còn sống tới ngày ấy, chắc chắn ông sẽ không hài lòng về hậu duệ vì đã không học được gì ở binh pháp của ông mà còn để "gậy ông" đập con cháu ông.
Với những cống hiến của mình trong cuộc kháng chiến chống quân Minh, Phạm Ngũ Thư xứng đáng được người đương thời cũng như hậu thế hôm nay tôn vinh. Song, điều làm cho tên tuổi và sự nghiệp của ông sống mãi là sau khi đánh tan quân xâm lược, ông đã khước từ mọi vinh hoa, phú quý và bổng lộc của triều đình, để trở về với cuộc sống đời thường nơi thôn dã và giúp đỡ những người nghèo khó. Chính vì thế mà cho đến ngày nay, tại làng Thư Lang (tỉnh Hà Nam) vẫn còn đền thờ Phạm Ngũ Thư. Và đã bao đời nay người dân vẫn hương khói để ghi ơn công lao và ân đức của ông, con người có cuộc đời đặc biệt như một huyền thoại.