Phàn Khoái là người huyện Bái, đồng hương với Lưu Bang. Nhà nghèo, ông phải làm nghề bán thịt chó. Lưu Bang hay qua lại chỗ ông và trở thành bạn thân của ông. Phàn Khoái có sức khoẻ lại dũng cảm hơn người, luôn đi bên cạnh Lưu Bang. Trong nhiều trận chiến ác liệt, ông đều hăng hái chiến đấu, giết được nhiều địch. Tổng cộng trong cuộc đời chinh chiến, Phàn Khoái chém 176 đầu, bắt sống 288 người; đánh bại 7 đạo quân, hạ 5 thành ấp, bình định 6 quận, 52 huyện, bắt sống 1 thừa tướng và 11 tướng quân

Năm 209 TCN, Trần Thắng khởi nghĩa ở Đại Trạch chống lại nhà Tần, Lưu Bang hưởng ứng, dấy binh ở huyện Bái. Phàn Khoái cùng Tiêu Hà và Tào Tham đi theo Lưu Bang. Ông đứng dưới cờ làm chức xá nhân. Trận đánh với tướng Tần là Tư Mã Ni ở nước Sở, ông một mình chém 15 quân địch, đánh lui quân Tần, được phong làm Quốc đại phu. Trận đánh Thành Dương và thắng Lý Do (con Lý Tư), ông chém được 16 đầu, được phong tước Thượng giám. Sau đó vây đánh Đông Quận, ông chém 14 quân địch, bắt sống 11 người, được phong làm Ngũ đại phu.

Phàn Khoái tham gia đại phá tướng Tần là Dương Hùng đồn trú ở Hy Giám, được phong làm Hiền Thành quân. Năm 206 TCN, Lưu Bang tiến vào Quan Trung, ông xung phong trận, chém 1 đô uý, 10 lính và bắt sống 140 quân Tần.

Theo kế của Phạm Tăng, Hạng Vũ mời Lưu Bang dự Yến Hồng Môn định kể tội chống đối và giết chết. Khi Lưu Bang đến hội, Phàn Khoái và Trương Lương đi theo hộ tống. Đến nơi, ông được lệnh ở ngoài, chỉ có Lưu Bang và Trương Lương vào dự tiệc.

Phạm Tăng thấy Hạng Vũ không quyết đoán giết Lưu Bang, bèn sai Hạng Trang múa gươm làm trò vui để nhân tiện đâm Lưu Bang. Hạng Bá là bạn Trương Lương, không nỡ giết Lưu Bang nên đứng dậy múa gươm che đỡ, nhưng Lưu Bang vẫn gặp nguy. Trương Lương vội ra gọi Phàn Khoái vào cứu.

Phàn Khoái mang kiếm, cắp khiên bước vào cửa viên môn. Vệ sĩ cầm giáo chéo nhau muốn cản không cho vào, ông cầm ngang cái khiên gạt ra, vệ sĩ ngã lăn ra đất. Phàn Khoái liền vào, vén màn đứng, trợn mắt nhìn Hạng Vũ, Hạng Vũ giật mình chống kiếm quỳ nhổm dậy. Khi hỏi ra biết ông là tướng của Lưu Bang, Hạng Vũ liền sai lấy rượu thịt cho ông. Ông đứng ăn uống tại chỗ, một tay vẫn cầm gươm thế thủ rồi nói với Hạng Vũ:

"Vua Tần lòng lang dạ thú giết người nhiều không kể xiết, trị tội người như sợ không kịp. Thiên hạ đều nổi dậy làm phản. Vua Hoài Vương có giao ước với các tướng: "Ai phá được Tần, vào Hàm Dương thì phong vương". Ngày nay Bái Công là người đầu tiên phá được Tần, vào Hàm Dương, tơ hào không dám phạm, niêm phong các cung thất, đem quân về đóng ở Bá Thượng để chờ đại vương đến. Bái Công sai tướng giữ cửa ải là chỉ để đề phòng bọn trộm cướp ra vào và những việc bất trắc mà thôi. Bái Công khó nhọc mà công to như vậy, nhưng vẫn chưa được phong thưởng gì! Nay đại vương nghe lời bọn tiểu nhân, muốn giết kẻ có công, tức là noi theo đường lối nhà Tần đã mất! Tôi trộm nghĩ đại vương không nên làm như vậy!"

Hạng Vũ chưa biết đáp ra sao, chỉ biết lệnh cho ông ngồi xuống. Một lát, Lưu Bang đứng dậy đi ra ngoài, nhân đó gọi Phàn Khoái ra. Hạng Vũ sai Trần Bình mời Lưu Bang vào. Lưu Bang lo lắng hỏi ông có nên đi khi chưa từ biệt hay không. Phàn Khoái nói:

"Làm việc lớn thì không để ý đến những điều vụn vặt; làm lễ lớn không câu nệ những điều nhỏ. Nay người ta là dao là thớt, ta là cá là thịt, từ biệt làm gì?"

Lưu Bang bèn ra đi. Hai người thừa cơ trốn thoát, nhờ Trương Lương dùng kế biện bạch giữ chân quân Hạng Vũ.

Hán vương phong Phàn Khoái làm liệt hầu, hiệu là Vũ Lâm quân, sau đó ông lại được phong làm Lang trung, theo Lưu Bang tiến vào Hán Trung. Trong 5 năm chiến tranh với Hạng Vũ, Phàn Khoái tiếp tục đi cùng Lưu Bang dự nhiều trận chiến quyết liệt, cuối cùng năm 202 TCN, Lưu Bang diệt được Hạng Vũ lên làm vua, tức là Hán Cao Tổ.

Sau đó, Phàn Khoái giúp Lưu Bang đánh dẹp các chư hầu làm phản. Năm 202 TCN, có tin Yên Vương Tạng Đồ làm phản, Phàn Khoái cầm quân đi đánh Yên, bắt sống Tạng Đồ.

Để thêm tình thân, Lưu Bang gả em gái Lã hậu là Lã Tu cho ông. Ông và Lã Tu sinh ra con trai là Phàn Kháng.

Năm 196 TCN, Trần Hy làm phản ở đất Đại và đất Triệu, ông được lệnh cùng Chu Bột đi đánh. Phàn Khoái dũng cảm lập công, thu phục 27 huyện ở nước Triệu. Nhờ công lao đó ông được phong làm Tả thừa tướng. Chưa diệt được Trần Hy, Phàn Khoái tiếp tục ra trận, đánh bại quân Hung Nô làm viện binh cho Hy ở Hoành Cốc, chém tướng Triệu Ký, bắt sống thừa tướng nước Đại là Phùng Lương cùng các tướng Tôn Phấn và Vương Hoàng. Không lâu sau ông thu phục được 23 huyện ở đất Đại

Năm 196 TCN, Lưu Bang giết các công thần như Bành Việt, Hàn Tín. Hoài Nam vương Anh Bố lo sợ bèn cất quân làm phản. Tình hình nguy cấp, Lưu Bang ốm nằm trong cung, không muốn gặp ai, sai thị vệ canh phòng không cho ai vào. Các đại thần muốn vào xin lệnh đi đánh đều không được. Phàn Khoái sốt ruột không nén được bèn dẫn đầu các quan đẩy cửa cung mà vào chỗ Lưu Bang, thấy Lưu Bang đang gối trên đùi một hoạn quan ngủ. Phàn Khoái tiến lại gần, gào khóc nói:

"Buổi đầu, bệ hạ cùng vi thần khởi binh ở đất Bái, bình định thiên hạ, lúc đó oai dũng biết bao! Nay thiên hạ đã định, bệ hạ lại mệt mỏi đến thế! Bệ hạ bệnh tình trầm trọng, đại thần đều lo sợ, bệ hạ không chịu tiếp kiến chúng thần bàn bạc việc nước, lại chỉ ở riêng với một hoạn quan mà bỏ người trong thiên hạ đi sao? Vả chăng, bệ hạ không thấy gương Triệu Cao làm loạn hay sao?

Lưu Bang nghe ông nói, đành phải ngồi dậy bàn việc đánh Anh Bố. Sau đó Lưu Bang thân chinh đi đánh, dẹp được Anh Bố."

Tháng 2 năm 195 TCN, có tin Yên vương Lư Quán cũng làm phản. Phàn Khoái được lệnh đi đánh Yên.

Khi ông cầm quân lên đường, có người lại gièm pha với Lưu Bang rằng: "Phàn Khoái cậy công kiêu ngạo, cùng Lã hậu kết bè đảng; nếu bệ hạ chẳng may băng hà, ông ta dứt khoát giúp Lã hậu mà hại Triệu vương Như Ý".

Lưu Bang vốn thương hoàng tử Như Ý, thấy ông là em rể Lã hậu nên cũng có ý nghi ngờ ông, bèn hạ lệnh cho Thừa tướng Trần Bình đưa Giáng hầu Chu Bột đến bản doanh thay thế Phàn Khoái và xử chém luôn Phàn Khoái tại chỗ.

Trần Bình là người thông minh, khéo cư xử, biết Lưu Bang không còn sống được lâu, và vây cánh Lã hậu rất mạnh nên không làm theo lệnh Lưu Bang, chỉ bãi chức Phàn Khoái và áp giải về Trường An. Khi Phàn Khoái về Trường An thì Lưu Bang đã qua đời. Thái tử Lưu Doanh lên nối ngôi, tức là Hán Huệ Đế. Lã thái hậu nắm quyền chính, tự mình quyết đoán mọi việc. Vì ông là chồng Lã Tu nên được Lã hậu hạ lệnh tha, phục lại chức tước và đất phong cho ông.

Năm 189 TCN, Phàn Khoái ốm nặng rồi mất, không rõ bao nhiêu tuổi.

Năm 180 TCN, Lã Thái hậu qua đời, Trần Bình và Chu Bột ra sức thanh toán gia tộc họ Lã, bản thân Lã Tu bị đánh tới chết, còn con bà là Phàn Khang do là cháu ngoại họ Lã nên cũng bị giết. Sau nhà Hán tìm con người thiếp của Phàn Khoái lên làm Vũ Dương hầu.