Mở màn chiến tranh, quân Tống đánh chiếm trại Ngọc Sơn thuộc châu Vĩnh An (Móng Cái ngày nay) để làm hậu thuẫn cho thủy quân Tống ở Khâm Châu. Ngay khi đại quân của Quách Quỳ còn ở Đàm Châu, tướng Nhâm Khởi đã dẫn quân tiên phong Tống đánh trại Ngọc Sơn từ cuối tháng 7/1076 và chiếm được trại này vào giữa tháng 8/1076. Với một tiền trạm biên thùy như trại Ngọc Sơn mà cầm cự được chừng nửa tháng đã chứng tỏ sức phản kháng của binh lính Đại Việt tại nơi này không hề nhỏ.
Vì vậy mà khi xuống chiếu thưởng công đầu cho Nhâm Khởi để khích lệ tinh thần quân sĩ, vua Tống phải phê vào “Công tuy không to, nhưng cũng đã lần đầu làm phấn khích sĩ tốt”.Sau trận này quân Tống dùng địa bàn trại Ngọc Sơn để kiểm soát châu Vĩnh An, làm bàn đạp chuẩn bị cho cánh thủy quân. Mặt trận chính yếu trên bộ nằm ở những hướng khác. Tháng 10.1076 đại quân của Quách Quỳ tiến đóng ở Tư Minh, Bằng Tường giáp địa giới nước ta, chia quân tấn công các cửa ải để thông đường tiến sâu vào nội địa Đại Việt.
Nước Tống muốn chiếm Đại Việt, đầu tiên họ phải đương đầu với hệ thống tiền đồn biên giới và các thế lực dân tộc thiểu số ở vùng giáp biên hai nước. Trước đây, khi quân Đại Việt đánh phủ đầu nước Tống đã tập họp được một liên quân lớn, với hầu hết các tù trưởng phía Đại Việt tham chiến. Sau khi hạ được Ung Châu, còn có những tù trưởng thuộc lãnh thổ Tống theo về với Đại Việt. Nay Tống mang đại quân xuống, dùng nhiều của cải chiêu dụ, các tù trưởng phía Tống lần lượt nhanh chóng trở về phe Tống triều. Tống cũng cho các thuyết khách tới tiếp xúc với các tù trưởng phía lãnh thổ Đại Việt, dùng nhiều lời lẽ vừa dụ dỗ vừa hăm dọa để lung lạc tinh thần các thủ lĩnh người dân tộc thiểu số. Ở phía bên lãnh thổ Đại Việt, phản ứng của các tù trưởng có khác biệt lớn. Có những trường hợp đã chiến đấu rất hăng hái chống quân xâm lược, chỉ đầu hàng khi bị bức bí không thể làm khác. Có trường hợp sắt son một lòng chiến đấu tới hơi thở cuối cùng vì Đại Việt. Nhưng cũng có vài tù trưởng nhanh chóng đầu hàng, thậm chí làm phản bội chỉ điểm cho quân Tống.
Trong số các tù trưởng, trước tiên phải kể đến là tù trưởng Lưu Kỷ ở châu Quảng Nguyên (Cao Bằng). Triệu Tiết từng nói với Quách Quỳ: “Lưu Kỷ ở Quảng Nguyên, Thân Cảnh Phúc giữ động Giáp, đều cầm cường binh”. Địa bàn Quảng Nguyên là một trong những cửa ngõ đầu tiên để quân Tống tiến vào nước ta theo đường bộ. Chính vì vậy, Lưu Kỷ cùng đội quân của mình là những người sớm phải đối đầu với đạo bộ binh đông đảo quân Tống. Ban đầu, vua Tống còn nhận định rằng có thể dễ dàng chiêu hàng Lưu Kỷ. Bởi vì trước kia vào năm 1073, Lưu Kỷ từng nghe lời xúi dục của quan Kinh lược sứ Quảng Tây là Thẩm Khởi mà xin nội thuộc Tống nhưng bấy giờ Tống không dám nhận vì sợ sớm lộ mưu thôn tính Đại Việt. Nhưng thực tế thì trải qua một thời gian gắn bó với quân dân Đại Việt, cùng chiến đấu chung chiến tuyến Lưu Kỷ đã thay đổi hoàn toàn lập trường, trở thành một thủ lĩnh trung thành với Đại Việt.
Tháng 12/1076, đại quân Tống từ châu Tư Minh phía biên giới Tống tấn công châu Quảng Nguyên. Tướng Yên Đạt, Tu Kỷ dẫn quân nối nhau mà tiến vào địa bàn Quảng Nguyên. Lưu Kỷ cùng 5.000 quân của mình dựa vào địa thế chiến đấu ngoan cường, bao vây tiền quân của Tống, giết và bắt sống giặc tới hàng ngàn tên. Nhưng Yên Đạt dựa vào số đông, thúc trung quân liều chết tới cứu viện, Lưu Kỷ ít quân phải thả lỏng vòng vây và rút lui về căn cứ. Quân Tống tấn công không thủng nổi căn cứ Lưu Kỷ. Yên Đạt bày kế ly gián, sai bọn gián điệp trà trộn trong dân chúng phao tin rằng Lưu Kỷ đã ước hẹn sắp ra hàng quân Tống. Các thủ lĩnh nhỏ ở các động trúng kế, kéo nhau đem quân hàng Tống trước để yên thân. Lưu Kỷ bị bao vây, bất đắc dĩ cũng phải ra đầu hàng ngày 1/1/1077. Quân Tống bắt tù trưởng Lưu Kỷ cùng gia đình và các hàng tướng khác đem về Tống, 5000 quân Quảng Nguyên cũng bị bắt làm tù binh. Quân Tống vào căn cứ Quảng Nguyên cứu lại được 3000 tên bị bắt trước đó. Các động thuộc châu Quảng Nguyên và lân cận bị mất về tay quân Tống, bị ép cung ứng lương thực.
Quân Tống từ châu Quảng Nguyên tiến đánh Môn Châu, tù trưởng Hoàng Kim Mãn, Sầm Khánh Tân ở vùng này đã thông đồng với Tống từ trước, nhanh chóng quy hàng và làm hướng đạo cho Tống. Quân Tống từ châu Tư Lăng tiến đánh Tô Mậu, tù trưởng Vi Thủ An cũng nghe lời dụ hàng của Tống mà hạ khí giới.
Ngày 8/1/1077 cánh quân chính của Quách Quỳ vượt ải Nam Quan tiến đánh huyện Quang Lang. Quân Tống gặp phải quân của phò mã Thân Cảnh Phúc và quân triều đình chặn đánh ở ải Quyết Lý. Tại đây, một trận ác chiến đã diễn ra. Quân Đại Việt có tượng binh giúp sức đã chặn được quân Tống trong thời gian ngắn và gây nhiều thiệt hại, nhưng quân Tống dùng mưa tên bắn vào voi và cho số đông quân cầm mã tấu chém vòi voi nên tượng binh quay đầu chạy, quân Đại Việt do phò mã Thân Cảnh Phúc chỉ huy phải rút lui về ải Giáp Khẩu (tức ải Chi Lăng) đặt sẵn mai phục chờ giặc. Ải này đặc biệt hiểm trở, trước đây các tướng phương Bắc đều phải chịu thương vong lớn tại đây.
Quách Quỳ là một tướng lão luyện, dò biết được có quân mai phục nên không dám tiến vào ải mà chấp nhận đi đường vòng khó nhọc, dựa theo sự dẫn đường của các phần tử phía Đại Việt đầu hàng. Quân Tống vượt dãy núi Bắc Sơn đến Yên Thế, là một con đường tắt lợi hại đánh vào phía sau phòng tuyến của quân Đại Việt. Tại làng Vạn Linh, kỵ binh địch đụng độ đội quân dự bị của triều đình dùng để chi viện cho ải Giáp Khẩu. Sự xuất hiện của quân Tống là một sự bất ngờ lớn với quân Đại Việt tại đây bởi đường đi mà quân Tống chọn rất hẹp và hiểm trở, phải là người thông thuộc mới có thể đi đúng được. Nhưng dù thế nào đi nữa, quân Đại Việt cũng quyết tử chiến, dựa vào thế núi cao bắn nỏ và ném đá về phía quân Tống gây thương vong lớn, lại lùa voi ra đánh giết quân Tống rất nhiều.
Tướng tiên phong Tống là Tu Kỷ phải rất khó nhọc mới qua được nhờ ưu tiên quân số, hết lớp này đến lớp khác tràn lên khiến quân Đại Việt thất thủ. Quách Quỳ theo đường vòng là nằm ngoài kế hoạch tác chiến của quân Đại Việt, toàn bộ đội quân mai phục ở ải Giáp Khẩu đứng trước nguy cơ bị đánh tập hậu và bị tiêu diệt. Lo ngại điều đó, Thân Cảnh Phúc nhân đêm tối lui quân lẫn về giữ rừng núi Động Giáp, chờ cơ hội đánh phục kích sau lưng giặc. Trong khi cánh trung quân của Quách Quỳ phải đụng trận với Thân Cảnh Phúc và một số đạo quân nhỏ thì cánh quân của Triệu Tiết theo hướng Bằng Tường (thuộc Tống) tiến vào Đại Việt, men theo Bình Giã, Vạn Nhai, Nhã Nam mà tiến và hầu như chẳng gặp phải cản trở gì. Các cánh quân Tống men theo ba ngã dọc sông Cầu, sông Thương, sông Lục Nam mà tiến như vũ bão, không còn đội quân nào trong vùng cản nổi bước tiến của giặc nữa.
Chỉ trong vòng chưa đầy 10 ngày, các cánh quân Tống đã đến sông Phú Lương hội quân, tức là gần sát Thăng Long – trái tim của Đại Việt. Để đến được nơi này, đạo quân Tống đã bỏ xác tổng cộng gần 1 vạn quân trên các tuyến biên giới. Quách Quỳ còn trong hơn 9 vạn quân kỵ bộ. Bên kia bờ sông chính là con đường rộng mở tiến vào kinh thành Đại Việt, tiến vào vùng đồng bằng trung châu màu mỡ. Từ bến Như Nguyệt đến Thăng Long chỉ cách chừng 20km. Nếu quân Tống vượt qua được sông, hầu như chắc chắn Đại Việt sẽ vong quốc.
Nhưng tại đây, quân Tống gặp phải một phòng tuyến quy mô chưa từng thấy mà Lý Thường Kiệt cùng quân dân Đại Việt đã cất công dựng lên từ nhiều tháng trước. Đó là phòng tuyến Như Nguyệt chắn ngang đường thiên lý (con đường lớn xuyên bắc nam). Trên bờ, lớp lớp chông tre và chiến lũy với hàng vạn bộ binh dàn sẵn. Dưới sông, hàng lớp chiến thuyền Đại Việt tuần tra. Lúc này thì quân Tống không còn đường nào để đi vòng né tránh nữa bởi thời bấy giờ đây là nút giao thông gần như duy nhất mà một đội quân có thể đi qua.
Quân Tống đóng trại ở bờ bắc sông Phú Lương, ngay ở đoạn bờ bắc bến Như Nguyệt. Quách Quỳ cho lập một hệ thống trạm chuyển lương dài từ biên giới Tống – Việt đến tận nơi đóng quân. Kế hoạch ban đầu của Quách Quỳ là đóng quân chờ phối hợp với cánh thủy binh Tống. Tuy nhiên chúng ta sẽ thấy rằng, thủy chiến chưa bao giờ là điều mà người Việt tỏ ra kém cỏi. Cánh quân thủy Đại Việt do tướng Lý Kế Nguyên ở mạn đông bắc lúc bấy giờ cũng đang chiến đấu chặn đường tiến của thủy quân địch. Vận mệnh Đại Việt không chỉ phụ thuộc vào cuộc chiến đấu trong nội địa, mà còn phụ thuộc vào kết quả của cuộc chiến giữ các chiến thuyền mạn biển đông bắc.