Lúc trẻ Nguyễn Biên thường được dân làng gọi là ông Dung, đi buôn thuyền và chiêu tập nhiều bạn bè tổ chức khởi nghĩa chống lại quân đô hộ nhà Minh xâm lược. Ông xây dựng căn cứ ở Động Choác, thường gọi là Rú Choác hay Rú Hoác (tức núi Kình Thốc ở làng Khả Luật, tổng Vân Tán, nay thuộc xã Cẩm Hưng, huyện Cẩm Xuyên). Lực lượng ngày càng đông, càng mạnh, đánh thắng quân Minh nhiều trận.
Năm 1425, Bình Định vương Lê Lợi vào lập căn cứ ở Đỗ Gia (Hương Sơn), Nguyễn Biên đưa lực lượng gia nhập nghĩa quân Lam Sơn. Ông được phong làm Bình Ngô Thượng tướng quân. Nhưng trong một trấn đánh, ông bị thương nặng, quân sỹ đưa ông về đến Cát Thiên thì ông mất. Quân sỹ và nhân dân địa phương mai táng Nguyễn Biên ở đây và lập đền thờ ông trên nền dinh trại cũ (vào thế kỷ XV). Đời Lê - Nguyễn, đền Thượng tướng cũng chỉ là ngôi miếu nhỏ, nhưng được nhân dân địa phương tu bổ dần dần thành ngôi đền lớn với ba tòa.
Kiến trúc đền gồm: tam quan, hai tòa hạ và thượng điện, cấu trúc theo kiểu chữ nhị (=), quay hướng Nam. Tam quan kiến trúc chồng diêm 2 tầng, 8 mái, xây thành 2 khối trụ được tạo hình vòm nối với nhau làm nên cửa đại. Mặt trước trên đỉnh vòm đắp nổi hình hổ phù và nghê chầu. Hai cửa hai bên kiến trúc giống nhau, xây theo hình vòm, mái đổ xi măng liên kết là hệ thống tường dắc. Mặt trước đắp nổi tượng ngựa tư thế đứng. Hạ điện gồm 5 gian 6 vì kèo bằng gỗ lim, hai đầu hồi xây tường bít nóc. Trên bờ nóc, bờ chảy đắp nổi họa tiết mặt nguyệt, mây lửa. Thượng điện gồm 3 gian, 2 vì kèo, hai đầu xây tường bít nóc, mái lợp ngói mũi, bờ chảy đắp nổi họa tiết rồng chầu mặt nguyệt. Phía trên mái, mặt trước đắp bức đại tự bằng chữ Hán, ghép các mảnh vỡ sành sứ “Bình Ngô Thượng tướng từ” (Đền thờ Thượng tướng đánh giặc Minh”.
Nội thất gian giữa thờ thần chủ Thượng tướng Nguyễn Biên đặt trong long ngai trên đầu đội mũ thần, kiếm gỗ sơn son thếp vàng, mâm bông, hộp quả. Phía trên treo bức đại tự “Vạn cổ tồn”, hai bên bàn thờ dựng hai hàng binh khí long đao, trường kiếm, chùy và câu đối chữ Hán:
“Bình Ngô thắng tích hòa mộc đao
Khai quốc trung hưng biểu phụ nguyên.”
Dịch nghĩa:
“Thành tích lớn đánh dẹp quân Ngô giúp nhà Lê
Mở nước lần thứ hai trung hưng, tiêu biểu có vị tướng họ Nguyễn.”
Hàng năm, đến ngày 12/8 âm lịch, tổng Vân Tán tổ chức tế lễ tại đền Thượng tướng theo nghi thức trang trọng.
Với những giá trị lịch sử văn hóa đó, ngày 29/10/2003, Bộ Văn hóa - Thông tin đã có Quyết định số 59/2003/QĐ-BVHTT xếp hạng đền thờ Nguyễn Biên là di tích Quốc gia.
