Theo người dân địa phương, từ thời nhà Tùy đã có điện thờ này. Đến thời nhà Đường, nghè Giáp là nơi dùng để cất giữ những bằng, sắc. Tuy nhiên, khởi nguyên, nghè Giáp là một trong số các đền thờ Đức thánh Lưỡng - Tam Xung Tá quốc Lê Hựu (còn cách gọi khác là Hữu) – người con trai thứ ba của Thái thú quận Cửu Chân Lê Ngọc (Lê Cốc).
Sau khi tiêu diệt nhà Tùy, nhà Đường cho quân sang Giao Chỉ tiêu diệt quan lại nhà Tùy ở đây. Đến Cửu Chân gặp phải sự kháng cự quyết liệt của cha con Thái thú Lê Cốc. Do tương quan lực lượng, cha con Lê Cốc không thể chống đỡ, lần lượt bị tiêu diệt.
Tương truyền rằng, chỉ có người con trai thứ ba là Tham Xung Tá Quốc Lê Hựu phá được vòng vây. Ông bị thương rất nặng, tuy đầu lìa khỏi cổ song vẫn một mình phi ngựa vào Kẻ Nứa (nay là thị trấn Nưa, huyện Triệu Sơn) tìm viện binh. Khi đến đây, gặp một bà lão bán nước bên đường, ông vào xin nước uống, đồng thời hỏi bà liệu có ai đầu lìa khỏi cổ mà sống tiếp. Bà lão bán nước nói chắc là chỉ có tướng công thôi. Nghe xong, ông ngã vật ra đất, đầu lìa khỏi cổ. Ông được Nhân dân Kẻ Nứa lập đền thờ phụng, tưởng nhớ.
Bên cạnh đó, Nghè Giáp còn được phối thờ các vị tiên công - người đứng đầu các dòng họ đã có công về đây khai hoang lập làng. Nhà Trần suy vong, vì cảm kích công lao và tấm lòng trung của danh tướng Trần Khát Chân (người đã bị Hồ Quý Ly xử trảm cùng với hơn 370 tướng sĩ vì đã tham gia vụ việc ở lễ Minh Thệ núi Đốn lúc bấy giờ) với vương triều Trần, nên dân làng Kẻ Nưa đã phối thờ ông tại Nghè Giáp.
Kiến trúc của Nghè Giáp mang đậm dấu ấn của thời Lê - Nguyễn, trong quá khứ, cấu trúc di tích nghè Giáp theo kiểu chữ “U” với chính điện ở giữa, nhà giải vũ (tả, hữu) hai bên. Hiện nay, nhà giải vũ đã được tôn tạo lại.
Chính điện Nghè Giáp (tiền đường, trung đường, hậu cung) mang nét kiến trúc thường thấy ở thời hậu Lê. Vào bên trong di tích, những cột gỗ lim to một người ôm không hết được phủ lên màu rêu phong cổ kính, xung quanh là ván thưng cũng được sơn đen. Sự hài hòa giữa cột, kèo tạo sự thanh thoát, chắc chắn. Các mảng chạm khắc rồng cuộn, hổ phù tuy không dày đặc song vô cùng tinh xảo, đẹp mắt. Mái Nghè cong mềm mại, bên trên trang trí các linh vật (rồng, nghê...) tạo sự uy nghiêm.
Còn Nghi môn của Nghè Giáp lại mang đậm dấu ấn kiến trúc thời Nguyễn. Nghè Giáp hiện lên vẻ cổ kính, rêu phong với cổng chính bề thế và cổng phụ hai bên. Ngoài hình ảnh “hổ phù” thường thấy, thì những phù điêu đắp nổi (ngựa, voi, hổ) trên những bức tường bên ngoài cổng với vóc dáng dũng mãnh, khỏe khoắn vô cùng ấn tượng.
Ông Lê Văn Sơn, công chức văn hóa - xã hội UBND thị trấn Nưa, cho biết: Người dân địa phương tin rằng, nghè Giáp có lịch sử khởi dựng vào khoảng thế kỷ thứ VII. Vào năm 1992, nghè Giáp đã được xếp hạng di tích văn hóa lịch sử cấp tỉnh. Nghè Giáp là một trong số 9 di tích đã được xếp hạng trên địa bàn thị trấn. Dù đi qua thời gian với nhiều thăng trầm lịch sử, tuy nhiên tổng thể không gian kiến trúc di tích vẫn được giữ gìn khá nguyên vẹn, còn có một số hiện vật, đồ thờ có niên đại lâu đời.
