Nằm gần quốc lộ 2A, lối đi vào chùa là những cây cổ thụ tạo không khí và cảnh quan quanh năm xanh mát cho chùa. Ngay lối vào chùa là tượng quan âm Bồ Tát cao hơn 2m được người dân được người dân đóng góp xây dựng, phía sau tượng là là tháp 7 tầng cổ kính có niên đại hàng trăm năm. Tiếp đến là chùa nằm dưới tán cây bàng, xà cừ cổ thụ quanh năm tạo bóng mát cho chùa. Vào thời điểm nắng nóng nhiệt độ lên tới 40 độ nhưng tại chùa thì nhiệt độ giảm vài độ.
Chùa Cói bắt đầu được xây dựng từ thế kỷ 12 đến thế kỷ 13, gồm cổng tam quan và chính điện. Đến thế kỷ 18, Quận Hẻo, Nguyễn Danh Phương cho xây thêm 2 tòa tháp 7 tầng. Chiến tranh và thời gian đã tàn phá khu chính điện và một trong hai tòa tháp của chùa. Khoảng cuối thế kỷ 20, chùa Cói mới được dựng lại trên nền cũ.Chùa Cói được xây dựng theo kiến trúc thời nhà Nguyễn. Hiện nay trong chùa Cói còn lưu giữ 12 pho tượng cổ, gồm 3 pho tam thế Phật, bộ Di đà Tam Tôn, tượng A Nan Đà Tôn Giả và Phật Tổ Thích Ca thuyết pháp. Tất cả đều bằng gỗ, sơn son thếp vàng, phong cách điêu khắc tượng tròn cuối thế kỷ 18. Sau chùa cũng còn giữ được một giếng đá cổ có tang hình vành khăn cao 50 cm có dấu những viết thừng kéo nước mài trên đá sa thạch.
Trước mặt chùa là tòa Tam quan được xây dựng rất độc đáo và giản dị, gồm 3 gian nhỏ dựng trên 12 cột đá xanh nguyên khối cao 2m, đường kính khoảng 30cm, gian chính giữ là 4 cột gỗ nguyên khối tạo vẻ cổ kính và uy nghi cho tam quan. Cột đá gian chính của tam quan được vát phẳng một mặt, ghi lạc khoản, đã phai mờ nhưng còn đọc được các từ “Canh Tý, Mạnh xuân, Cát nhật”, tính sang dương lịch là tháng 1 năm 1720.
Về ngôi tháp còn lại của chùa cao 7,7m, gồm 7 tầng, xây bằng gạch Bát Tràng bìa vuông và kết dính bằng vữa chế từ vôi vỏ sò trộn mật mía. Tương truyền tháp Chùa Cói được xây dựng Quận Hẻo trong một đêm cho quân xây xong tháo và Quán Tiên để gây thanh thế và thu phục nhân tâm chống lại triều Lê Trịnh. Mặc dù các hạng mục của chùa xây ở nhiều thời điểm khác nhau nhưng vẫn tạo thành một tổng thể kiến trúc có giá trị nghệ thuật được Viện Viễn Đông Bác Cổ thời thuộc Pháp xếp hạng là di sản văn hóa của Việt Nam vào năm 1939.
Quay trở lại với việc xây 2 tòa tháp gắn với cuộc khởi nghĩa nông dân Đàng Ngoài lớn vào giữa thế kỷ 18 của Nguyễn Danh Phương hay còn gọi Quận Hẻo. Tương truyền rằng, tháp Cói được xây dựng khoảng giữa thế kỷ XVIII (nay chỉ còn một, do chiến tranh huỷ hoại) có liên quan tới sự kiện về cuộc khởi nghĩa của Quận Hẻo (Nguyễn Danh Phương, 1740 - 1751) rằng: Chỉ qua một đêm, Nguyễn Danh Phương cho quân xây xong cây tháp và cả quán Tiên, nhằm gây thanh thế và thu phục nhân tâm chống lại triều đình Lê Trịnh, qua hàng trăm năm, một màu rêu phong cổ kính bao trùm toàn bộ cây tháp làm tăng thêm sự gợi mở mong muốn tìm hiểu về một loại hình kiến trúc phật giáo ở Vĩnh Phúc.
Thủ lĩnh Nguyễn Danh Phương (阮名芳, 1690-1751), hay còn gọi Quận Hẻo, là thủ lĩnh một cuộc khởi nghĩa nông dân Đàng Ngoài lớn vào giữa thế kỷ 18. Ông còn có tên là Nguyễn Danh Ngu, người làng Tiên Sơn, huyện Yên Lạc, trấn Sơn Tây – nay thuộc Phố Tiên, Phường Hội Hợp, thành phố Vĩnh Yên, tỉnh Vĩnh Phúc.
Nguyễn Danh Phương được mọi người gọi là quận Hẻo. Ông vốn xuất thân từ nhà nho. Ban đầu ông dự định theo nghiệp văn, nhưng tình hình xã hội Đàng Ngoài từ khi Trịnh Giang lên nắm quyền thay Trịnh Cương (1729) có nhiều biến động tiêu cực: Trịnh Giang không lo việc triều chính, chỉ lo hưởng lạc, tăng cường bóc lột dân chúng; vì thế nhiều người bất bình với chính quyền họ Trịnh. Nguyễn Danh Phương bỏ dở nghiệp văn chương theo nghiệp võ.
Năm 1739, nghe tin Đô Tế và thủ lĩnh Bồng khởi nghĩa ở Sơn Tây, ông bèn đến xin đầu quân. Tháng 2 năm 1740, chúa Trịnh sai Võ Tá Lý làm Chinh tây đại tướng quân đi dẹp. Hai bên đụng nhau ở An Lạc (nay thuộc Trung Giã, Sóc Sơn, Hà Nội). Đô Tế và Bồng đánh không lại với Tá Lý, bị bắt và bị giết.
Nguyễn Danh Phương tập hợp tàn quân của Đô Tế, rút về cố thủ ở núi Tam Đảo (huyện Tam Đảo, tỉnh Vĩnh Phúc), xây dựng lực lượng để tính kế lâu dài. Để tránh sự truy sát của triều đình, quận Hẻo sai người ra xin hàng. Lúc đó Trịnh Doanh phải đối phó với những cuộc khởi nghĩa mạnh của Nguyễn Hữu Cầu và Hoàng Công Chất nên chấp thuận cho quận Hẻo hàng.
Tận dụng vùng núi hiểm trở, nhất là ngọn Độc Sơn Tôn, quận Hẻo ra sức xây đồn lũy để phòng thủ và chiêu thêm quân. Năm 1744, lực lượng dưới quyền ông có 1 vạn người. Ông mang quân đi đánh ra xung quanh. Thanh thế quân quận Hẻo lan sang vùng Tuyên Quang, Hưng Hóa. Tháng 11 năm 1744, Nguyễn Danh Phương mang quân đánh lên Việt Trì, tiến sang Bạch Hạc. Sau đó ông dùng kế nghi binh, đánh lừa đạo quân triều đình do Văn Đình Ức chỉ huy và tiến sang đánh chiếm Thanh Lãnh (huyện Bình Xuyên, Vĩnh Phúc).
Tháng 9 năm 1748, quận Hẻo bắt đầu xây dựng hệ thống đồn trại kiên cố ở núi Ngọc Bội, gồm có Đại đồn là trung tâm, bên ngoài có đồn Hương Canh là Trung đồn và Ức Kỳ là ngoại đồn. Ngoài ra, ông còn cho xây nhiều đồn nhỏ xung quanh gọi là chi đồn. Hệ thống đồn của quận Hẻo trải rộng một vùng thuộc các huyện Tam Đái, Lâm Thao, Đà Dương thuộc trấn Sơn Tây và một số huyện thuộc trấn Thái Nguyên, Tuyên Quang. Ông tự xưng là Thuận thiên khải vận đại nhân, đặt hệ thống quan tước, ban hành chế độ thu thuế trong vùng mình quản lý.
Tháng 2 năm 1750, chúa Trịnh điều quân đánh vào Thanh Lãnh, bắt được hai người em ông là Nguyễn Văn Bị và Nguyễn Văn Quảng. Được tin, quận Hẻo mang quân đến giải vây, uy hiếp khiến quân Trịnh phải thả hai người em ông. Trước sự lớn mạnh của Nguyễn Danh Phương, Trịnh Doanh buộc phải tập trung lực lượng tiến đánh. Chúa Trịnh đích thân cầm quân, có các tướng tài như Hoàng Ngũ Phúc làm giám quân, Nguyễn Nghiễm làm tá lý, Đoàn Chú là Hiệp đồng, chia quân làm 4 đạo tiến đánh. Sau nhiều đợt tấn công không kết quả, Trịnh Doanh phải lui quân.
Đầu năm 1751, Trịnh Doanh lại thân chinh đi đánh quận Hẻo. Để tạo bất ngờ, chúa Trịnh sai quân đánh lên vùng Kinh Bắc, vòng qua Thái Nguyên và từ đó đánh ập xuống ngoại đồn Úc Kỳ. Bị đánh bất ngờ trong đêm tối, quân khởi nghĩa tại Úc Kỳ không chống đỡ được và bị tiêu diệt. Trịnh Doanh thúc quân đánh vào trung đồn Hương Canh. Dù đã phòng thủ trước, quân khởi nghĩa không chống lại nổi đại quân triều đình. Đồn Hương Canh bị hạ.
Quận Hẻo thu thập tàn quân về giữ đại đồn Ngọc Bội. Quân Trịnh tấn công phá vỡ đồn Ngọc Bội. Nguyễn Danh Phương dẫn quân phá vây chạy trốn, đến Tinh Luyện thuộc huyện Lập Thạch thì ông bị quân Trịnh mai phục bắt được. Khi Trịnh Doanh giải quận Hẻo về thì giữa đường gặp tướng Phạm Đình Trọng cũng vừa bắt được quận He Nguyễn Hữu Cầu. Trịnh Doanh mở tiệc khao quân, quận Hẻo bị sai hầu rượu. Sau đó cả hai tướng khởi nghĩa bị giải về kinh và bị xử tử.
Trải qua thời gian, chùa cói đã bị xuống cấp. Được biết theo Nghị quyết số 71/2019/NQ-HĐND ngày 23/10/2019 của Hội đồng nhân dân tỉnh Vĩnh Phúc quy định về cơ chế hỗ trợ đầu tư, tu bổ hệ thống di tích lịch sử - văn hóa được xếp hạng trên địa bàn tỉnh Vĩnh Phúc giai đoạn 2021-2025, chùa (tháp) Cói được đầu tư tu bổ vào năm 2022.