Đình Tứ Trưng cách trung tâm huyện lỵ của huyện Vĩnh Tường khoảng 2km. Đi từ trung tâm tỉnh lỵ Vĩnh Phúc (thành phố Vĩnh Yên) khoảng 22km về phía Tây Nam, đi dọc theo Quốc lộ 2A (hướng Hà Nội - Việt Trì) rẽ trái vào Quốc lộ 2C, đi thẳng đến bùng binh thứ nhất tiếp tục rẽ trái vào đường tỉnh lộ 304. Từ đây, đi khoảng hơn 1km là đến UBND thị trấn Tứ Trưng, tiếp tục di chuyển 1km là tới di tích.
Trai qua thời gian, kiến trúc ban đầu của đình Tứ Trưng không còn nữa nên không biết được niên đại tuyệt đối xây dựng đình. Song theo Ngọc phả về vị thần Nguyễn Văn Nhượng và lời truyền kể của nhân dân địa phương thì đình Tứ Trưng cùng với đền Đức Ông (thị trấn Tứ Trưng) và lăng Bảo Trưng (xã Phú Đa) được xây dựng từ sau khi ông mất, tức là vào thời Lý (thế kỷ XII), cách đây hàng nghìn năm.
Đình được xây dựng trên một khu đất cao, thoáng rộng, hướng về phía Tây Nam. Phía trước cổng đình là chợ Rưng (cùng không gian tổ chức lễ hội làng Rưng ngày xưa), sân đình có cây lộc vừng cổ thụ hàng trăm năm tuổi đến 3 người ôm tỏa bóng mát xum xuê, khiến cho ngôi đình mang một vẻ thâm u tĩnh lặng, cổ kính, linh thiêng giữa phố thị ồn ào trên quê hương Tứ Trưng (hiện tại hai bên đình vẫn còn hai dãy nhà cấp 4, là trụ sở của UBND xã Tứ Trưng cũ, do Hợp tác xã nông nghiệp và Công ty điện Tứ Trưng sử dụng tiếp quản sử dụng).
Đình được xây dựng theo kiểu dáng kiến trúc của đình làng trước đây nên quy mô tương đối lớn, chỉ khác là được xây dựng bằng những chất liệu bền vững là bê tông, cốt thép, tường xây gạch dày. Mái đình cao với 4 đầu đao cong vút mềm mại, thanh thoát, trên bờ nóc được đắp phù điêu “lưỡng long chầu nguyệt”, hai đầu kìm tạo thành hai con giống ngậm chặt lấy bờ nóc, phía dưới là các con sô theo hình dáng của kỳ lân, toàn bộ mái lợp ngói mũi truyền thống.
Đình có mặt bằng kiến trúc hình chữ đinh gồm 2 tòa, tiền đình 5 gian 2 dĩ, hậu cung 2 gian được nối với nhau bởi ống muống. Tiền đình có chiều dài 18m, rộng 10m được chống đỡ bởi hệ thống chịu lực gồm các cột (cột cái, cột quân và cột hiên), xà, dầm (câu đầu), con chồng, kẻ bẩy, hoành... được làm bằng chất liệu bê tông, cốt thép sơn giả gỗ. Liên kết các bộ vì kèo theo kiểu thức “chồng bồn - trụ chốn”, đôi chỗ trang trí họa tiết hoa lá cách điệu.
Hệ thống cửa bức bàn chắc chắn, kín đáo (gồm 5 cửa, mỗi cửa 4 cánh). Hậu cung dài 7m40, rộng 5m được ngăn cách với bên ngoài bằng hệ thống cửa bức bàn. Hậu cung được tạo thành khám lửng trên thân của các hàng cột cái trong hậu cung và các xà ngang liên kết giữa các cột cái này. Khám có kích thước 5m02 x 3m65, chiều cao từ mặt nền lên đến sàn khám là 2m27 (có gắn thang gỗ để thuận tiện cho việc lên xuống), xung quanh bưng kín, phía trên của hai đầu hồi làm các cửa sổ trấn song con tiện để tạo sự thông thoáng. Sàn khám lát gỗ, chia làm hai cấp, cấp trong cao hơn và được đặt bệ gỗ thấp bài trí ngai thờ Thành hoàng cùng các đồ thờ tự.
Đình Tứ Trưng còn lưu giữ lại được một số hiện vật có giá trị về lịch sử và văn hóa cổ như: Cuốn ngọc phả viết bằng chữ Hán là tổng hợp từ ngọc phả các năm: Đức Long nhị niên (1630), Vĩnh Hựu nguyên niên (1730) và bản sao chép lại vào các năm: Thiệu Trị nguyên niên (1841), Tự Đức tam thập tứ niên thập nhị nguyệt sơ thất nhật (năm Tự Đức thứ 34, ngày 7/12/1880); Tài liệu viết bằng chữ Hán có niên niệu Vĩnh Hựu nguyên niên chính nguyệt (tháng 1 năm đầu niên hiệu Vĩnh Hựu - 1735).
Nội dung nói về một vị tên là lão tiên bà, nguyên là Công chúa nước Chiêm Thành đã âm phù giúp đỡ vua Trần Thánh Tông khỏi bị mắc cạn trên sông Kỳ Giang (đoạn qua đầm Rưng hiện nay); 12 đạo sắc phong, đạo thứ nhất từ thời Cảnh Hưng nguyên niên thất nguyệt, nhị thập tứ nhật (Ngày 24 tháng 7 năm Cảnh Hưng nguyên niên - 1742) và đạo thứ 12 là Khải Định cửu niên thất nguyệt nhị thập ngũ nhật (Ngày 25 tháng 7 năm Khải Định thứ 9 - 1924).
Về giai thoại 2 vị thần hoàng làng Đông Kinh Phán Quan Đại Vương Thượng Đẳng Phúc Thần, húy là Nguyễn Văn Nhượng và Công chúa nước Chiêm Thành (Lão Tiên Bà). Thủ từ Ngô Công Chính đình Tứ Trưng cho biết: Căn cứ vào cuốn Ngọc phả viết vào các năm: Đức Long nhị niên (1630), Vĩnh Hựu nguyên niên (1730) và bản sao vào các năm: Thiệu Trị nguyên niên (1841), Tự Đức tam thập tứ niên thập nhị nguyệt sơ thất nhật (năm Tự Đức thứ 34, ngày 7/12/1880), kết hợp với lời truyền kể của nhân dân thì đình Tứ Trưng thờ Đông Kinh Phán quan Đại vương, húy là Nguyễn Văn Nhượng (tên vị là Đức Ông) là người quê gốc ở Tứ Trưng (kẻ Rưng), làm quan dưới triều vua Lý Cao Tông (1176 - 1210). Ngọc phả còn viết rằng: “… thi thị thổ nhất khu...” tức là một khu đất chợ (chợ Rưng) là của ông vậy (khu vực chợ Rưng ngày nay bao gồm cả đình, đền).
Dưới thời nhà Lý, nước Đại Việt ta vừa phải phòng bị quân Tống xâm lăng phía Bắc, vừa phải chống trả sự quấy phá của các nước Chiêm Thành và Ai Lao ở phía Nam để gìn giữ biên cương, định lệ cống nạp.
Ngược dòng thời gian giai đoạn vua triều vua Lý Cao Tông, niên hiệu Trinh Phù (1176) xảy ra việc vua nước Ai Lao không chịu thần phục và dâng cống nạp cho Đại Việt theo thường lệ. Vào năm Trinh Phù nguyên niên, vua Lý Cao Tông đã giao kỳ ấn cử tướng Đông Kinh Phán quan Nguyễn Văn Nhượng làm Đốc tướng cất quân với nhiều cờ súy, xe cộ sang chinh phạt Ai Lao. Chỉ một thời gian ngắn, ông đã phá tan quân Ai Lao, khiến chúng thua chạy, ông bắt được hơn trăm tù binh, một cỗ voi chiến và thu nhiều vàng bạc châu báu, sừng tê giác... buộc vua Ai Lao phải đầu hàng, cam kết thần phục và thi hành lệ cống nạp Đại Việt như cũ.
Do có công lao đánh giặc gìn giữ biên cương, định lại lệ quốc nên ông được vua Lý ban cho nhiều ân tứ, ban thưởng chức tước - lại cho chỉ huy một đội quân mã, một cỗ voi to, áo gấm màu trắng trở về lộc ấp. Khi chết, để tưởng nhớ công lao dẹp giặc của ông khi xưa, nhà vua cho xây lăng và lập đền thờ, phong Đông Kinh Thông Phán Đại Vương Thượng đẳng phúc thần hưởng theo nghi lễ quốc tế (tế theo nghi lễ Nhà nước); truyền cho nhân dân quanh vùng bốn mùa cúng tế, hương khói không dứt.
Hiện nay cả 4 làng của kẻ Rưng xưa kia là: Văn Trưng, Thế Trưng, Vĩnh Trưng và Bảo Trưng đều thờ; ông được tôn vinh làm thành hoàng làng bảo hộ cho nhân dân của các làng đó và được thờ ở đình, đền, miếu (nơi ông sinh) và lăng (nơi ông hóa).
Về Công chúa nước Chiêm Thành (Lão Tiên Bà): Theo cuốn tài liệu chữ Hán viết năm Vĩnh Hựu nguyên niên chính nguyệt (tháng 1 năm đầu niên hiệu Vĩnh Hựu - 1735) thì có một vị tên là Lão Tiên Bà tối linh Công chúa, nguyên là Công chúa nước Chiêm Thành. Vào triều vua Trần Thánh Tông năm thứ 3, niên hiệu Thiệu Long, nhà vua đi chinh phạt phương Nam. Một ngày nọ, ông giong thuyền theo hướng Tây đến xã Biên Mặc bên sông Kỳ Giang thì thuyền không đi được nữa. Lúc đó trời đất tối sầm, mưa gió nổi lên, thì ra Công chúa giáng trần phù giúp, thuyền lại rong buồm. Nhà vua bèn truyền cho xã dân lập đền thờ hàng năm tế tự, làm lễ đảo vũ đều linh ứng, sự tích và ân điển đã được bao phong nhiều đời thờ cúng đầy đủ. Các triều đại sau này đều gia phong mỹ tự.