Chùa ngoảnh mặt về hướng Tây Nam, phía Đông Bắc là biển, phía Đông Nam cách chùa khoảng 3km có cửa sông Gia Hội. Ngọn núi Tượng sát cửa sông Gia Hội vừa như bức thành chắn gió bão, vừa tạo nên nét hùng vĩ, nên thơ của phong cảnh đẹp muôn màu. Cách chùa 1.500m về phía Tây là khu du lịch biển Thiên Cầm, có hang Hồ Quý Ly, non xanh nước biếc, bãi tắm lý tưởng…
Hiện chưa xác định được thời gian ra đời của chùa, chỉ biết chùa đã tồn tại hàng mấy trăm năm. Sau một số lần trùng tu tôn tạo, đến nay về cơ bản vẫn giữ nguyên trạng một số công trình kiến trúc cổ. Tam quan, hạ điện, trung và thượng điện được bố trí thẳng hàng theo một trục chính, nền cao dần về phía sau. Nhà cúng cô hồn ở phía Tây, nhà bia ở phía Đông đối xứng với nhà cô hồn. Trước chùa có bàu sen, nay không còn.Từ sân chùa qua tam cấp, tới tam quan gồm một cửa đại và hai cửa tiểu. Gọi là cửa nhưng đây là một gian nhà gọi là Nghi môn có diện tích 25m2, lợp ngói vảy hai đầu xây tường, bốn góc có 4 trụ, vừa làm trụ đỡ mái vừa để trang trí. Hai vì kèo gỗ cùng với bộ phận cột, câu đầu, xà ngang dọc tạo thành kết cấu công trình vững chắc. Hai phía tả, hữu là hai cửa tiểu được xây dựng theo kiểu chồng diêm hai tầng. Tầng một có hai trụ xây thành hai cửa vòm. Nối với trụ là bốn mái hồi văn vuốt cong được tạo thành bởi các đường đao đắp nổi. Dãy tường hoa nối với cửa đại và hai cửa tiểu tạo thành mặt tiền khép kín.
Hạ điện xây tường bao quanh, mái lợp ngói vảy, mặt tiền gồm bốn trụ tạo thành ba cửa ra vào, hai trụ giữa kích thước bằng nhau, hai góc là hai trụ liền tường. Phần trên trụ có mái hắt chắn gió và hệ thống xuyên hoa. Chính giữa là mặt nguyệt, lồng ba chữ “Yên Lạc tự”. Hệ thống cánh cửa panô trụ xoay làm bằng gỗ lim. Kết cấu vì kèo và trụ tường chia mặt bằng hạ điện thành ba gian. Gian phải treo chuông đồng, đai chuông hình hai con rồng cách điệu quay lưng lại với nhau. Gần đỉnh chuông có 4 chữ đúc nổi: “Yên Lạc tự chung”, khắc niên hiệu Cảnh Thịnh. Gian trái treo khánh đồng đối xứng với chuông bên phải. Khánh hình bán nguyệt, xung quanh có đường chỉ nổi, ngoài cùng là đường gờ nổi to. Phía dưới lỗ treo có hàng chữ nổi “Yên Lạc tự” và “Cảnh Thịnh thất niên”. Dưới ba chữ “Yên Lạc tự” là hình hai con rồng châu đầu vào nhau, thân hình uyển chuyển giữa đám mây.
Trung điện chung tường với hạ điện, mái lợp ngói vảy, gồm 3 gian 2 hồi. Hệ thống cửa mặt tiền bằng gỗ lim, kiểu panô trục xoay. Trên và dưới có địa đà, ván gỗ chạm hình hoa cúc, lá đề, nhà có 4 vì kèo cũng bằng gỗ lim, bán cột chính. Tại gian giữa đặt hương án sơn son thếp vàng. Tượng A di đà bằng gỗ mít đặt trên bệ xi măng hai cấp, ngồi thiền trên đài sen, hai mắt nhắm, hai tay đan vào nhau. Hai bên gian giữa treo câu đối: “Phù quả duyên hàn điền hữu thử/ Từ tâm tế độ hải vô ba”. Nghĩa là: Đi tu học đạo cũng như cày ruộng lúa tốt/ Có lòng từ tâm giúp đỡ như biển không sóng.
Gian giữa đặt tượng ông Thiện, gian trái đặt tượng ông Ác. Trong chùa còn có một số bức đại tự và câu đối.
Thượng điện lợp mái ngói vảy, xung quanh xây tường bao kín, gồm 1 gian 2 hồi với hai vì kèo gác tường. Đáng chú ý nhất là một số bức tượng có giá trị đặt phía sau lư hương. Tượng Cửu Long bằng gỗ mít thể hiện hình Thích Ca lúc sơ sinh tư thế đứng, tay trái chỉ lên trời, 9 con rồng kết vào nhau tạo thành vòng bảo vệ và phun nước tắm. Tượng A di đà bằng đồng cao tọa trên đài sen. Phía sau cùng giáp tường hậu có ba pho tượng Tam thế, bên phải và bên trái thượng điện có tượng Nam Tào và Bắc Đẩu…
Ngày 12/12/1994, Bộ Văn hóa - Thông tin đã có Quyết định số 3211/QĐ-BT xếp hạng chùa Yên Lạc là di tích Quốc gia.
