Đền cũng là nơi duy nhất của thành phố thờ bốn nam tử của Trần Hưng Đạo đó là Đệ nhất vương tử Trần Quốc Nghiễn; Đệ nhị vương tử Trần Quốc Hiến; Đệ tam Hưng nhượng vương Trần Quốc Tảng; Đệ tứ vương tử Trần Quốc Uất và 18 vị tướng tài danh của nhà Trần. Được biết, ngôi đền là nơi thờ Hưng Đạo Đại vương Trần Quốc Tuấn ở chính điện quy mô nhất Hà Nội.
Tại bến Đông Bộ Đầu (xác định đầu là dốc Hàng Than và cuối là dốc Vạn Kiếp), Đức Thánh Trần năm 1284, đã tổ chức tập trận và công bố Hịch Tướng Sỹ để khích lệ lòng yêu nước của toàn toàn quân dân và cũng là nơi Trần Thái Tông, Thái tử Hoàng, Trần Hưng Đạo… cùng Nhân dân Đại Việt đã đánh đuổi giặc Nguyên Mông ra khỏi bờ cõi Việt Nam, giữ vững nền độc lập của tổ quốc. Cả ba lần đánh đuổi giặc Nguyên Mông thì chính bến sông Đông Bộ Đầu đã là nơi chiến địa ngút trời khói lửa, quyết tử để giải phóng Thăng Long. Chính vì vậy, các bô lão trong làng Vạn Chài đã dựng ngôi đền thờ vị anh hùng dân tộc và các chiến sĩ làng Vạn An đã vì nước vì dân ngày đêm chiến đấu tại bến sông. Những chiến công hiển hách đó đã được các đời vua truy tặng các Đạo sắc vua ban. Sau này do chiến tranh tàn phá, các ngôi đền bị phá hủy, dân làng Vạn Chài và các bô lão trong vùng đã cử gia đình giữ gìn, lưu giữ những Đạo sắc của đền cho đến ngày nay.
Theo ông Trần Văn Sơn – thủ nhang đền Sơn Hải cho biết: Năm 1984, ngôi đền được xây dựng lại trên thửa đất hiện nay, giáp sông Hồng, đồ tế tự và tượng Thánh mới được rước lên bờ. Nhiều năm qua, nhờ tấm lòng công đức của khách muôn phương, đền Sơn Hải đã đựơc tôn tạo khang trang hơn trước. Trước của tam quan, trên lầu cao, tượng Trần Hưng Đạo đúc đồng nguyên khối cao 3 mét, nặng 1,7 tấn, tay cầm kiếm hùng dũng, hướng ra sông Mẹ. Trong gian Điện tiền thờ tướng quân Phạm Ngũ Lão cùng Lục bộ các tướng: bên phải là Đô dũng tướng quân, Trần Thông tướng quân, Địa lôi tướng quân. Bên trái là ba anh em Hà Bổng, Hà Chương, Hà Đặc người dân tộc đã có công đánh giặc Nguyên Mông trên quê hương các ông. Đây là nét riêng biệt của đền Sơn Hải mà một số đền khác thờ Phạm Ngũ Lão, nhưng không thờ ba anh em họ Hà.
Hàng năm, đền Sơn Hải lấy ngày giỗ Đức tổ nhà Trần, Đức Thánh Trần và các nam tử, gồm: Ngày 17 tháng Giêng giỗ Thái Thượng Hoàng Trần Thừa và đó cũng là lễ Thượng Nguyên của năm mới. Ngày 24/4, giỗ con cả Trần Hưng Đạo là Trần Quốc Nghiễn, và đó cũng là lễ vào hạ. Ngày 20/8, giỗ Trần Hưng Đạo còn gọi là Giỗ Cha cũng là lễ ra hạ. Ngày 17 tháng Chạp, giỗ Hưng chí vương Trần Quốc Uất, con út của Trần Hưng Đạo là dịp làm lễ Tất niên.
Nhớ ơn người anh hùng dân tộc, đúng dịp giỗ Đức Thánh Trần, ngày 20/8/2003, Đại tướng Võ Nguyên Giáp đã ra đền Sơn Hải dâng hương. Năm 2010, đền Sơn Hải được công nhận là di tích lịch sử văn hoá của thành phố.
