Địa hình Cửa Ông là dải thung lũng hẹp chạy dài theo đường 18, nằm giữa hai dãy đồi núi cao trên dưới 10 m ở phía Bắc và phía Nam. Từ xa xưa, con đường bộ đi qua Cửa Ông là con đường độc đạo đi ra vùng biên giới phía Đông Bắc và ngược lại. Cửa Ông như là cái yết hầu nối miền Đông chập chùng đồi núi với vùng mỏ giầu có và miền Tây rộng lớn của tỉnh Quảng Ninh. Các cuộc chinh phạt xâm lược của phương Bắc, hay các cuộc điều binh của các triều đại phong kiến Việt Nam ra miền biên giới Đông Bắc đều đi qua Cửa Ông. Xưa kia, các triều đại phong kiến đều đặt ở Cửa Ông - Cẩm Phả một đồn binh để chốt giữ nơi “yết hầu” này. Phía Nam Cửa Ông là vịnh Bái Tử Long không chỉ là một cảnh đẹp nổi tiếng, một vùng biển trù phú các giống loài hải sản mà còn tạo cho Cửa Ông một lợi thế về cảng biển. Vùng vịnh phía Nam Cửa Ông nước sâu, lượng phù sa bồi hàng năm không đáng kể. Cách bờ từ 1 đến 2km là dãy đảo đá nhấp nhô tạo hình vòng cung chắn sóng gió, khiến cho vùng biển luôn luôn tĩnh lặng, thuận tiện cho tàu thuyền neo đậu. Với vị trí và địa hình thuận lợi để xây dựng cảng biển, ngay từ đầu Công nguyên, nơi đây đã là một bến thuyền giao thương trên con đường thủy từ đồng bằng sông Hồng với vùng biên cương Đông Bắc Việt Nam và Đông Nam Trung Quốc. Bến thuyền Cửa Ông thời ấy gọi là Cửa Suốt.
Với vị trí chiến lược quan trọng của Cửa Ông trong việc giữ gìn biên cương, các triều đại phong kiến Việt Nam thường cắt cử các tướng tài và tin cậy đến trấn giữ. Trong cuộc kháng chiến chống quân Nguyên - Mông lần thứ hai, Trần Quốc Tảng được giao trấn giữ Cửa Ông và đã góp công lớn vào thắng lợi rực rỡ của quân Trần. Vua Trần Nhân Tông và Hưng Đạo Vương Trần Quốc Tuấn càng nhận rõ hơn vị trí đặc biệt quan trọng của vùng biển đảo Đông Bắc đối với công cuộc phòng thủ đất nước. Thắng lợi oanh liệt trong cuộc kháng chiến lần này, bên cạnh tinh thần chiến đấu dũng cảm của quân dân nhà Trần, là sự chuẩn bị chiến trường cẩn thận, chu đáo, biết lợi dụng địa hình đảo núi, luồng lạch khuất khúc để đánh địch và chủ động đánh địch. Từ bài học nóng hổi của chiến tranh ấy, nhà Trần đã tăng cường phòng thủ vùng biển đảo Đông Bắc để chủ động trong mọi tình huống trước một kẻ thù chưa cam chịu thất bại. Trần Quốc Tảng, vị tướng tài, có công lớn trong cuộc kháng chiến chống quân Nguyên Mông, lần thứ hai được cắt cử trấn giữ Cửa Suốt, nhưng dưới danh nghĩa là bị “đi đày” để che mắt, đánh lừa quân giặc. Và, một lần nữa, ông đã không phụ lòng người cha tôn kính và phụ niềm tin của cả dân tộc. Những năm tháng trấn ải vùng Đông Bắc, Trần Quốc Tảng đã lập nhiều chiến công vang dội để “Hải Đông lưu linh tích”.
Vào đầu thế kỷ XX, khi cảng Cửa Ông được xây dựng, dân cư Cửa Ông ngày càng đông đúc, thảo am thờ Đức Ông nhỏ bé không đáp ứng được nhu cầu tâm linh của người dân nên đã chuyển về vị trí hiện nay và xây dựng thành ngôi đền qui mô lớn hơn. Trải qua nhiều lần tu bổ, nhất là từ năm 1994 đến nay, đền Cửa Ông trở thành một quần thể kiến trúc hoàn chỉnh, khang trang. Đền gồm 2 khu đền Hạ và đền Thượng. Tại đền Thượng, ngoài đền thờ Trần Quốc Tảng ở chính điện, còn có đền thờ Mẫu, chùa thờ Phật, lăng Trần Quốc Tảng phía sau đền. Gếch về phía Tây, nằm dưới một cấp, là đền thờ Quan Chánh. Đền Thượng tọa lạc trên một ngọn đồi cao gần 100m, có thể bao quát được toàn bộ cảnh quan khu vực Cửa Ông. Từ cổng Tam quan, bước trên những bậc tam cấp lên đến sảnh đền, ta có thể thu vào tầm mắt bức tranh toàn cảnh Cửa Ông rực rỡ màu sắc và dạt dào tâm tưởng. Sảnh đền nhìn ra vịnh Bái Tử Long bao la trầm hùng, nhấp nhô thế giới của những đảo đá huyền bí gợi nên hình ảnh hàng trăm những chú Rồng con rỡn đùa sóng nước biển xanh. Phía sau lưng đền là thung lũng quần tụ khu dân cư đông đúc, nơi trung tâm chính trị, kinh tế của Cửa Ông. Xa xa, những dãy núi xanh mờ trùng điệp chạy dài từ Cẩm Phả đến Mông Dương.
Giữa không gian mênh mông của núi non, biển trời hùng vĩ, ngôi đền hiện lên trong dáng vẻ cổ kính, duyên dáng của những đường nét kiến trúc dân tộc cạnh khu công nghiệp lớn - cảng than Cửa Ông náo nhiệt, sừng sững những cần cẩu thép lớn. Câu đối treo cạnh pho tượng lớn tạc một quan võ khoác hoàng bào, vạt trước đính hổ phù, là hình ảnh vị thần chủ ngôi đền - Đức Ông Trần Quốc Tảng. Nội dung câu đối như sau:
Đền Cửa Ông là ngôi đền hiếm hoi còn lại đến nay thờ khá đầy đủ gia thất Hưng Đạo Vương Trần Quốc Tuấn và những cận thần của ông. Ngoài vị thần chủ Hưng Nhượng Vương Trần Quốc Tảng, ngôi đền còn có hơn 30 pho tượng lớn nhỏ, mỗi pho tượng mang hình hài và tên tuổi một nhân thần, được bày ở vị trí chính điện hay hai bên cánh, ở bái đường hay hậu cung đều bắt nguồn từ vai trò, vị trí và tầm quan trọng khác nhau của người lúc còn sống mà pho tượng mang tên. Ba mươi pho tượng bày thành 10 hàng ngang là những tướng lĩnh nổi tiếng thời Trần từng dày dạn trận mạc, tạo cho người vãn cảnh được chiêm bái những anh hùng một thời oanh liệt mà từ lâu mới chỉ nghe tên qua sử sách.
Đứng trước đền Cửa Ông, chúng ta như đứng trước khu tượng đài kỷ niệm những người có công với dân với nước với dân tộc, khiến lòng ta không khỏi bồi hồi, xúc động. Mỗi nhân thần lúc còn sống có một cuộc đời và một chiến công hiển hách, xả thân vì nước. Khói hương huyền ảo và sắc màu vàng son không làm cho người chiêm ngưỡng choáng ngợp trước thần linh mà trái lại cảm thấy thiêng liêng nhưng gần gũi, chứa chan hoài niệm trở lại với quá khứ oanh liệt hào hùng của những chiến công oanh liệt. Với sự hiện diện của một quần thể tượng mang tên các gia tướng, các tướng lĩnh tâm phúc quây quần xung quanh Trần Quốc Tuấn và Trần Quốc Tảng trong không gian ngôi đền ấm cúng, ta như thấy ở đây vẫn lưu giữ hào khí Đông A thủa nào, vẻ đẹp của tinh thần đoàn kết, nhân ái, dân chủ, khí phách quyết chiến quyết thắng, những yếu tố tạo nên sức mạnh dân tộc một thời oanh liệt và sẽ còn là bài học sâu sắc mãi mãi cho muôn đời con cháu. Đứng trước những nhân thần mà cả cuộc đời là tấm gương sáng về đạo đức, nhân cách, chí khí, người ta không chỉ xin che chở phù hộ, mà người đến lễ còn soi mình để tự vấn phải làm gì để xứng với các bậc tiền nhân.