Theo sử cũ, năm 1833, vua Minh Mạng nhận thấy đồn Châu Đốc địa thế hơi hẹp, “chưa được phương tiện”, mới sai quan giám thành đi theo quan Tuần phủ là Ngô Bá Nhân chọn xem chỗ đất nào quang đãng và trấn được cả sông Tiền, sông Hậu, lại ở giữa các ngả đường để xây đắp tỉnh thành (An Giang).
Chùa Giồng Thành
Khi Bá Nhân họa đồ bản dâng lên, vua giao đình thần hội nghị, đều nói: “Thôn Long Sơn ở về thượng du, hình thể cao ráo và quang đãng, lại có sông Tiền, sông Hậu ở hai bên như thể là dải áo, hình thế thật là hiểm trở, xin đáp thành ở nơi ấy thời tiện việc canh giữ ngoài biên”. Vua cho là phải.
Đến năm 1834, khi đã dẹp yên được giặc Xiêm, vua sai đình thần tường nghị về vấn đề này. Đình thần tâu: “Nhận thấy vùng Nam thùy mọi việc đều đã tươm tất đâu ra đấy. Đình nghị xin cho phép xây thành tại các tỉnh An Giang và Hà Tiên, còn các tỉnh lỵ cũ của Châu Đốc, và Hà Tiên đều được đặt đồn lớn để án ngự, che chở…”, nhà vua chuẩn hứa sẽ cho thi hành. Sau đó vua dụ rằng: “Đặt đồn trú phòng là một vấn đề đã được tâu xin và chuẩn hứa rồi, chỉ nên tuân chiếu tuân hành mà thôi”.
Năm Minh Mạng thứ 16 (1835), quan Tướng quân thành Trấn Tây là Trương Minh Giảng tâu nói: “Thành tỉnh An Giang năm trước có bàn lập tại thôn Long Sơn thuộc về tỉnh ấy, sau được thái bình, chưa kịp đắp thành, đào hào. Trước đây quan quân tỉnh ấy vẫn đóng tạm tại thành Châu Đốc, mà kho tàng làm tạm bằng tre, gỗ để quyền trữ. Nay xin đem kho Vĩnh Viễn tại Vĩnh Long mà nguyên lập ở tỉnh Gia Định chuyển vận qua tỉnh An Giang để làm nơi tích trữ”. Vua xuống dụ bảo rằng: “Đất thôn Long Sơn ở về thượng du, hình thế cao rộng, quang đãng, lại thêm hai bên có sông Tiền, và sông Hậu như là hai dải áo, thật là nơi hình thắng, vẫn nên đắp thành ở nơi ấy. Nhưng nay quan quân trú đóng ở thành Trấn Tây thì tỉnh An Giang lại là một nơi như thể là bụng con người, thời việc đắp thành không phải là việc cần cấp ngay trước mắt. Vả lại, thành trì Châu Đốc là nơi đã có sẵn thì cư trú ở đấy cũng đủ chống với quân địch. Còn việc làm kho tàng thì chuẩn cho thi hành như lời tâu”.
Thành ra thành tỉnh An Giang vẫn đặt y ở Châu Đốc. Sử cũ mô tả “phía tả giáp sông lớn (đại giang); ba phía tiền, hữu, hậu có hào rộng 20 tầm, sâu 10 thước lưu thông với sông cái”, đến nay tuy đã trải lắm cuộc biển dâu, nhưng ta vẫn có thể phỏng đoán, thành tọa lạc cặp sông Châu Đốc, giới hạn từ kinh Lò Heo đến kinh Ông Cò, thuộc vị trí trung tâm thành phố hiện nay - nơi mà khi xưa, kể luôn khu vực xung quanh, dân đinh (hiểu là trong hạn tuổi lao động, nam từ 18 - 60), cách đó 5 năm, mới chỉ có 800 người.
Bia cách mạng và tượng Phật trước chùa
Thời Gia Long, Long Sơn là một trong những thôn của tổng Vĩnh Trinh huyện Vĩnh An, phủ Tân Thành, trấn Vĩnh Thanh, thuộc Gia Định thành (tức toàn miền Nam, từ Bình Thuận trở vào). Đến thời Minh Mạng, năm 1832, tỉnh An Giang chính thức được thành lập, chia cắt sắp đặt lại địa giới nhiều nơi. Huyện Vĩnh An bị cắt bớt phần trên, lấy rạch Cái Tàu Thượng làm ranh (chỗ ranh tỉnh An Giang và Đồng Tháp ngày nay). Phần trên cặp theo hữu ngạn sông Tiền, tuốt tới biên giới, thuộc huyện Đông Xuyên. Long Sơn được chọn làm nơi đặt lỵ sở của huyện này.
Để bảo vệ, phòng thủ, chính quyền nhà Nguyễn cho đào hào, đắp thành xung quanh lỵ sở. Huyện Đông Xuyên sau bỏ. Thời Pháp đặt quận lỵ Tân Châu tại thị trấn Tân Châu ngày nay. Thành đất ở Long Sơn lâu ngày chài lỳ xuống, chỉ còn dấu vết như một giồng đất cao, nhân dân địa phương gọi là “Giồng Thành”. Như vậy tiếng “Thành” nói ở đây không phải là “thành tỉnh” mà là “thành huyện”. Còn “Giồng” là giồng đất đắp bao quanh thành của huyện lỵ Đông Xuyên ngày xưa, chứ không phải là một cái giồng tự nhiên do phù sa ven sông bồi tụ mà thành. Tại đây có một di tích lịch sử - văn hóa, đó là danh lam “chùa Giồng Thành”.
Khoảng tháng 3/1927, trên đường chu du miền Nam, cụ Phó bảng Nguyễn Sinh Sắc, thân sinh Bác Hồ có về Tịnh Biên (vùng biên giới Việt Nam - Campuchia) vận động, liên kết các sĩ phu yêu nước chống Pháp. Tại đây, trong thời gian trú ngụ ở chùa Hòa Thạnh, qua giới thiệu của sư Viên Minh, cụ Phó bảng quen biết thêm một người tâm đầu ý hợp nữa là sư Đạt Điền ở chùa Giồng Thành. Thế là từ ấy chùa Giồng Thành không chỉ là cơ sở tín ngưỡng tôn giáo, mà còn là cơ sở hoạt động cách mạng. Nơi đây là một trong những “trạm” chính mà cụ Phó bảng thường lui tới trú ẩn liên lạc với các nhà chí sĩ trong vùng. Cho đến cuối tháng 6/1929, sau một thời gian đi xây dựng cơ sở ở xã Xăng - đa, huyện Prekdek (Campuchia), cụ trở về chùa Giồng Thành. Tại đây, do bọn mật thám Pháp từ lâu vẫn để mắt bám sát cụ nên hôm ấy, khi biết chắc cụ đang ở chùa, chúng co chân chạy thẳng lên quận báo cáo và dẫn lính từ Tân Châu xuống ập vào lục soát. Nhưng chúng hoàn toàn thất vọng, bởi cụ Phó bảng và sư Đạt Điền đã bí mật lánh đi kịp thời, vì nhờ có một nông dân gần đó phát hiện sớm báo cho cụ biết và tình nguyện “hỏa tốc” bơi xuồng con đưa lên Phú Thuận lánh nạn an toàn tại nhà cụ Tú Thường. Sau, cụ về Cao Lãnh hoạt động và mất ở đó.
Nhờ được Phó bảng Nguyễn Sinh Sắc, và các sĩ phu yêu nước của cụ thường xuyên giáo dục, chỉ ra con đường sống, nên quần chúng nhân dân trong vùng giác ngộ cách mạng ngày càng nhiều. Danh lam “chùa Giồng Thành” do vậy trở thành “địa chỉ đỏ” - một di tích văn hóa lịch sử mà nhân dân An Giang rất tự hào.