Vào những năm đó, Maison Centrale de Saigon là nhà tù lớn nhất miền Nam, giam giữ tù nhân đại hình (trọng án) và tù nhân chính trị. Mỗi dãy phòng giam dài 30 mét và chiều ngang 6 mét. Ở giữa 2 dãy phòng giam là hành lang có chiều ngang 2 mét được phân cách với phòng giam bằng chấn song sắt phi 12. Tường phòng giam sơn màu đen. Cửa sổ song sắt trổ trên cao gần mái nhà. Giai đoạn này, do tù nhân chính trị nhiều nên bọn cai ngục dồn tù đại hình vào mỗi buồng hơn 50 người. 2 dãy phòng giam chứa hơn 100 người. Tất cả đều nằm dưới nền xi măng và 1 chân phải bị khóa vào 1 chiếc cùm dài suốt dọc phòng giam.
Để quản lý số tù nhân đông đúc, chen chúc ấy, bọn cai nghĩ ra chiêu dùng "dây đậu nấu đậu", có nghĩa là chúng chọn trong số tù những tay có máu lưu manh, có sức khỏe làm caporal (Người quản lý). Đọc theo âm trại là cặp rằn hoặc cọp rằn. Giang hồ thời nay gọi là "đại bàng" hoặc "đầu gấu".
Cách chọn cặp rằn của bọn cai ngục rất… lưu manh. Chúng cho các tù nhân thách đấu võ với nhau để xem và bắt độ cá cược. Kẻ nào mạnh nhất phòng giam sẽ được làm cặp rằn. Khi 1 tù nhân thách đấu và đánh gục cặp rằn "đương nhiệm" thì sẽ được làm cặp rằn mới. Để bảo vệ "ngôi", cặp rằn thường đánh phủ đầu những tù nhân mới.
Sơn Vương cũng không ngoại lệ. Trong thời gian hầu tra, ngày đầu tiên bị chuyển từ bót Catinat sang Maison Centrale de Saigon, khi cánh cửa ngục vừa khép sau lưng, Sơn Vương đã bị cặp rằn Ba Nhỏ - một côn đồ chợ Cầu Muối - túm cổ đánh dằn mặt. Ba Nhỏ không ngờ Sơn Vương xoay người nhanh như chớp khiến gã mất đà té dúi vào chân tường. Biết gặp cao thủ võ nghệ, cặp rằn Ba Nhỏ nhịn nhục chờ thời cơ trả đũa. Tại nhà giam Maison Centrale de Saigon, cặp rằn Ba Nhỏ được chủ ngục hậu thuẫn đã hà hiếp nhiều bạn tù cô thế. Không ai dám đối mặt với y.
Từ một người tràn trề tinh thần dân tộc, chế độ nhà tù hà khắc của thực dân Pháp đã dần biến Sơn Vương thành một tín đồ cực đoạn của chủ nghĩa cá nhân. Dù vẫn còn nguyên tính cách nghĩa khí nhưng ông bị rơi vào cái vòng lẫn quẩn ân oán giang hồ. Thế là án chồng án.
Một hôm, René Gillard gởi vào cho Sơn Vương 2 giỏ xách thực phẩm. Ba Nhỏ đại diện buồng giam lên phòng cai ngục lấy đồ thăm nuôi. Gã lấy 2 giỏ thực phẩm của René Gillard gửi cho Sơn Vương mà không nói tiếng nào. Sơn Vương vô tình không biết Ba Nhỏ đã cướp trắng "tài sản" của mình.
Lần thăm nuôi sau, René Gillard hỏi Sơn Vương có vừa miệng những món ăn do chính vợ René Gillard làm để gửi vào không. Đến lúc đó, Sơn Vương mới biết Ba Nhỏ đã ăn chặn thực phẩm thăm nuôi của mình. Dù không được nếm 1 chút món ăn nào, Sơn Vương cũng gật đầu khen ngon để làm vui lòng bạn.
Trở về phòng giam, Sơn Vương điểm mặt Ba Nhỏ: "Anh bạn phải trả đủ tôi số thực phẩm đã ăn cắp". Ba Nhỏ không nói không rằn, rút trong người ra con dao tự chế từ thìa ăn đâm thẳng vào cổ Sơn Vương. Nhanh như chớp, Sơn Vương đoạt lấy con dao rồi khóa cứng tay Ba Nhỏ. Gã lưu manh chợ Cầu Muối xám mặt vì nghĩ mình đã tận mạng. Chỉ cần Sơn Vương thọc con dao ngược vào cổ là Ba Nhỏ tàn đời. Gã nhắm mắt chờ thần chết gọi hồn. Cả phòng giam nín thở chờ đợi nhát dao phục thù của Sơn Vương.
Thật bất ngờ, Sơn Vương nhét dao vào lưng quần rồi nói: "Lần sau moa (tao) không tha cho toa (mày) đâu". Mấy giây sau, gã lưu manh chợ Cầu Muối mới thu lại hồn vía rồi… quỳ sụp xuống chân Sơn Vương xin nhận làm đồ đệ học võ. Sơn Vương khoát tay: "Từ nay, phòng giam này không còn cặp rằn nữa".
Không còn nạn cặp rằn ăn hiếp tù nhân, cả phòng giam vỗ tay tung hô Sơn Vương là "đề lao hiệp khách".
Một năm sau, Sơn Vương bị chuyển ra đảo tù Côn Sơn (Nay là Côn Đảo). Ông ra đảo đúng thời điểm Pháp đang xây dựng con đường nối liền các sở cũ đến sở Ông Câu để kiểm soát tù vượt ngục (Thời gian xây dựng từ 1930 đến 1945). Khi mở đường, bọn cai ngục bắt tù nhân đập đá xây 1 chiếc cầu bắc ngang đèo Ông Đụng. Việc xây dựng cầu này đã khiến hơn 356 tù nhân chết vì lao lực và tai nạn. Sơn Vương đã phỏng theo truyện tàu "Tiết Nhơn Quí chinh đông" đặt tên cây cầu này là Ma Thiên Lãnh. Cái tên này được sử dụng cho đến ngày nay.
Cuối năm 1933, số tù nhân chính trị ra đảo ngày càng đông, nhân sự cai ngục lại mỏng, thiếu người làm thư ký. Sơn Vương viết chữ đẹp như rồng bay phượng múa nên được chúa đảo trưng dụng "miễn ngạch trật" tức làm việc không lương tại sở Ngân khố của đảo tù. Dù vẫn ở tù nhưng Sơn Vương trở thành tù hành chính. Ban ngày đến sở Ngân khố làm thư ký, ban đêm trở về buồng giam.
Năm 1936, phong trào Mặt trận Bình dân của Léon Blum lên nắm chính quyền Pháp đã tiến hành hàng loạt chính sách cải cách dân chủ ở Pháp lẫn các vùng đất thuộc địa, trong đó có Đông Dương. Để ăn mừng chiến thắng, Léon Blum quyết định ân xá giải phóng đồng loạt hệ thống nhà tù. Tù nhân chính trị được tha bổng, tù nhân xã hội ở các đào tù được đưa vào đất liền. Sơn Vương nằm trong số tù nhân được đưa vào đất liền. Ông được chuyển đến nhà ngục Hà Tiên tiếp tục thụ án khổ sai.
Tháng 2-1937, tại nhà ngục Hà Tiên, Sơn Vương đã đứng ra hô hào bạn tù tổ chức 1 cuộc bạo loạn đào thoát. Cuộc bạo loạn nhanh chóng bị đàn áp bởi lực lượng công an Pháp do đích thân chủ tỉnh Hà Tiên chỉ huy. Ông bị xếp vào loại cầm đầu nên bị đày ra nhà tù mới trên đảo Phú Quốc.
Từ nhà tù Phú Quốc, ông viết nhiều bản tường trình gởi về đất liền bằng đường dây bí mật để tố cáo nguyên do xảy ra cuộc bạo loạn. Bản tường trình này cho biết, một số tù nhân thường phạm không lãnh án khổ sai nhưng bị bọn cai ngục đưa ra hòn đảo nhỏ Kiên Lương đập đá xây dựng khu nghỉ dưỡng. Đó là hành vi phạm luật thời đó. Vì việc lao động nặng chỉ dành cho phạm nhân lãnh án "khổ sai". Trong thời gian "khổ sai" ở Kiên Lương, những người tù này thường xuyên bị tên chủ ngục người Pháp hành hạ, đánh đập rất tàn ác.
Một hôm, hắn bị mất một số tiền. Nghi ngờ một người bồi (nhân viên tạp dịch) Việt Nam lấy cắp, hắn đã dùng nhục hình tra khảo tàn nhẫn đến chết. Những người tù chứng kiến khi trở về phòng giam kể lại rằng, trong khi tra tấn nạn nhân, tên chủ ngục Pháp liên tục thét: "Đánh chết bọn Annammit ăn cắp!". Lòng tự ái dân tộc và nỗi bức xúc kiềm nén có dịp phún trào thành cuộc biểu tình trong nhà tù.
Những bản tường trình của Sơn Vương từ nhà tù Phú Quốc gởi về đất liền đã đến tay các tờ báo ở Sài Gòn. Thống đốc Nam kỳ lúc đó là một thành viên của Mặt trận Bình dân Pháp đã cử người về nhà tù Hà Tiên và Phú Quốc điều tra. Sau đó tên chủ ngục bị trục xuất về Pháp. Nhờ đó, vào tháng 2-1938, Sơn Vương cùng một số tù nhân khác được tha bổng.
