Nhà tù Phú Quốc có cả quá trình hình thành khá dài. Vốn là một trại giam do Pháp xây dựng có tên là Căng Cây Dừa, dùng để giam giữ những người Việt yêu nước, nhưng khi Mỹ gia tăng sự can thiệp vào chiến sự ở Việt Nam, chính quyền Sài Gòn cho xây dựng Nhà lao Cây Dừa, hay còn gọi là Trại giam tù binh chiến tranh Phú Quốc, Trại giam tù binh cộng sản Phú Quốc.
Ngoài ra, chính phủ Việt Nam Cộng hòa còn cho xây dựng thêm một trại giam rộng hơn 400 héc-ta nằm tại thung lũng An Thới, cách địa điểm Căng Cây Dừa cũ khoảng 2km. Trại giam này thường được gọi là Trại giam tù binh Phú Quốc.
Từ đó, Nhà tù Phú Quốc trở thành một trung tâm giam giữ tù binh của Việt Nam Cộng Hòa, với hơn 32.000 tù binh, được cho là đã áp dụng những nhục hình tàn bạo, man rợ.
Chuồng cọp - nhà tù Phú Quốc