ตึกแดง เป็นอาคารชั้นเดียวก่ออิฐถือปูน กว้าง 7 เมตร ยาว 32 เมตร ทาสีแดงชาด ภายในแบ่งเป็น 5 ห้อง มีประตูเปิดถึงกันหมด มีระเบียงสองด้านตามแนวยาวของตัวตึก สร้างขึ้นในบริเวณที่ตั้งป้อมปืนเก่าแก่และได้รับการบูรณะในสมัยรัชกาลที่ 3 เพื่อรับศึกญวน ฝรั่งเศสได้รื้อตึกจากตัวป้อมมาสร้างตึกแดงเพื่อใช้เป็นที่พักนายทหารและกองรักษาการณ์ปากน้ำแหลมสิงห์ ตึกแดงได้รับการบูรณะเมื่อปี พ.ศ. 2527 และใช้เป็นอาคารห้องสมุดและศูนย์การศึกษานอกโรงเรียนของ อ.แหลมสิงห์ ต่อมาเลิกใช้และเปิดให้นักท่องเที่ยวเข้าชม