[[File:باب القلعة.JPG|thumb|left|Ingresso del castello]]
Il castello si trova su un' isolotto del porto, dove si presume che prima ci fosse un tempio [[fenicio]]. È collegato alla terraferma con un ponte a 9 arcate lungo 80 [[metro|m]] costruito successivamente dagli arabi. Il complesso presenta una forma triangolare con alcune stanze, estendendosi poi con un altro muro lungo il lato opposto al ponte. Cominciando dall'ingresso si hanno due torri, di cui una ad ovest, collegata ad una grande sala e ancora conservata, al contrario dell'altra a est, costruita in due fasi dai crociati e dagli ottomani, e più dietro una moschea in mattoni di probabile costruzione ottomana, con forma cubica sormontata da una cupola.<ref>{{cita web|url=http://hiddenarchitecture.net/archaeology-of-superpositions-as-seen-in-sidons-sea-castle/|titolo=Archaeology of Superpositions, as seen in Sidon’s Sea Castle}}</ref>