Nel mese di giugno del 1839 l'isola divenne a tutti gli effetti un luogo per incarcerare persone di cultura aborigena. Sotto il controllo della Corona tutta la popolazione presente susull'isola Rottnest Island fu espropriata delle proprie terre e allontanata. L'accesso all'isola era estremamente limitato. Per più di un secolo l'isola servì solo come prigione per più di 3700 aborigeni provenienti da tutto il Westerntutta l'Australia Occidentale.<ref name=Rottnest/> Molti aborigeni morirono per malattia, altri vennero impiccati. Un cimitero aborigeno vicino a Thomson Bay ricorda questi prigionieri. Durante questo periodo gli aborigeni costruirono diverse strutture, ad esempio i fari.<ref>{{cita web|lingua=en|url=http://www.lighthouses.org.au/lights/wa/Bathurst/Bathurst.htm|titolo=The Bathurst Lighthouse on Rottnest Island|accesso=17 maggio 2018}}</ref><ref>{{cita web|lingua=en|url=http://www.lighthouses.org.au/lights/wa/Rottnest%20Main/Rottnest%20Main.htm|titolo=The Wadjemup Lighthouse on Rottnest Island|accesso=17 maggio 2018|urlarchivio=https://web.archive.org/web/20180507015247/http://www.lighthouses.org.au/lights/WA/Rottnest%20Main/Rottnest%20Main.htm|dataarchivio=7 maggio 2018|urlmorto=sì}}</ref> La chiusura della prigione avvenne nel 1902, anche se alcuni prigionieri vennero assunti per la costruzione delle strade fino al 1931. La chiusura della prigione attirò l'attenzione del governatore che vide nell'isola un potenziale turistico.
===Utilizzo militare nella Prima e Seconda Guerra Mondiale===
