Il gruppo fu formato nel [[1974]] dal giornalista getdel ''[[The Scene]]'' [[David Thomas (musicista)|David Thomas]], che allora utilizzava il nome d'arte Crocus Behemoth<ref>{{cita web|url=http://www.clepunk.com/bands/pereubu/stories.htm#2|lingua=en|editore=Clepunk.com|titolo=Pere Ubu History|accesso=31 marzo 2010|urlmorto=sì|urlarchivio=https://web.archive.org/web/20090807061428/http://www.clepunk.com/bands/pereubu/stories.htm#2|dataarchivio=7 agosto 2009}}</ref>. Dopo molti cambi di formazione Thomas incontrò il chitarrista e compositore [[Peter Laughner]] dei [[Cinderella Backstreet]]<ref name=AMG>{{cita web |url=http://www.allmusic.com/artist/p144031|lingua=en|editore=Allmusic.com|titolo=Rocket from the Tombs|accesso=31 marzo 2010}}</ref>. Ai due musicisti si unirono presto O'Connor, il bassista Craig Bell e il batterista Johnny "Madman" Madansky<ref name=AMG/>. Grazie ad uno stile musicale influenzato da [[The Stooges|Stooges]] e [[Lou Reed]] il complesso si fece rapidamente un nome nella scena di Cleveland, aprendo anche per gruppi come gli [[Iron Butterfly]]<ref name=AMG/>. Tuttavia il gruppo ebbe breve vita, in parte perché i componenti non sopportavano lo stile di [[canto]] di Thomas, in parte perché quest'ultimo e Laughner tendevano sempre più verso l'[[art rock]]<ref name=AMG/>. Per risolvere il problema del cantante fu ingaggiato [[Stiv Bators]], ma la nuova formazione non durò molto<ref name=AMG/>. Laughner intanto conobbe [[Lester Bangs]] e si trasferì a [[New York]] per lavorare a ''[[Creem]]'' e per seguire la nascente scena [[punk rock|punk]] della Grande Mela<ref name=AMG/>. Impressionato dalla musica di [[Television]] e [[Patti Smith]] tornò a Cleveland, ma trovò la band ancora divisa sulla direzione musicale da intraprendere<ref name=AMG/>. Poche settimane dopo il complesso si sciolse<ref name=AMG/>
Quando i RFTT si sciolsero, O'Connor e Madansky si unirono al cantante [[Stiv Bators]] per formare i Frankenstein, che in seguito cambiarono nome in [[Dead Boys]], mentre Laughner e Thomas formarono i [[Pere Ubu]] con il bassista [[Tim Wright]] (ex tecnico audio dei Rocket From The Tombs)<ref name=AMG/>.