Dopo aver giocato per lo [[IdrettsforeningStorms StormBallklubb|Storm]] a livello giovanile,<ref name=Brondby>{{cita web|url=http://brondby.com/nyhed/2014/06/29/norsk-midterforsvarer-til-broendby-if|editore=brondby.com|accesso=30 giugno 2014|titolo=Norsk forsvarer til Brøndby IF|lingua=da}}</ref> Semb Berge ha iniziato la carriera professionistica con la maglia dell'[[Odds Ballklubb|Odd Grenland]], all'epoca militante nella [[1. divisjon]]. Ha esordito il 4 ottobre 2008, giocando da titolare nella sconfitta per 1-0 in casa dell'[[Hønefoss Ballklubb|Hønefoss]].<ref>{{cita web|url=http://www.altomfotball.no/element.do?cmd=match&matchId=120420&tournamentId=2&seasonId=330|editore=altomfotball.no|accesso=12 gennaio 2011|titolo=Hønefoss 1 - 0 ODD Grenland|lingua=no}}</ref> La squadra in quella stagione ha conquistato la promozione e così Semb Berge ha potuto debuttare anche nell'[[Eliteserien]]: è subentrato ad [[Anders Rambekk]] nel 3-1 inflitto al [[Sportsklubben Brann|Brann]].<ref>{{cita web|url=http://www.altomfotball.no/element.do?cmd=match&matchId=136501&tournamentId=1&seasonId=331|editore=altomfotball.no|accesso=12 gennaio 2011|titolo=ODD Grenland 3 - 1 Brann|lingua=no}}</ref> L'8 agosto dello stesso anno, ha segnato la prima rete della sua carriera: è stato lui a fissare il punteggio sul 5-1 nei quarti di finale del [[Norgesmesterskapet 2009]], ancora contro il Brann.<ref>{{cita web|url=http://www.altomfotball.no/element.do?cmd=match&matchId=361483&tournamentId=110&seasonId=331|editore=altomfotball.no|accesso=12 gennaio 2011|titolo=ODD Grenland 5 - 1 Brann|lingua=no}}</ref> Il 25 luglio 2010 ha segnato la prima rete anche nella massima divisione: è stato l'autore del 2-0 finale ai danni dello [[Strømsgodset Idrettsforening|Strømsgodset]].<ref>{{cita web|url=http://www.altomfotball.no/element.do?cmd=match&matchId=378883&tournamentId=1&seasonId=332|editore=altomfotball.no|accesso=12 gennaio 2011|titolo=ODD Grenland 2 - 0 Strømsgodset|lingua=no}}</ref> Alla fine del mese di maggio 2013, il neo milionario Yngvar Borgersen – fresco vincitore della lotteria nazionale, con cui ha incassato la cifra di 102 milioni di [[corona norvegese|corone]], pari ad oltre 13 milioni di [[euro]] – ha investito 2 milioni e mezzo di corone nel cartellino di Semb Berge, per via del suo tifo per l'Odd.<ref name="lotto">{{cita web|url=http://www.vg.no/sport/fotball/norsk/artikkel.php?artid=10103712|editore=vg.no|accesso=31 maggio 2013|titolo=Lotto-millionær punger ut for Odd-spiller|lingua=no}}</ref> Questo ha aiutato la situazione economica del club, consentendo di rimandare il trasferimento del giocatore, che non è diventato più una necessità impellente per rimpinguare la casse societarie; l'accordo stipulato dall'Odd e da Bergersen consentiva a quest'ultimo di incassare il 25% dei proventi della futura cessione del difensore.<ref name="lotto" /> Il 1º febbraio 2014, ha rinnovato il contratto che lo legava all'Odd per altre due stagioni.<ref>{{cita web|url=http://www.odd.no/news/article/1rveys3ifv3ie1dffdqntcnjem/title/fredrik-semb-forlenger|editore=odd.no|accesso=1° febbraio 2014|titolo=Fredrik Semb forlenger|lingua=no}}</ref>
