Fratello del calciatore [[Michael Rummenigge]], era soprannominato ''Kalle'',<ref>Storpiatura del suo nome dovuta al fratello maggiore Wolfgang, cfr. {{cita|Chiesa|p. 68}}.</ref>, ha legato il suo nome a quello del [[Fußball-Club Bayern München|Bayern Monaco]], nel quale ha militato dal 1974 al 1984. Con la maglia dei bavaresi ha collezionato in totale 422 presenze e 217 reti, vincendo due [[Bundesliga|campionati tedeschi]], due [[DFB-Pokal|Coppe nazionali]], due [[UEFA Champions League|Coppe dei Campioni]] e una [[Coppa Intercontinentale (calcio)|Coppa Intercontinentale]]. Nel 1984 viene acquistato dall'[[Football Club Internazionale Milano|Inter]], dove rimane fino al 1987, periodo in cui viene, per assonanza con il nome e doti sportive, soprannominato ''Il Kaiser'' ("imperatore" in tedesco). Ha chiuso la carriera nel 1989 tra le file del [[Servette Football Club Genève 1890|Servette]]. Capocannoniere della [[Bundesliga]] e della [[Coppa dei Campioni]], rispettivamente per tre<ref>{{cita news|url=http://ricerca.repubblica.it/repubblica/archivio/repubblica/1989/03/08/rummenigge-annuncia-giugno-mi-ritiro.html|titolo=Rummenigge annuncia: "A giugno mi ritiro"|pubblicazione=la Repubblica|data=8 marzo 1989|p=25}}</ref> e una volta, ha vinto il [[Pallone d'oro]] per due anni consecutivi (nel [[Pallone d'oro 1980|1980]] e nel [[Pallone d'oro 1981|1981]]).
Convocato in [[Nazionale di calcio della Germania Ovest|nazionale]] dal 1975 al 1986, ha partecipato a tre edizioni del [[Campionato mondiale di calcio|campionato mondiale]] ({{WC2|1978}}, {{WC2|1982}} e {{WC2|1986}}) e a due del [[Campionato europeo di calcio|campionato europeo]] ({{EC2|1980}} e {{EC2|1984}}), vincendo l'Europeo 1980. In nazionale ha giocato complessivamente 95 partite, segnando 45 reti.
