La storia di ''K-On!'' ruota intorno a 4 studentesse giapponesi: che sono Yui Hirashawa, Ritsu Tainaka, Mio Akiyama e Tsumugi Kotobuki. che si uniscono al club di musica leggera scolastica, per fare in modo che esso non sia smantellato per mancanza di membri. Tuttavia le quattro sono gli unici membri del club, e una di loro, Yui Hirasawa, non ha neppure nessuna esperienza nell'usare uno [[strumento musicale]] o nel leggere la musica. Le altre componenti del gruppo l'aiuteranno a comprare una chitarra a migliorare le proprie abilità, ed alla fine il gruppo riuscirà ad esibirsi al festival scolastico con grandi risultati.
Al secondo anno si unisce una 5a ragazza, che si trova in prima: Azusa Nakano. All'inizio è sorpresa dalle abitudini del club: bere tè, mangiare spuntini e fare poca pratica. Tuttavia capisce dopo un po' che il K-On è una specie di seconda famiglia.
