Al college Ivey giocò a football a Georgia Tech nel 2020 e 2021, disputando 13 gare su 20 come titolare, facendo registrare 40 tackle e 1,5 sack. Nel 2022 optò per trasferirsi a Ole Miss.[1][2] Nella prima stagione con i Rebels giocò 13 gare, di cui 7 come titolare, con 37 placcaggi e 3,5 sack. Nel 2023 giocò 12 gare su 13 come titolare, con 46 tackle e 5,5 sack, venendo premiato come miglior difensore del Peach Bowl 2023.[3]