Cresce calcisticamente nel Tolosa, squadra della sua città e si mette in luce a soli 17 anni nell'Auxerre, con la quale esordisce in Ligue 1.
Nell'Agosto 2004 viene scelto da Franco Baldini per far coppia con Chivu e sostituire il partente Samuel.
Il trasferimento, però, è più complicato del previsto e comporta degli strascichi per la società giallorossa: il club francese accusa il giocatore di aver firmato con la Roma quando era ancora sotto contratto con loro e chiede un risarcimento pecunario.
La vicenda si trascina per diverso tempo e viene esaminata anche dalla FIFA che inizialmente infligge a Mexes un mese e mezzo di squalifica.
L'anno seguente la FIFA fissa ad 8 milioni di euro l'ammontare dell'indennizzo che la Roma dovrà versare all'Auxerre e inoltre blocca due finestre di mercato alla società capitolina che non potrà acquistare giocatori né nell'estate del 2005 né nel gennaio 2006. Successivamente il TAS riduce di una finestra di mercato e di poco l'ammontare dell'indennizzo.
Dopo un primo periodo di difficile ambientamento, dovuto anche a tutto il clamore suscitato dal suo trasferimento, Mexes pian piano di ritaglia uno spazio sempre più importante nella difesa della Roma fino a diventare un perno fondamentale della squadra.
La sua testardaggine e il suo livore tipico testaccino lo fanno diventare ben presto un beniamino della tifoseria.
A metà stagione 2010-2011 la Roma non ha le capacità economiche per accontentare le pretese di rinnovo del contratto, e a fine anno si svincola a parametro zero.