Neanche ventenne esordisce in serie A con il Genoa, in cui giocava nella Primavera.
Nel 1992-1993 diventa praticamente titolare facendosi notare dalle grandi squadre, tra cui il Milan di Fabio Capello, che decide di ingaggiarlo per farlo affermare anche in rossonero praticamente da subito come titolare nel ruolo di terzino destro.
In tre anni al Milan vince praticamente tutto quello che c'è da vincere: 2 scudetti, una Champions League, una Supercoppa Italiana e una Supercoppa Europea.
Nel 1996 segue il suo "maestro" Fabio Capello al Real Madrid e diventa il primo italiano a vestire la maglia delle Merengues: in tre anni a Madrid vince uno scudetto e una Champions League.
Torna poi in Italia, sempre a Milano, ma sponda nerazzurra. Cominciano i problemi di gestione per gli allenatori con Panucci.
Marcello Lippi, durante un incontro, chiede a Panucci seduto in panchina di prepararsi a scendere in campo, ma lui si rifiuta. I rapporti tra i due si irrigidiscono e a fine anno Panucci viene mandato in prestito al Chelsea e poi al Monaco, in Francia.
A Londra vede molto poco il campo, un po' di più a Montecarlo.
È di nuovo Fabio Capello a volerlo al suo servizio e lo porta alla Roma appena vincitrice dello scudetto.
Con i giallorossi Panucci resta ben 8 stagioni ricoprendo all'occorrenza sia il ruolo di terzino che quello di centrale difensivo.
Anche con Capello ha diversi screzi, sempre dovuti alla mancanza di professionalità quando viene chiamato in causa partendo dalla panchina.
Anche con Spalletti i rapporti non sono dei più rosei, tant'è che nella stagione 2008-2009 viene dapprima escluso dalla lista Uefa e poi messo fuori rosa, fino alle pubbliche scuse del giocatore verso il tecnico e i tifosi.
In totale con la Roma conta 229 presenze in serie A e 20 reti realizzate