Entra nel secondo Governo D’Alema come sottosegretario alla Presidenza del Consiglio con delega alle Riforme Istituzionali e viene confermato nello stesso incarico nel successivo
governo Amato.
A nome del Governo segue in particolare il tema della legge elettorale, e sino all'approvazione definitiva, la legge costituzionale di riforma degli Statuti delle Regioni a Statuto speciale, l'introduzione del Diritto di voto per gli italiani all'estero e le modifiche al Titolo V della Costituzione.
Alle elezioni politiche del 2001 è candidato dell’Ulivo alla Camera dei Deputati nel Collegio maggioritario di Ferrara e capolista della Margherita nella quota proporzionale nelle Marche.
Eletto Deputato diviene componente della Giunta delle elezioni e della I Commissione permanente Affari costituzionali, della Presidenza del Consiglio e interni.
E' stato componente dell'Assemblea Parlamentare dell'Organizzazione per la Sicurezza e la Cooperazione in Europa (OSCE).
E' socio fondatore dell'Associazione interparlamentare per il commercio equo e solidale.
Tra i fondatori della Margherita, nel luglio 2001 entra a far parte del Comitato Costituente del partito, del quale diventa Coordinatore dell'Esecutivo Nazionale. Viene confermato in Direzione e in Assemblea Federali e nell’incarico di Coordinatore al Congresso Costituente di Parma del 2002 e al Congresso di Rimini del 2004.
E' membro del Direttivo del Partito Democratico Europeo.
Alle elezioni politiche del 2006 è capolista dell'Ulivo nella circoscrizione Lombardia II e candidato in Emilia-Romagna, per la quale opta. E' stato Presidente del nuovo gruppo parlamentare "L'Ulivo" alla Camera dei Deputati dal maggio 2006 all'ottobre 2007. Dopo aver ricoperto l'incarico di Vicesegretario del Partito Democratico, in seguito alle dimissioni di Walter
Veltroni, il 21 febbraio 2009 durante l'Assemblea Nazionale si
candida a Segretario Nazionale e viene eletto con 1.047 voti.
E' componente la Commissione parlamentare Unione Europea e membro della delegazione italiana presso il Consiglio d'Europa e l'Unione dell'Europa Occidentale.