Esordisce in Serie C nella stagione 1976/1977 nelle file del Parma poco più che diciottenne. A Parma disputa ottimamente la stagione 1978/1979, coronata da una promozione dopo lo spareggio con la Triestina vinto per 3-1, nel quale realizza una doppietta.
Fu così scoperto da Niels Liedholm che, precedendo di poco l'Inter, nell'estate del 1979 lo portò alla Roma. Fece il suo esordio in serie A il 16 settembre 1979 in Roma-Milan 0-0. A Roma Ancelotti mise presto in mostra le sue doti di vigoroso centrocampista, fino a divenire, nel 1985, capitano della squadra, con la quale ha vinto uno scudetto (1982/1983) e 4 Coppe Italia (1979/1980, 1980/1981, 1983/1984, 1985/1986) in otto anni.
Nel 1987 passa al Milan, con cui vince praticamente tutto: due scudetti (1987/1988 e 1991/1992), due Coppe dei Campioni (1988/1989 e 1989/1990) e due Coppe Intercontinentali (1989 e 1990), due Supercoppe Europee (1989 e 1990) e una Supercoppa di Lega (1988).
Chiuse la carriera nel 1992, a solo 33 anni, con il suo terzo scudetto personale, il secondo a Milano. Nell'ultima partita a San Siro realizzò addirittura una doppietta nella gara contro il Verona vinta per 4-0 dai rossoneri.
È stato forse il centrocampista italiano più completo del calcio contemporaneo dopo Marco Tardelli: fisicamente potente e molto forte in fase d'interdizione del gioco, aveva altresì grandi doti tecniche e di manovra. Purtroppo ripetuti infortuni alle ginocchia (1981 contro la Fiorentina a Roma e 1983 contro la Juventus a Torino) gli impedirono di partecipare alla spedizione mondiale azzura del 1982. | 
