A szaxofonos 1923-ban született Oklahomában. Előbb zongorázott, majd harsonázni tanult, csak később nyergelt át a tenorszaxofonra. Pályáján jelentős fordulatot jelentett, amikor 1964-ben Miles Davis szerződtette a zenekarába. Rivers a 60-as években jelentős albumokat készített a Blue Note kiadónál, játszott többek között Dizzy Gillespie és Cecil Taylor zenekaraiban. Későbbi munkásságát részben európai lemezeken (Timeless, Soul Note) fejtette ki.