1937年にアメリカのフロリダ州で生まれている。後にペンシルベニア州のフィラデルフィアに家族で引越し、ここで育つ。はじめの内はピアノ、クラリネット、アルトサックス等を習っていたが、最終的にはテナーサックスに落ち付く。大学では演劇を学んでいる。1962年に「Archie Shepp Bill Dixon Quartet」でアルバム・デビュー。ドン・チェリー、ジョン・チカイ、ドン・ムーア、J.C.モーゼスと前衛ジャズ集団「New York Contemporary Five」を結成し、短い活動期間ながら5枚もアルバムを残す。ジョン・コルトレーンやセシル・テイラーとも共演し親交を深め、フリージャズの闘士として世界中に名を馳せる。この頃リリースされたのが「ザ・マジック・オブ・ジュ・ジュ」(1967年録音)発売当時強烈なインパクトがあり話題を呼んだ作品で、ジャケットも演奏もどちらも衝撃的であった。70年代になるとヨーロッパに拠点を移し活動。次第に年相応の穏やかで枯れた味わいに魅力が感じられるようになってきている。