Temos abaixo várias características da Administração Pública, apenas uma alternativa não é considerada característica da Administração Pública:

A alternativa correta é letra A) É composta por autarquias, fundações e empresas públicas;

Gabarito: Letra A.

De cara temos a alternativa errada. 

Ora, a Administração Pública é divida em Direta e Indireta. O que a letra A traz é uma parte da Administração Indireta (que é, em si, também uma parte).

A composição da Administração Pública inclui os Entes Federativos (União, Estados, DF e Municípios) bem como as entidades administrativas da Administração Indireta: Autarquias, Fundações, Empresas Públicas e Sociedades de Economia Mista.

Vamos comentar as demais alternativas.

Nota: acredito que apesar do enunciado não deixar isso claro, ele se refere à Administração Pública Direta.

b) Possui regime jurídico diferente das entidades privadas;

O regime predominante na Administração Pública é o de Direito Público, que é totalmente diferente daquele aplicado à chamada iniciativa privada. 

No entanto, mesmo as entidades privadas que compõem a Administração Pública não se submetem exatamente ao mesmo regime que as empresas privadas. O regime ali é privado, porém com algumas concessões ao regime público.

c) O regime é pautado na supremacia do interesse público;

O regime de Direito Público tem como um de seus pilares fundamentais exatamente a supremacia do interesse público, que permite que sejam tomadas determinadas medidas que seriam consideradas arbitrárias e injustas no regime privado, onde prevalece (a princípio) a igualdade entre as partes.

d) Possui personalidade jurídica de direito público;

Como anotado acima, no caso da Administração Direta, sim, temos apenas entidades de direito público.

e) A Administração Pública é composta por órgãos, diretamente, ligados aos entes da federação.

Novamente, essa afirmação aplica-se apenas à Administração Direta.

Espero ter ajudado.