La città fu abitata in Età preistorica, da pastori che lasciarono tracce del loro passaggio nella Grotta situata ai piedi della collina, al di sotto del Convento di S.Antonio, dove sono stati rinvenuti resti umani ed animali, oltre a oggetti dell'età della pietra e del bronzo: spilloni, rasoi, braccialetti.

Le prime abitazioni (capanne) sorsero invece in posizione più salubre, nella zona dove oggi è il Borgo S.Pietro, verso il IV sec. a.C. ad opera dei Lucani prima e dei Romani poi. Il territorio in età romana fu legato alla famiglia degli Insteii, cui apparteneva Insteia Polla, che fece costruire per il marito C.Ultianus Rufus un monumento funerario a tamburo. L'insediamento romano era posto lungo la via consolare da Capua a Reggio, come testimonia l'iscrizione, nota come "Elogium Pollae".