Palmer nació y se crio en Adelaida, Australia del Sur. Es la única hija de Kevin Palmer, un inversionista, y Paula Sanders, una ex enfermera. Tiene una madrastra, Kaaren Palmer, así como dos medias hermanas y dos hermanastros, que vivían con su padre. Sus padres se divorciaron cuando tenía tres años. Palmer declaró a la revista Interview, que "vino de principios más humildes", que vivíó con su madre en una vivienda pública y que se crio con su padre en Adelaide Hills en una granja. Palmer tuvo una "educación dura" debido a su madre con trastorno bipolar, según se indica en la revista Harper's Bazaar. Palmer era estudiante en el Mercedes College, una escuela católica. Ganó una audición de casting local, "Búsqueda de una estrella de cine", en 2003. Su primer trabajo como actriz fue vestirse como Strawberry Shortcake y Ayudante de Santa los fines de semana para las promociones en centros comerciales cerca de Adelaida. Fue a clases de actuación durante un par de años e hizo unos pocos anuncios de televisión. Trabajó como asistente de comida rápida en Hungry Jack's en Rundle Mall en 2005 y vendiendo camisetas en una tienda de ropa, Cotton On.