Es hijo de Mary Frances, empleada de un centro artístico, y de Harry Galifianakis, un comerciante griego que llegó a Estados Unidos junto a su familia a la edad de tres años. Galifianikis asistió a la Universidad de Carolina del Norte en Chapel Hill, pero finalmente no se graduó. Galifianakis comenzó su carrera en televisión en 1996, cuando interpretaba el papel recurrente de Billy en la sitcom de breve duración Boston Common. En 2001, Galifianakis co-protagonizó la película Out Cold. Él ha tenido pequeños papeles en Corky Romano, Below, Bubble Boy, Heartbreakers, y Into the Wild. En 2007 apareció como él mismo en Super High Me. Participó en varias películas liberadas en 2008: ¿Qué pasa en Las Vegas, Little Fish Strange Pond y el documental Largo. Galifianakis participó en el episodio 15 de la temporada 5 de Comedy Central Presents, por primera vez al aire el 17 de septiembre 2001. En 2002, fue el anfitrión de su propio talk show llamado Late World with Zach. Su siguiente papel en televisión fue un médico forense llamado Davis en el drama de Fox "Tru Calling", que duró desde 2003 a 2005. También ha aparecido muchas veces en Jimmy KimmelLive y ha hecho tres apariciones en Reno 911! como "Frisbee". Galifianakis participó como Alan Finger en el show Dog Bites Man, un programa de noticias falsas en que las personas eran capturadas durante momentos espontáneos, ya que actuaban bajo la impresión de que estaban siendo entrevistados por un equipo de periodistas reales. Además, apareció en un episodio del show The Sarah Silverman Program, como Fred, el vagabundo. También tuvo un papel invitado recurrente como médico en el espectáculo de animación Adult Swim, Tom Goes to the Mayor y apareció en varios episodios de Tim and Eric Awesome Show, Great Job! Como Tairy Greene. El 22 de febrero de 2008, hizo una aparición en el Jackassworld.com: 24 Hour Takeover. Se entrevistó con varios miembros del elenco de Jackass. Galifianakis es actualmente miembro regular con un papa secundario del reparto en la serie de HBO Bored to Death. Fue el anfitrión de Saturday Night Live el 6 de marzo de 2010, durante la 35a temporada de la serie, en donde se afeitó la barba en medio del programa, y luego cerró el show con una barba falsa.