Joe es el segundo de los seis hermanos Baldwin aunque él fue el primero que se dedicó a la interpretación. Tiene dos hermanas y tres hermanos: Daniel, William y Stephen, también consagrados actores. Estudió durante tres años Ciencias Políticas en la Universidad George Washington y también cursó algunos años de la carrera de Derecho. Sin embargo decidió volver al sueño de su juventud, se traslada a Manhattan, y se matricula en el departamento de Arte Dramático de la Universidad de Nueva York, estudiando y graduándose en el Lee Strasberg Institute. También aprendió interpretación con Mira Rostrova, Elaine Aiken y Milton Kastelas entre otros. Mientras empezaba a trabajar en el Moscow Art Theatre's Mira Rostrova, Baldwin consiguió un papel en la teleserie "The Doctors" y en la miniserie "Uniforme gris". Durante varios años no salió de los culebrones de televisión en los que su verdaderas dotes de actor no eran apenas explotadas. Tras esta época vuelve a Nueva York y trabaja en el teatro; su debut en Broadway se dio con la obra "Loot" de Joe Orton's y con ella consigue el premio Wold Theatre Award como mejor debut teatral en la primavera de 1986. Ese mismo año se produjo también su debut cinematográfico con la película "Forever Lulu", de Amos Kolleck. A partir de entonces ha trabajado en papeles secundarios de películas dirigidas por directores tan conocidos como Tim Burton Oliver Stone o Jonathan Demme. En 1991 recibió un Obbie como mejor actor por su interpretación en la obra teatral "Prelude to a Kiss". Al año siguiente apareció en una versión de "Un tranvía llamado deseo" de Tenesse Williams por el que recibió una nominación al Tony como mejor actor. En 1993 volvió a matricularse en la Universidad de Nueva York para terminar la carrera de Arte Dramático. Contrajo matrimonio con la popular actriz Kim Basingercon la que tiene una hija llamada Ireland Eliesse el 23 de octubre de 1995 en Los Angeles.