Durante sus primeras décadas en la música formó Gladys Knight & The Pips junto a su hermano Merald Knight y dos de sus primos. Hicieron su primer top10 en 1961 con el tema "Every Beat of My Heart", el cual contenía una gran influencia del doo wop. Firmaron por "Fury" y por "Maxx" y lanzaron los singles "Letter Full of Tears" y "Giving Up", pero hasta que no ficharon por Motown en 1966 no les llegó su gran éxito. Influenciados por su tradición gospel y artistas soul cosecharon éxitos como "I Heard It Through the Grapevine", "If I were Your Woman", "It Should Have Been Me", "The End of Our Road" o "Friendship Train". En 1973, Gladys Knight lanzó su mayor éxito en Motown, "Neither One of Us", y poco después abandonaron la discográfica para firmar con Buddah. En este nuevo sello se consolidaron lanzando tres de sus más famosos hits "Midnight Train to Georgia", "I've Got to Use My Imagination," y "Best Thing That Ever Happened to Me". Después de esta época Gladys se fue separando cada vez más del grupo y moviéndose hacia el easy listening y el quiet storm sin perder su esencia gospel, línea en la que hoy aún se mantiene. En 2005 editó "One voice", un disco de gospel en el que colabora The Saints Unified Voices y con el cual consiguió posicionarse en lo más alto de las listas del género. Un año después, en octubre de 2006, vuelve con un álbum en el que rinde honores al jazz más clásico con temas de Duke Ellington y Gershwin entre otros, titulado "Before me".