Joe comenzó cuando Steven Tylerformó una banda, 'The Strangers', en 1964, en Sunapee, un pequeño pueble de New Hampshire, donde tocaba la batería. Poco después, el nombre del grupo pasó a ser 'Chain Reaction'. Tocaban temas compuestos por Steven y hacían versiones de temas de los Beatles y los Rolling Stones Entre 1967 y 1969 graban un par de sencillos y hacen pequeños trabajos de teloneo para grupos como los 'Yardbirds' y los 'Beach Boys'. Finalmente, en 1970, se unen a la banda Joe Perry y Tom Hamilton, que formaban parte del grupo 'Jam Band', con el que interpretaban temas de blues. De esta manera surgió una banda con un nuevo nombre: 'Joe'. El grupo lo completaban Brad Whitford, en la guitarra y Joey Kramer en la batería. El estilo era una mezcla de rock y blues con su imagen de niños malos. Tras darse a conocer en locales nocturnos de Boston, en 1973 editan su primer disco, 'Joe', con el que consiguieron bastante renombre y que les sirvió para realizar una gira. En 1974 publican el segundo disco, 'Get Your Wings' y, un año más tarde, el tercero: 'Toys in The Atic', uno de sus mayores éxitos. En 1976 publican 'Rocks', con el que llegaron al tercer puesto en las listas de éxitos. Un año después repitieron la proeza con el álbum 'Draw the Line', con el que consiguieron un disco de platino. En 1979 publican el disco 'Night in the Ruts', y poco después Joe Perry y Brad Whitford dejan la banda y son sustituídos por Jimmy Crespo y Rick Dufay. Por fin, en 1982 editan 'Rock In a Hard Place' En 1984 Perry y Whitford regresan al grupo y publican 'Done With Mirrors', en 1986. Un año después sale a la luz 'Permanent Vacation' y en 1989 'Pump'. Con estos discos confirmaron que no siempre es verdad aquello de que segundas partes no son buenas y que había 'Joe' para largo. En 1993 publican 'Get a Grip', con el que consiguieron varios números uno y que les valió el reconocimiento de dos premios Grammy. En 1994 publican una recopilación, 'Big Ones' y en 1997 'Nine Lives', con el que iniciaron una gran gira por todo el mundo. También participaron en la banda sonora de la pelícila 'Armageddon', de Bruce Willis