Cap'n Jazz se formó en Chicago, USA en 1989 por los hermanos Tim y Mike Kinsella, a los que luego se les sumaron Sam Zurick y Victor Villareal. Luego de varios cambios de nombre y la adición del guitarrista Davey von Bohlen la banda comenzó a generar casi una especie de culto en las bares de Chicago y el Medio Oeste. La banda grabó numerosos singles para sellos independientes al comienzo de los 90s, y participó en varias compilaciones. En 1995 lanzan su único disco: Burritos, Inspiration Point, Fork Balloon Sports, Cards in the Spokes, Automatic Biographies, Kites, Kung Fu, Trophies, Banana Peels We've Slipped on and Egg Shells We've Tippy Toed Over - mejor conocido como Shmap'n Shmazz - en el pequeño sello Man with Gun.