Grizzly Bear comenzó como un proyecto de grabaciones caseras que Edward Droste registró en una grabadora encerrado durante 15 meses en su apartamento de Brooklyn. El proyecto cobró nueva vida con la ayuda del multiinstrumentista Christopher Bear que añadió su voz e instrumentos a las austeras grabaciones de Droste. El resultado fue Horn of plenty (2004), un proyecto que en un principio estaba destinado únicamente a los amigos de Droste.Ese mismo año se incorporaron al grupo Chris Taylor (electrónica) y Daniel Rossen (guitarra y voz).