Sa bibliothèque faisait toute la fierté de son propriétaire. Très tôt Esprit Calvet fit le voeu de l'offrir à la population d'Avignon et de sa région. Un souhait motivé par la difficulté, à l'époque, de consulter les ouvrages importants recelés pour la plupart dans des collections privées et dans des bibliothèques religieuses.