On surnomme les habitants de Vermes « les vermais », anciennement appelés « les breule-tchïns » (les brûleurs de chiens) qui vient du patois, dialecte encore parlé par quelques personnes âgées du village.
Certains vestiges laisseraient entrevoir la construction d’un monastère qui aurait existé en 666 déjà et aurait demeuré trois siècles, soit jusqu’en 962. Le monastère situé au lieu-dit « Sur les Clos » était propriété de l’Evêché.
Ce monastère aurait été ruiné par les fils du comte Luitfrid qui avaient envahi celui de Moutier ; malheureusement les seuls documents attestant l’existence du monastère de Verteme s’arrêtent à l’année 884 et aucun moine n’en a écrit l’histoire, ou alors les documents ont disparu.
Jusqu’en 1772, Vermes forma une seule paroisse avec Corban puis avec Rebeuvelier. Le village souffrit beaucoup lors de la guerre de Trente ans.
Plusieurs anciens noms de familles sont originaires de Vermes-Envelier : Bindy, Charmillot, Fleury, Freléchox, Monnerat, Mouttet, Rais et Schaller.