Cet écrivain et biographe né à Mézières (1853-1930) est l’un des plus proches amis de Rimbaud depuis qu’ils ont fréquenté la même école à Charleville (→ Charlestown). Adolescents inséparables, ils parlent poésie, et le jeune Ernest aide Arthur à recopier ses premiers poèmes destinés au monde littéraire. Leurs rencontres résistent au temps, jusqu’à ce que Delahaye soit nommé professeur à Rethel, puis à Orléans et au Quesnoy. Rimbaud présente Verlaine* à Delahaye, d’où naît une amitié littéraire qui vaut à ce dernier une dédicace du « Sonnet boiteux », septième poème du recueil Jadis et naguère. Boiteux, comme les vers de ce sonnet. Boiteux comme l’état d’âme de Verlaine à un moment où, en 1872, il est brouillé avec Rimbaud. Ernest Delahaye est l’un des rares destinataires du recueil Une saison en enfer*, que Rimbaud lui adresse sitôt sorti des presses, en octobre 1873, affirmant l’estime qu’il lui porte. C’est encore Delahaye qui met Verlaine, au sortir de prison, en contact avec Rimbaud, présent à Stuttgart. Ernest reste en relation épistolaire avec Arthur et Paul, et leur consacrera plusieurs ouvrages : biographies, souvenirs, et portrait dessiné d’Arthur qu’Isabelle Rimbaud qualifie de « petite horreur ». Quant au contenu de ses livres, Delahaye tient à justifier ses choix singuliers qui ne manquent pas de surprendre nombre d’admirateurs de Rimbaud :
L’œuvre de Verlaine, presque en entier, nous donne sa vie sentimentale ; les allusions à ses malheurs, ses fautes, ses amours*, ses désespoirs, ses colères, ses regrets, ses désirs, ses scrupules, ses repentirs, ses élans religieux […] Le cas de Rimbaud est différent. D’abord une partie de ses poésies, presque impersonnelles, se compose de descriptions, de tableaux, d’objectivisme. Par exemple, c’est bien lui qui vit dans Une saison en enfer et dans une bonne moitié des Illuminations*, mais il s’agit de « combats spirituels », d’agitations psychiques plutôt que d’événements. Ceux-ci, dès la fin de 1873, concernent un homme sorti de la littérature, et ce à quoi devait tendre l’historien était moins de montrer la vie extérieure de Rimbaud que celle de son esprit.