N é et élevé dans le curieux univers du magnifique hôtel de Lamballe à Passy, transformé dès 1846 en clinique psychiatrique par son père, le célèbre docteur Émile-Antoine Blanche, Jacques-Émile a eu une enfance dorée, plutôt solitaire, partagée entre Passy et Dieppe, où il passe ses vacances en famille.
Après la mort de son frère adoré, Joseph, en 1868, il devient l’« enfant tunique » qui s’amuse à rendre visite aux patients de son père et qui assiste tout petit aux soirées de sa mère, côtoyant l’élite artistique proche de ses parents : Gounod, Bizet, Halévy, Degas et Manet pour ne nommer que quelques-uns. En 1870, pour éviter les dangers des bombardements, il est envoyé avec sa nourrice pendant quelques mois à Londres, où finalement il habitera presque la moitié de sa vie active.
Il fit ses premiers pas dans le milieu mondain sous la bienveillante protection du comte Robert de Montesquiou. Encouraqé à ses débuts par Fantin-Latour et Manet, il fréquente l'atelier de Henri Gervex et celui de Fernand Humbert. Visiblement attiré par les impressionnistes comme Degas et Renoir, Blanche voue une admiration sans bornes pour Manet. Mais c’est le Britannique Whistler qui aura une influence déterminante sur le style de ses premiers portraits, tant dans le raffinement des vêtements que dans l’usage de teintes froides.
Il fréquente le salon de Geneviève Bizet et celui de la comtesse Potocka. Il devient l'ami des surréalistes et des dadaïstes parmi lesquels Jean Rigaud, René Crevel et Jean Cocteau.