Za lepim i naočitim profesorom iz Sente su, po njegovom dolasku u Pirot, uzdisale mnoge dame. Dve godine službovanja u pirotskoj gimnaziji, gde je od 1881. do 1883. godine predavao srpski jezik, srpsku istoriju i geografiju, bile su dovoljne da kao dvadesetšestogodišnjak napiše svoju prvu pripovetku (“Rastko”), uplovi u političke vode i doživi ljubav koja će ga koštati večite samoće.
Mladi “pisac sa beležnicom” zapao je za oko mnogim udavačama, bogatim miraždžikama iz trgovačkih porodica, južnjačkim lepoticama koje su za njim uzdisale, ali je Sremac svoje simpatije ipak poklonio mladoj šesnaestogodišnjoj Jeleni Pančić. Jelena je bila kćer pirotskog sveštenika Pantelije Pančića. I pred njom u redu su stajali mnogi prosci koji su njenu ruku već zatražili od oca Pantelije, a glavni među njima bio je ugledni ekonom pirotske bolnice i političar Josif Kostić.
