Маленький Альоша разом із обраними дворянськими дітьми став товаришем недільних ігор зі спадкоємцем престолу, майбутнім імператором Олександром II, з яким на все життя зберіг теплі, майже дружні стосунки.
Наприкінці 1830-х — на початку 1840-х років написав французькою мовою дві фантастичні оповідання — «Сім'я вовкулака» та «Зустріч через триста років». В травні 1841 року Толстой вперше виступив у пресі, видавши окремою книгою під псевдонімом «Краснорігський» (від назви маєтку — Червоний Ріг) фантастичну повість «Упир».
З невідомої причини одразу після народження сина, Ганна Олексіївна пішла від чоловіка та переїхала до брата у маєток у Чернігівській губернії. Батька маленькому Альоші замінив його дядько, відомий літератор Олексій Олексійович Перовський, який писав під псевдонімом Антоній Погорельський.