Родился 22 февраля (6 марта н.с.) в деревне Безруково Тобольской губернии в семье чиновника. Детские годы прошли в городе. В 1827 поступил в Тобольскую гимназию, которую заканчивает в 1831. 
Ершов начинает собирать сибирские сказки, песни, легенды; вокруг него объединяются энтузиасты, стремящиеся создать специальный этнографический журнал для публикации собранного материала.
В 1831 Ершов поступает на философско-юридическое отделение Петербургского университета. В студенческие годы пишет и печатает свои стихи. 
Под впечатлением сказок Пушкина начинает работу над сказкой в стихах "Конек-Горбунок", которую в 1834 публикует в "Библиотеке для чтения". Пушкин высоко оценил эту работу.
После окончания университета Ершов возвращается в Тобольск, так как после смерти отца семья нуждалась в его поддержке. В 1836 он работает учителем, затем инспектором, с 1857 - директором Тобольской гимназии.
Ершов не оставляет литературную деятельность, пишет рассказы, стихи и пьесу, но все эти произведения не имели успеха. Умер Ершов 18 августа    (30 н.с.) 1869 в Тобольске.