Анатолий Сердюков родился 8 января 1962 года в поселке Холмский Абинского района Краснодарского края. В 1984 году он окончил Ленинградский институт советской торговли, после чего продолжил образование на юридическом факультете Санкт-Петербургского государственного университета (СПбГУ). По специальности является экономистом и юристом, а также кандидатом экономических наук.
В 1984-1985 годах проходил срочную службу в Советской Армии. С 1985 года его карьера началась на предприятии «Ленмебельторг». После преобразования в 1991 году «Ленмебельторг» в ОАО «Санкт-Петербургская промышленная компания», он стал генеральным директором этой компании.
В 1993 году Анатолий Сердюков занял должность заместителя директора АО «Мебель-Маркет», а с 1993 по 1995 год работал директором по маркетингу этой же компании. С 1995 по 2000 год он возглавлял АО «Мебель-Маркет» в Санкт-Петербурге. В октябре 2000 года он был назначен заместителем руководителя Межрайонной инспекции № 1 Министерства РФ по налогам и сборам по работе с крупнейшими налогоплательщиками Санкт-Петербурга.
С мая 2001 года занимал пост заместителя руководителя Управления МНС РФ по Санкт-Петербургу, а с ноября 2001 года стал его руководителем. С середины февраля 2004 года продолжил свою карьеру на посту руководителя Управления МНС РФ по Москве.
2 марта 2004 года Анатолий Сердюков был назначен заместителем министра РФ по налогам и сборам и руководителем Управления МНС РФ по Москве. С 16 марта 2004 года временно исполнял обязанности министра РФ по налогам и сборам. С 27 июля 2004 года он стал руководителем Федеральной налоговой службы Министерства финансов РФ.
15 февраля 2007 года Указом Президента России был назначен министром обороны РФ.
