Окончив Ленинградский институт советской торговли в 1984 году Анатолий Сердюков пошел в армию. Сердюков служил в батальоне связи и получил звание младшего сержанта. В 1985 году, пройдя офицерские курсы, он уволился из Вооруженных сил уже лейтенантом. Это было единственным местом службы будущего министра обороны, за что он подвергался нападкам самих военных.
Не найдя своего призвания у силовиков, Сердюков устроился в один из ленинградских мебельных магазинов, в котором проходил практику будучи еще студентом. В 1985 году молодой Сердюков занял пост заместителя заведующего секцией магазина, в 1991 году он был уже директором «Санкт-Петербургской промышленной компанией», в которую был преобразован бывший Ленмебельторг. Правда, спустя 2 года Сердюков ушел из организации, оставшись при этом в мебельной промышленности. С 1993 по 2000 годы Сердюков занимал должности заместителя директора, директора по маркетингу и еще позднее генерального директора «Мебель-Маркет».
На государственную службу Сердюков попал в октябре 2000 года, сразу же заняв место заместителя руководителя межрайонного уровня №1 по Санкт-Петербургу в Инспекции Министерства по налогам и сборам(МНС). Под прицелом его структуры находились крупнейшие налогоплательщики культурной столицы.
А в мае следующего, 2001, года Сердюкова уже назначили заместителем руководителя Виктора Зубкова, занимавшего в то время должность руководителя Управления МНС России по Санкт-Петербургу. В это время Сердюков запомнился названной им «профилактикой лжээкспорта на ранней стадии», суть которой заключалась в проверке компании налоговиками еще до заключения сделки. Такая технология возмещения экспортного НДС действительно повысила налоговые сборы.
Спустя три года эффективной работы Сердюкова, в марте 2004 года он стал заместителем министра РФ по налогам и сборам. После отставки самого министра Геннадия Букаева 16 марта того же года, Сердюков исполняет обязанности министра, а в июле 2004 года занимает пост руководителя Федеральной налоговой службы России.
Изменения 2005 года в положении Министерства по налогам и сборам дали право Сердюкову, как руководителю службы, назначать руководителей межрегиональных, межрайонных, районных налоговых инспекций. Согласования с министром финансов требовалось только для претендентов на должность руководителей региональных налоговых управлений.
В феврале 2007 года Владимир Путин, занимающий тогда президентское кресло, назначил Сердюкова министром обороны РФ, сместив с этой должности Сергея Иванова. По мнению путина запланированная модернизация армии должна была проводиться экономически образованным человек. Но для самого Сердюкова такой поворот его карьеры был несколько удивлен своим новым местом работы.
Рапорт об отставке Сердюков подал в сентябре 2007 года, руководя министерством обороны всего около 7 месяцев. Свою отставку Сердюков мотивировал родственными связами с новым премьер-министром Зубковым, которому тот приходится зятем. Правда, отставку Путин не принял.
Осенью 2008 года Сердюков заявил о начале военной реформы. Общий смысл которой сводился к сокращению численности Вооруженных сил и приданию им нового имиджа.
6 ноября 2012 года президент Владимир Путин отправил Сердюкова, возглавлявшего министерство обороны РФ с 2007 года в отставку из-за разгоревшегося вокруг него коррупционного скандала. Заменил его Сергеем Шойгу, занимавшего пост губернатора Московской области.