Васиљевски је сањао о томе да постане агроном, али је почетак Првог светског рата променио његове планове. Ученик богословије се с неколико другова из разреда уписао у војну школу. У мају 1915. године у чину заставника отишао је на фронт. Већ годину дана касније био је именован за командира чете која је била проглашена за једну од најбољих у пуку. На овој дужности је учествовао у познатом Брусиловском продору. После револуције 1917. године био је позван у редове Црвене армије. Преко 10 година је успешно руководио пуковима Тверске стрељачке дивизије. Изузетне организаторске способности Васиљевског су примећене и он је ангажован за рад у штабу.
Велики отаџбински рат га је затекао на служби у Генералштабу, на дужности заменика начелника оперативне управе. Поседовао је дубоко познавање природе боја, умеће стратешког мишљења, анализе и уопштавања ситуације, предвиђања тока и развоја ратних дејстава. Све ове стручне особине Александра Васиљевског ценило је највише руководство земље. Он је постао један од Стаљинових помоћника у годинама рата. Поверавано му је решавање најкомпликованијих задатака.
Васиљевски је одиграо једну од кључних улога у организацији одбране Москве и контранапада који је затим наступио. Он је испланирао и припремио контранапад код Стаљинграда, каже војни историчар Алексеј Исајев.
У мају 1942. године Васиљевски је постао начелник Генералштаба. Треба рећи да је практично обављао обавезе двојице људи. У својству представника Врховне команде он се налазио на фронту и непосредно је учествовао у планирању и спровођењу конкретних операција. У Стаљинградској бици је учествовао од самог почетка управо као представник Врховне команде.
Саборци се сећају да је Васиљевски био прилично крут човек. Ову ригидност је испољио у току Курске битке. Стаљину се резултати ове круте линије нису сасвим свидели и Васиљевски је извесно време био у немилости. Послат је у јужни сектор совјетско-немачког фронта. У Генералштаб се вратио 1944. године после сјајно изведене Кримске офанзивне операције.
Васиљевски је 1945. године био на челу 3. белоруског фронта и успешно је извршио операцију у Источној Пруској. Јуриш на Кенигзберг којим је руководио, ушао је у све уџбенике војне тактике. Ова операција се сматра хрестоматијском, каже војни историчар Владимир Дајнес.
Кенигзберг је добро учвршћена тврђава која је имала неколико линија одбране. Операција је изведена од 6. до 9. априла, односно, за 4 дана. Овако моћна тврђава пала је под ударом совјетске војске. Замисао Васиљевског састојала се у томе да се истовремено нанесу удари по граду с три стране, како би се затим опколила непријатељска групација. Тако је командант тврђаве кад је заробљен, на питање како процењује ситуацију (а оцена противника је боља од било чије) рекао да се није могло претпоставити да ће тврђава као што је Кенигзберг пасти тако брзо.
За време рата с Јапаном Александар Васиљевски је 1945. године именован за главног команданта на Далеком истоку. Под његовим руководством је створен план Манџуријске операције. Свега 24 дана било је потребно совјетској и монголској војсци да потуче милионску квантунску армију Јапана. За ову операцију Васиљевски је удостојен друге медаље "Златна звезда".
