Окончил начальную школу в 1921 году. С 1921 года работал учеником и помощником мастера в кожевенной мастерской, с 1923 года — чернорабочий треста «Хлебопродукт» в Костюковичах. С 1924 года по комсомольской мобилизации работал на шахте имени М.И. Калинина в Екатеринославе — чернорабочий, коногон. В 1926 году вернулся в Костюковичи, работал в местном леспромхозе — лесник, председатель рабкома, председатель налоговой комиссии. Член ВКП(б)/КПСС с 1929 года.
В Красной Армии с августа 1928 года, по путёвке комсомола. Окончил Объединённую Белорусскую военную школу имени ЦИК Белорусской ССР (Минск) в 1931 году. С 1931 года — командир пулемётного взвода 99-го стрелкового полка 33-й стрелковой дивизии Белорусского военного округа. С декабря 1932 года — курсант 3-й Оренбургской школы лётчиков и лётчиков-наблюдателей, но уже в январе 1933 года отчислен из неё за «политически неграмотные высказывания». С января 1933 года — командир взвода, С февраля 1934 года – помощник командира роты, с мая 1936 года — командир пулемётной роты Объединённой Белорусской военной школы имени ЦИК Белорусской ССР. В стенах этого военного учебного заведения Маргелов вёл занятия по огневой, физической подготовке и тактике. Зарекомендовал себя, как отличный стрелок из различных видов оружия.
С октября 1938 года – командир батальона 25-го стрелкового полка 8-й стрелковой дивизии имени Ф.Э. Дзержинского Белорусского военного округа, начальник разведки дивизии. Участник Освободительного похода РККА в Западную Белоруссию в сентябре 1939 года. При встрече с немецкими войсками в Польше выполнил дерзкое задание по захвату образцов новейшего немецкого вооружения, был тяжело ранен.
С декабря 1939 года — командир отдельного лыжного разведывательно-диверсионного батальона 596-го стрелкового полка 122-й стрелковой дивизии. Участник советско-финской войны 1939-1940 годов, где во главе батальона совершил несколько рейдов по тылам противника. Разведгруппа под его командованием захватила группы шведских офицеров, добровольцами направившихся на фронт в составе финской армии. на этой войне был вторично ранен.
С апреля 1940 года — помощник командира 596-го стрелкового полка по строевой части. С октября 1940 года — командир 15-го отдельного дисциплинарного батальона (Ленинградский военный округ).
На фронтах Великой Отечественной войны майор В.Ф. Маргелов с июля 1941 года. С июля 1941 года — командир 3-го стрелкового полка в 1-й Ленинградской дивизии народного ополчения (с сентября 1941 года — 1-я моторизованная дивизия). С ноября 1941 года — командир 1-го Особого лыжного полка морской пехоты Балтийского флота на Ленинградском фронте. При лыжном рейде в тыл врага на Ладожском озере 21 ноября 1941 года был тяжело ранен.
После излечения, с февраля 1942 года — командир 218-го стрелкового полка 80-й стрелковой дивизии 54-й армии Ленинградского и Волховского фронтов. Участник героической обороны Ленинграда, вновь проявил себя мастером рейдов в тыл противника. С июля 1942 года — командир 13-го гвардейского стрелкового полка 3-й гвардейской стрелковой дивизии. Окончив переформирование в Тамбовской области, в октябре 1942 года дивизия отбыла на Южный фронт, где вошла в состав 2-й гвардейской армии. В бой вступила в декабре 1942 года в ходе Котельниковской оборонительной операции, отражая попытку прорыва германской группы армий «Дон» Э. фон Манштейна на выручку окружённой в Сталинграде 6-й армии Ф. Паулюса. Полк В.Ф. Маргелова трое суток стоял насмерть, отбивая танковые атаки врага и не только выстоял, но и в ходе начавшегося советского контранступления успешно преследовал противника. За период оборонительных боёв с 20 по 23 декабря и за период наступательных боёв с 24 по 31 декабря гвардейский полк истребил до 900 солдат врага, подбил 36 танков и бронемашин, захватил 2 танка, 12 полевых и 2 зенитных орудий.
С января 1943 года — заместитель командира 3-й гвардейской стрелковой дивизии 2-й гвардейской армии Южного фронта, участвовал в Ростовской наступательной операции (январь-февраль 1943). С апреля 1943 года — заместитель командира этой дивизии, успешно действовал в Донбасской (август-сентябрь 1943) и Мелитопольской (сентябрь-ноябрь 1943) наступательных операциях на Южном и 4-м Украинском фронтах.
С декабря 1943 года — исполняющий должность, а в июне 1944 года утверждён в должности командира 49-й гвардейской стрелковой дивизии, которой командовал до конца войны. Командир 49-й гвардейской стрелковой дивизии 28-й армии 3-го Украинского фронта гвардии полковник В.Ф. Маргелов проявил выдающиеся качества военачальника, а также личную отвагу и героизм в ходе Березнеговато-Снигирёвской наступательной операции (март 1944 года). Части дивизии в ночь на 12 марта форсировали Днепр в районе станицы Казацкая и стремительно развивали наступление совместно с 2-м механизированным корпусом во фланг немецко-фашистской группировки в Херсоне. В ночь на 13 марта дивизия с ходу форсировала реку Ингулец, через несколько часов ворвалась в Херсон и 13 марта 1944 года совместно с другими частями армии освободила город от оккупантов.
Приказом Верховного Главнокомандующего И.В.Сталина 49-й гвардейской стрелковой дивизии присвоено наименование «Херсонская», ей в числе других воинских соединений, участвовавших в освобождении города Херсона, объявлена благодарность и в Москве дан салют 20-ю артиллерийскими залпами из 224-х орудий.
Указом Президиума Верховного Совета СССР от 19 марта 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство гвардии полковнику Маргелову Василию Филипповичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
В дальнейшем 49-я гвардейская дивизия В.Ф. Маргелова в составе войск 3-го и 2-го Украинских фронтов участвовала в Ясско-Кишиневской, Белградской, Будапештской, Венской и Пражской операциях, освобождая Румынию, Болгарию, Югославию, Чехословакию, Венгрию и Австрию. За новые подвиги в боях дивизия была награждена орденами Красного Знамени и Суворова 2-й степени, а ей командир отмечен двенадцатью благодарностями Верховного Главнокомандующего (13.03.1944, 28.03.1944, 10.04.1944, 4.11.1944, 24.12.1944, 13.02.1945, 25.03.1945, 3.04.1945, 5.04.1945, 13.04.1945, 13.04.1945, 8.05.1945).
24 июня 1945 года на Параде Победы командир 49-й Краснознамённой Херсонской ордена Суворова гвардейской стрелковой дивизии гвардии генерал-майор Маргелов командовал сводным батальоном 2-го Украинского фронта.
После войны продолжил службу в Советской Армии, командовал той же дивизией, в январе 1946 года убыл на учёбу. В 1948 году окончил Высшую военную академию имени К.Е. Ворошилова. С апреля 1948 года — командир 76-й гвардейской Черниговской воздушно-десантной дивизии (Псков). С апреля 1950 года — командир 37-го Свирского воздушно-десантного корпуса 1-й Краснознамённой армии (Приморский край).
С мая 1954 года — командующий Воздушно-десантными войсками. С марта 1959 по июль 1961 года был первым заместителем командующего Воздушно-десантными войсками (понижался в должности из-за крупного чрезвычайного происшествия в одной из частей ВДВ), затем с июля 1961 года — вновь командующий Воздушно-десантными войсками. Генерал В.Ф. Маргелов по праву единодушно признаётся родоначальником современных ВДВ. Им была разработана концепция этих войск (способность к дальней и стремительной переброске войск, высокая огневая оснащённость, самая современная десантируемая техника) и им же она была полностью реализована на практике. Имел непререкаемый авторитет в ВДВ. За генералом закрепилось неофициальное звание «десантник №1», а за ВДВ — единственное в своём роде неофициальное звание «Войска дяди Васи».
С января 1979 года — военный инспектор-советник Группы генеральных инспекторов Министерства обороны СССР. Жил в городе Москве. Скончался 4 марта 1990 года. Похоронен на Новодевичьем кладбище в Москве (участок 11).
Воинские звания:
старший лейтенант (1936),
капитан (1938),
майор (21.03.1940),
подполковник (28.06.1942),
полковник (15.04.1943),
генерал-майор (13.09.1944),
генерал-лейтенант (3.08.1953),
генерал-полковник (22.02.1963),
генерал армии (25.10.1967).
Награждён 4 орденами Ленина (19.03.1944; 03.11.1953; 26.12.1968; 26.12.1978), орденом Октябрьской Революции (04.05.1972), 2 орденами Красного Знамени (03.02.1943; 20.06.1949), орденом Суворова 2-й степени (28.04.1945), 2 орденами Отечественной войны 1-й степени (25.01.1944; 11.03.1985), орденами Красной Звезды (03.11.1944), «За службу Родине в Вооружённых Силах СССР» 2-й (14.12.1988) и 3-й (30.04.1975) степеней, медалями, в том числе «За оборону Ленинграда» (1943), «За оборону Сталинграда» (1943), «За взятие Будапешта» (1945), «За взятие Вены» (1945), «За укрепление боевого содружества» (31.05.1980), 12 Благодарностями Верховного Главнокомандующего (13.03.1944; 28.03.1944; 10.04.1944; 04.11.1944; 24.12.1944; 13.02.1945; 25.03.1945; 3.04.1945; 05.04.1945; 13.04.1945; 13.04.1945; 8.05.1945).
Награждён многочисленными иностранными наградами: орденом «Народная Республика Болгария» 2-й степени (20.09.1969) и 4 юбилейными медалями Болгарии (1974, 1978, 1982, 1985); звездой и знаком ордена «Венгерская Народная Республика» 3-й степени (04.04.1950) и медалью «Братство по оружию» золотой степени (Венгрия, 29.09.1985); офицерским крестом ордена «Возрождение Польши» (06.11.1973) и польскими медалями «За Одру, Нису и Балтику» (07.05.1985) и «Братство по оружию» (12.10.1988); румынским орденом Тудора Владимиреску 2-й (01.10.1974) и 3-й (24.10.1969) степеней и 2 юбилейными медалями Румынии (1969, 1974); чехословацким орденом Клемента Готвальда (1975), медалью «За укрепление дружбы по оружию» 1-й степени (ЧССР, 1970) и двумя юбилейными медалями ЧССР (1971, 1975); орденом Боевого Красного Знамени (Монголия, 7.06.1971) и семью юбилейными медалями МНР (1968, 1971, 1974, 1975, 1979, 1982); китайской медалью «Китайско-советская дружба» (23.02.1955); орденом «Звезда дружбы народов» в серебре (ГДР, 23.02.1978) и медалью «Артур Бекер» в золоте (ГДР, 23.05.1980);2 юбилейными медалями Кубы (1978, 1986); орденом «Легион заслуг» степени командора (США, 10.05.1945) и медалью «Бронзовая звезда» (США, 10.05.1945).
Лауреат Государственной премии СССР (1975).
Именем генерала Маргелова названы Рязанский военный институт воздушно десантных войск, кафедра ВДВ Общевойсковой академии Вооружённых сил Российской Федерации, школа №18 города Пскова, Ростовский Сергия Радонежского кадетский корпус и Нижегородская Кадетская школа-интернат, многие подростковые военно-патриотические клубы десантного профиля. На родине Героя, в городе Днепропетровске ему установлен памятник. Также памятники десантнику №1 установлены в городах Санкт-Петербург, Омск, Тула, Ульяновск, Иваново, Назрань, Рязань и в поселке Сельцы Рязанской области (учебный центр ВДВ), на Украине — Львов и Херсон, в столице Молдавии Кишинёве, в белорусских городах Витебске и Костюковичах. Его имя носят улицы в Пскове, Омске, Туле, Витебске, площадь в Москве, сквер в Санкт-Петербурге. В Москве, на доме в переулке Сивцев Вражек, где Маргелов прожил последние 20 лет своей жизни, и на доме 34 по Хорошёвскому шоссе установлены мемориальные доски. Аннотационные доски установлены и на улицах, носящих имя генерала Маргелова.
Приказом Министра обороны Российской Федерации от 6 мая 2005 года учреждена ведомственная медаль «Генерал армии Маргелов».
