Одним из самых драматичных моментов начала Великой Отечественной стало Смоленское оборонительное сражение, благодаря которому был сорван фашистский план молниеносного прорыва к Москве. Именно под Смоленском части вермахта впервые получили приказ Гитлера о переходе к обороне. В этой битве советские войска покрыли себя неувядаемой славой. Особенно отличились 100-я, 127-я, 153-я, и 161-я стрелковые дивизии. За проявленный героизм и мужество 18 сентября 1941 года в соответствии с решением Ставки ВГК приказом наркома обороны И.В. Сталина № 308 они были преобразованы соответственно в 1-ю, 2-ю, 3-ю и 4-ю гвардейские дивизии.
21 мая 1942 года был подписан и на следующий день опубликован Указ Президиума Верховного Совета СССР «О введении для военнослужащих гвардейских частей и соединений Красной Армии и Военно-морского флота гвардейских военных званий», где, в частности, говорилось и об особом нагрудном знаке.
Образцы знаков разного производства заметно отличались друг от друга. Это обстоятельство и привело к возникновению большого количества вариантов знака.
Так, например, у «Гвардии», изготовляемой на Щербинском ШМЗ НКПС (именно ее изображение было помещено в газете и стало официальным), первоначально полотнище знамени было гладким — его просто залили эмалью. Затем решили сделать мелкую насечку, чтобы знамя на «Гвардии» искрилось. Насечка производилась в виде точек, пунктирных линий, чешуи, в столбик, в шахматном порядке и т.д.
Сами знаки были округлыми, овальными, удлиненными, плоскими, выпуклыми, рельефными и т.д. Отличались они друг от друга и цветом эмали: от оранжево-красной до темно-вишневой. В конце войны на нижнюю кромку знамени, а впоследствии и на верхнюю стали наносить насечку, символически обозначающую бахрому. Причем если на Щербинском заводе эта насечка имела вид вертикальных полос с небольшим наклоном вправо, то на заводе «Победа» она выполнялась горизонтальными волнистыми линиями.
Во время войны знак «Гвардия» вручался в торжественной обстановке, на общем построении, с выносом боевого знамени. Молодое поколение, распределявшееся в гвардейские части и соединения, удостаивалось этой чести после боевого крещения, а в авиации и на флоте только после нескольких боевых вылетов или похода. Это правило распространялось как па рядовой состав, так и на офицерский.
Всего за время войны (на 9 мая 1945 г.) звания гвардейских удостоены: 11 общевойсковых и 6 танковых армий; конно-механизированная группа; 40 стрелковых, 7 кавалерийских, 12 танковых, 9 механизированных и 14 авиационных корпусов; 117 стрелковых, 9 воздушно-десантных, 17 кавалерийских, б артиллерийских, 53 авиационные и 6 зенитных артиллерийских дивизий, 7 дивизий реактивной артиллерии; 13 стрелковых, 3 воздушно-десантные, 66 танковых, 28 механизированных, 3 самоходные артиллерии и 64 артиллерийских полка, 1 минометная, 11 истребительно-противотанковых, 40 реактивной артиллерии, 6 инженерных и 1 железнодорожная бригады; 1 УР; в ВМФ — 18 надводных кораблей, 16 подводных лодок, 13 дивизионов боевых катеров, 2 авиадивизии, 2 зенитных артиллерийских полка, 1 бригада морской пехоты, 1 морская железнодорожная артиллерийская бригада, а также ряд отдельных батальонов и рот различных родов войск и специальных войск.