13 марта 1954 года был образован Комитет государственной безопасности при Совете Министров СССР. 13 марта 1954 года Указом Президиума Верховного Совета СССР путём выделения из Министерства внутренних дел (МВД) СССР ряда управлений, служб и отделов был образован союзно-республиканский орган государственного управления в сфере обеспечения государственной безопасности (КГБ) при Совете Министров СССР. Его Председателем был назначен Герой Советского Союза генерал-полковник И. А. Серов.

Политическое решение о выделении структур органов госбезопасности из МВД в самостоятельное ведомство было принято Президиумом ЦК КПСС 8 февраля 1954 г. на основании записки министра внутренних дел СССР С. Н. Круглова, в которой говорилось о том, что структура МВД громоздка и «не в состоянии обеспечить на должном уровне агентурно-оперативной работы». В этой связи предлагалось выделить оперативно-чекистские управления и отделы — всего их было 16 из 40 структурных подразделений министерства, — и на их базе образовать Комитет по делам государственной безопасности при Совете Министров СССР. При этом предусматривалось одновременное сокращение численности передаваемых в КГБ оперативно-чекистских кадров на 20%, также подлежал сокращению и штат остающийся в МВД.Согласно решению ЦК КПСС, на органы КГБ были возложены следующие основные задачи: ведение разведывательной работы в капиталистических странах; борьба со шпионской, диверсионной, террористической и иной подрывной деятельностью иностранных разведок внутри СССР; борьба с вражеской деятельностью всякого рода антисоветских элементов внутри СССР; контрразведывательная работа в Советской армии и Военно-морском флоте; организация шифровального и дешифровального дела в стране; охрана руководителей партии и правительства.

18 марта 1954 г. приказом Председателя КГБ при Совете Министров СССР была определена структура нового ведомства, в котором были образованы: Первое Главное управление (ПГУ, разведка за границей); Второе Главное управление (ВГУ, контрразведка); Третье Главное управление (военная контрразведка); Восьмое Главное управление (шифровально-дешифровальное); Четвёртое управление (борьба с антисоветским подпольем, националистическими формированиями и враждебными элементами); Пятое управление (контрразведывательная работа на особо важных объектах); Шестое управление (транспортное); Седьмое управление (наружное наблюдение); Девятое управление (охрана руководителей партии и правительства); Десятое управление (управление коменданта Московского кремля); следственное управление, а также 5 самостоятельных специальных отделов, отдел (в дальнейшем — управление) правительственной связи и учётно-архивный отдел.

2 апреля 1957 г. из структуры МВД в КГБ были переданы пограничные войска и для управления ими образовано Главное управление пограничных войск (ГУПВ).3 декабря 1991 г. Президент СССР М. С. Горбачёв подписал закон «О реорганизации органов государственной безопасности». На основании этого закона КГБ СССР был упразднён и на переходный период на его базе созданы Межреспубликанская служба безопасности и Центральная служба разведки СССР (в настоящее время Служба внешней разведки РФ).