И. С. Козловский родился 11 (24) марта 1900 года в селе Марьяновка, (ныне — Васильковский район, Киевская область, Украина) в простой украинской семье. С 7 лет пел в хоре Киевского Михайловского монастыря, где был замечен известным духовным композитором Александром Кошицем. Вскоре стал петь в хоре Троицкого народного дома в Киеве (театр Н. К. Садовского), позже — солист Большого академического хора. В 1920 году окончил Киевский музыкально-драматический институт (вокальный факультет, класс профессора Е. А. Муравьевой).

Во время службы в рядах Красной Армии (1920—1923) в городе Полтава участвовал в спектаклях Украинского музыкально-драматического театра. В 1924 году — в труппе Харьковского оперного театра. В 1925—1926 годах — солист Свердловского оперного театра. В 1926 году был приглашен на службу в Большой театр. Дебютировал в роли Альфреда (Травиата), с первых лет службы в Большом театре, исполняя заглавные теноровые партии, приобрел популярность и массу почитателей, в конце 1930-х Козловский неожиданно становится одним из любимых певцов Сталина.

В 1938 году Козловский создает Государственный ансамбль оперы СССР и становится художественным руководителем этого коллектива. Выступал как оперный режиссёр.

В 1954 году, находясь на пике популярности, Иван Семёнович, по так до конца и неизвестным до сих пор причинам, навсегда покинул Большой театр.

Козловский внёс большой вклад в музыкальную сокровищницу России, посещая деревни, слушая, обрабатывая и исполняя деревенские напевы, романсы, страдания. Так, он нашёл, записал на ноты и исполнял романс «Я встретил вас…», который впоследствии стал чрезвычайно популярным у камерных певцов.

Козловский выступал с сольными концертами до 87-летнего возраста.