Детские годы провёл в Корочанском уезде в имении матери, затем был отправлен на учёбу в Санкт-Петербург в военную гимназию. По окончании гимназии блестяще сдал экзамены в Николаевское инженерное училище. В 1877 году, окончив курс инженерного училища, выдержал вступительный экзамен в Николаевскую инженерную академию. Однако учёбу прервала Русско-турецкая война. Подпоручик Величко отправиться в действующую армию, участвовал в разработке Твердицкого перевала между городом Еленой и селением Твердицей на Балканах. После войны Константин Иванович вернулся в академию и окончил её с отличием. Его имя занесли на мраморную Доску почёта, а он сам остался преподавать фортификацию студентам. С тех пор на протяжении всей жизни он занимался научно-педагогической деятельностью. В 1883 году его командировали за границу в Берлинский университет для слушания лекций по военному делу, а затем в Германию, Францию, Италию и Бельгию для практического изучения технического производства.
В 1899 году полковника Величко командировали на Дальний Восток для составления проекта крепости Порт-Артур. В начале Русско-японской войны Константина Ивановича назначили генералом для особых поручений при командующем силами на Дальнем Востоке генерале Алексее Куропаткине. И в этом чине инженер Величко успел разработать проекты девяти крепостей и укреплений, среди которых были китайские Мукден и Харбин.
За отличие в боях под Ляояном Константин Иванович был награждён золотым оружием с гравировкой «За храбрость» и двумя боевыми орденами. Он также получил французский орден Почётного легиона и испанский орден «За военные заслуги».
После окончания Русско-японской войны он вернулся в Россию, где принял участие в создании обширного Энциклопедического словаря Брокгауза и Ефрона и стал редактором Военной энциклопедии издательства Сытина. В начале Первой мировой войны генерал Величко возглавил инженеров 11-й армии, которая вела осаду австрийского Перемышля. После многомесячной осады в 1915 году легендарная крепость была взята. Тогда же Константин Иванович разработал и предложил новую форму инженерного оборудования местности для организации наступления – «инженерные плацдармы». Впервые идею Величко реализовали при подготовке Брусиловского прорыва в 1916 году. За что Константин Иванович получил сразу несколько высоких государственных наград.
После Февральской революции 1917 года генерал-инженер Величко, заслуженно пользовавшийся высокой репутацией в армии, был назначен на высшую должность полевого инспектора инженерной части в Ставке Верховного главнокомандующего.
В феврале 1918 года добровольно вступил в Красную Армию, руководил инженерной обороной Петрограда, с марта 1918 года стал председателем коллегии по инженерной обороне государства при Главном инженерно-техническом управлении РККА. Константин Иванович продолжил обучать студентов инженерному делу. 1923 году он возглавил кафедру фортификации и военных наук Военно-инженерной академии. Он оставил после себя немало трудов и публикаций, сформировавших научную базу русской фортификационной школы.
Константин Иванович Величко умер 15 мая 1927 года в Ленинграде, похоронен на Никольском кладбище Александро-Невской лавры.
Его имя увековечено в названии улиц в городе Короче и городе Белгороде.