Першим бібліотекарем став професор грецької та французької словесності Яків Якович Белен де Баллю (1753 – 1815), обраний на засіданні Ради університету 18 січня 1805 року. У вересні 1832 року бібліотеку відвідав імператор Микола І.
У 1835 році навпроти головного корпусу університету, де містилася бібліотека, за проектом архітектора Є. Васильева було збудовано ще три приміщення. В центральному корпусі містилася церква Св. Антонія, актовий зал та обсерваторія. В північній половині церковного корпусу розміщувалася бібліотека. Спеціальне приміщення для бібліотеки було збудоване в 1901-1903 роках.
У серпні 1903 року під час роботи ХІІ археологічного з’їзду у Харкові саме у приміщенні бібліотеки була відкрита виставка. Саме в цій будівлі і сьогодні розміщується Центральна наукова бібліотека Харківського національного університету імені В. Н. Карабіна, відділ книжкових пам'яток, цінних видань та рукописів.
За період з ХІХ по початок ХХ ст. в стінах університету працювали видатні вчені: математики К. О. Андрєєв, В. Г. Імшенецький, О. М. Ляпунов, Т. Ф. Осиповський, В. А. Стеклов, фізики В. І. Лапшин, М. Д. Пільчиков, Д. А. Рожанський, астроном Л. О. Струве, фізико-хімік М. М. Бекетов, біохімік О. Я. Данилевський, ботаніки В. М. Арнольді, О. М. Бекетов, історики Д. І. Багалій, В. П. Бузескул, М. С. Дринов, філологи Д. М. Овсянико-Куликовський, І. І. Срезневський, М. Ф. Сумцов, хірург М. П. Трінклер, офтальмолог Л. Л. Гіршман та інші.
Вихованцями університету були видатні вчені: математик М. В. Остроградський, біолог І. І. Мечников, історик М. І. Костомаров, філолог О. П. Потебня, історик та правознавець М. М. Ковальський, відомий український поет-байкар П. П. Гулак-Артемовський, основоположник української музики композитор М. В. Лисенко, український драматург М. П. Старицький, художник Г. І. Семирадський.
Харківський університет був закритий в перші роки існування радянської влади Народним комісаріатом Просвіти України. А в 1920-1932 роках на базі університету працювали Вільна академія педагогічних наук та Харківський інститут народної освіти.
З 1932 по 1958 рік у будинку університету працював Харківський державний університет.
У 1952 році на будинку була встановлена меморіальна дошка з білого мармуру з написом «Тут з 1862 по 1864 рік вчився великий вчений Ілля Ілліч Мечніков», а також охоронна дошка.
Після переходу у 1958 році університету в нове приміщення на майдан Свободи у головному корпусі розмістилася адміністрація Українського заочного політехнічного інституту.
З 1963 року будівлю займає Український заочний політехнічний інститут, який в 1989 році був реорганізований в Український інженерно–педагогічний інститут, в подальшому (з 1994 року) – академію.