A városháza régi épülete mellett található a klasszicista stílusban épült kollégium, melynek homlokzatán a névadó Karacs Ferenc szobra áll.
Egykoron ezen a telken (ma Hősök tere 2. sz.) épült Püspökladány első római katolikus iskolája, így ez a telek 1780-as évek közepétől iskolai célt szolgált.
Dessewffy Elemér római katolikus plébános kezdeményezésére a Szent Imre Iskolát 1930-31 között építették fel, melyet a homlokzatán elhelyezett Szent Imre herceg szobra után Szent Imr
e-iskolának (ez a későbbi kollégium) neveztek el. A névadó Szent Imre szobra ekkor még a főbejárat előtti szoborfülkében kapott helyet, melyet később a katolikus templom kertjébe helyeztek át. Egyházi feljegyzések nem maradtak az építés körülményeiről. Az építésétől egészen a 49-es államosításig leányiskolaként működött.
Az épületet az államosításkor a Leányiskola kapta, majd 1951-től az Óvónőképzőé lett, 1956-tól a gimnáziumé. Az 1960-as évek elején megnyújtották az épületet a szomszéd telek felhasználásával és összeépítették a községi tanácsházzal. 1963-tól máig középiskolai diákotthonként működik.
A diákotthon udvarán lévő régi épület egyik fele az 1840-es évek közepén, másik fele az 1880-as évek legelején épült, ez korábban iskola és tanítói lakás volt, majd 1932-től római katolikus kultúrházzá alakították. Államosítás után először az óvónőképző, majd a gimnázium tornaterme lett, később étkező és konyha kapott itt helyet.
A kollégium évtizedekig a helyi Karacs Ferenc Gimnázium Szakközépiskola és Kollégium 
tagintézményeként biztosította a távolról érkező diákok szállás és tanulmányi lehetőségeit. A központi épület (hősök tere) elsősorban leány internátusként működött, a bentlakást fiúk számára máshol elhelyezkedő épület biztosította. 2010-től indult el az Arany János Kollégiumi Program az intézményben, melynek során a hátrányos helyzetű diákok tanulmányainak szerepe nagyobb hangsúlyt kapott. A kollégium 2015-ben önálló intézménnyé vált.
A Karacs Ferenc Kollégium ma is mintegy százhúsz fő diák számára tárja ki kapuit.
