Već u srednjem vijeku postalo je najvećim sveučilištem na području Svetog Rimskog Carstva.
Bečko sveučilište, najstarije na današnjem njemačkom govornom području, osnovano je 12. ožujka 1365. godine. To je sveučilište utemeljio austrijski vojvoda Rudolf IV. iz dinastije Habsburg, zanimljiv po tome što je bio prvi habsburški vladar Austrije koji je u njoj doista i rođen (izvorno su Habsburgovci potjecali s područja današnje Švicarske). Upravo je Rudolf IV. bio prvi austrijski vladar koji je počeo koristiti titulu nadvojvode (lat. archidux), do tada nepoznatu u svijetu. Sveučilište u Beču ima i nadimak Alma Mater Rudolphina, upravo zbog toga što ga je osnovao vojvoda Rudolf IV. Habsburški.
Već je u srednjem vijeku Bečko sveučilište toliko naraslo da je postalo najvećim sveučilištem na području Svetog Rimskog Carstva. Sredinom 15. stoljeća je imalo više od 6.000 studenata. Od poznatih osoba, koje su tijekom povijesti bile povezane s Bečkim sveučilištem, spomenimo papu Pija II., Karla Landsteinera, Erwina Schrödingera, Konrada Lorenza,Friedricha Augusta von Hayeka, Theodora Billrotha, Ludwiga Boltzmanna, Sigmunda Freuda, Kurta Gödela i Lisu Meitner.
