Йордан Иванов е роден през 1872 година в Кюстендил, в занаятчийско семейство от Кратово, баща му е мутафчия, а дядо му – свещеник. Тук получава средното си образование. Продължава образованието си във Висшето училище в София (във втория му випуск), където през 1892 г. завършва с отличие славянска филология. Негови учители са изтъкнати български учени като Александър Теодоров-Балан, Любомир Милетич, Беньо Цонев, Иван Шишманов и др. През следващите две години – 1892 – 1894 г. – специализира в Лозанския университет, където изучава литература на романските народи, латински език и палеография и усвоява основно френски език. До 1898 г. е гимназиален учител по български и френски език и литература в Сливен. Лектор по френски език във Висшето училище в София (1899 – 1906)
През 1906 – 8 г. Иванов е секретар на Българското търговско представителство в Солун и това му дава възможност да пътува из южна Македония и атонските манастири. От 1909 г. е действителен член на Българското книжовно дружество, днес Българска академия на науките.
През 1911 г. е избран за редовен доцент в Софийския университет, през 1924 г. – редовен професор и титуляр на Катедрата по българска литература, на която длъжност остава до 1942 г., когато напуска университета поради пределна възраст. В два периода от 1920 до 1923 и от 1927 до 1930 г. е професор по български език и литература в Националното училище за живи източни езици в Париж.
Един от основоположниците на Българското археологическо дружество (1901) и на Българския археологически институт; член на Управителния съвет на БАИ (1920 – 1942). Член-учредител е на Македонския научен институт.
Откривател е на първообраза (оригинала) на „История славянобългарска“ на Паисий Хилендарски през 1906 г., при едно от посещенията му в манастира Зограф и изследва неговите ръкописите (виж книгата му от 1914 г. по-долу). Преди това малката книжка (тя дори не е била подвързана) е останала незабелязана, въпреки че е разглеждана от други изследователи, които са я мислили за препис.
През 1916 г. Йордан Иванов е поканен и участва в Научната експедиция в Македония и Поморавието.
През 1932 г. е избран за член на Славянския научен институт в Прага. През 1942 г. по случай 70-годишнината му и 50-годишната научна дейност той е награден с орден „За заслуга“, II степен и с грамота. През 1944 г. е провъзгласен за почетен гражданин на град Кюстендил.
Умира в София на 29 юли 1947 г.
