Открыто в 1888 г. (по др. данным – в 1887) при Первой соборной мечети Х. Гусма новым. Названо его именем. С 1906 г. размещалось в новом каменном здании с двумя флигелями. Медресе вначале готовило служителей мечети, позже – также учителей начальных классов медресе. Обучение было семилетним, платным. В учебную программу
входили каноны ислама, логика, арабский язык, фарси, позже – тюрки, русский язык, а также арифметика и география.