To spillesteder kaldet Madison Square Garden var beliggende lige nordøst for pladsen, den oprindelige Garden fra 1879 til 1890, og den anden Garden
fra 1890 til 1925. Den første, der var udlejet til P. T. Barnum, havde intet tag og var ubelejlig at bruge i dårligt vejr, så den blev revet ned efter 11 år. Den anden blev tegnet af den kendte arkitekt Stanford White. Den nye bygning blev bygget af et syndikat, som omfattede J. P. Morgan, Andrew Carnegie, P. T. Barnum, Darius Mills, James Stillman og W. W. Astor. White gav dem en Beaux-Arts struktur med en maurisk følelse, herunder et minaretlignende tårn modelleret efter Giralda, klokketårnet i Seviljas katedral <unk> svævende 32 etager <unk> byens næsthøjeste bygning på det tidspunkt <unk> dominerende Madison Square Park. Det var i 1800, og hovedsalen, som var den største i verden, målt i 1800, med permanent siddeplads til 8.000 mennesker og gulvplads til tusindvis mere. Det havde et teater med 1.200 sæder, en koncertsal med plads til 1.500, byens største restaurant og en cabaret på taget. Bygningen kostede tre millioner dollars. Madison Square Garden II var ikke lige så succesfuld som den første Garden, og New York Life Insurance Company, som havde lånet den, besluttede at rive den ned i 1925 for at gøre plads til en ny hovedkvarterbygning, som skulle blive landemærket Cass Gilbert-designet New York Life Building.