Lina wurde am 21. September 1830 in eine wohlhabende Familie geboren, die zur niederländischen Aristokratie von New York City gehörte , Nachkommen der ursprünglichen Siedler der Stadt. Ihr Vater Abraham Schermerhorn (1783-1850) und die Großfamilie Schermerhorn waren in der Schifffahrt tätig. Zum Zeitpunkt von Linas Geburt war Abraham eine halbe Million Dollar wert. Ihre Mutter war Helen Van Courtlandt ( geb. White) Schermerhorn (1792–1881). Lina war das neunte Kind des Paares. Ihre ältere Schwester Elizabeth heiratete General James I. Jones , der eine riesige Farm in Upper Manhattan namens Jones's Wood besaß .

Ihre Großeltern mütterlicherseits waren Henry White und Anne (geb. Van Cortlandt ) White. Ihre Großeltern väterlicherseits waren Peter Schemerhorn und Elizabeth (geb. Bussing) Schemerhorn. Zu ihrer erweiterten Schermerhorn-Familie gehörte William Colford Schermerhorn , der Vater von Annie Schermerhorn Kane , Ehefrau von John Innes Kane (ein Urenkel von John Jacob Astor).

Zum Zeitpunkt ihrer Geburt lebte ihre Familie in der Greenwich Street 1 in der Nähe des Bowling Green , aber das Bevölkerungswachstum und die zunehmende Urbanisierung von Lower Manhattan in den 1830er Jahren führten dazu, dass ihre Familie weiter nach Norden in die Bond Street 36 zog, in der Nähe des ultramodischen " Lafayette Place ", das vom Großvater väterlicherseits ihres zukünftigen Mannes, dem Pelzhändler John Jacob Astor, entwickelt wurde .

Die junge Lina wurde in einer Schule von Frau Bensee, einer französischen Emigrantin, erzogen. Dort lernte sie fließend Französisch zu sprechen.