Der Algorithmus "Gradientenabstieg" wurde vor dem Gradienten erfunden. Es wird in gleichwertiger Form von Cauchy in einem 3-seitigen Artikel in Comptes Rendus, Méthode générale pour la résolution des systèmes d'équations simultanées (1847) beschrieben. Hier ist eine englische Übersetzung. Eine gute sekundäre Quelle ist Cauchy und die Gradientenmethode von Lemaréchal, der kommentiert:

" Cauchy ist durch astronomische Berechnungen motiviert, die bekanntlich sind normalerweise sehr voluminös. Um die Umlaufbahn eines Himmelskörpers zu berechnen, möchte er "nicht die Differentialgleichungen lösen, sondern die [algebraischen] Gleichungen, die die Bewegung dieses Körpers darstellen, wobei die Elemente der Umlaufbahn selbst als unbekannt angesehen werden" In jenen Tagen ein Gleichungssystem lösen ", beginnt man normalerweise damit, sie durch aufeinanderfolgende Eliminierungen auf ein einziges zu reduzieren, um die resultierende Gleichung schließlich, wenn möglich, endgültig zu lösen. Es ist jedoch wichtig zu beachten, dass 1◦ in vielen Fällen die Eliminierung in keiner Weise durchgeführt werden kann; 2◦ Die resultierende Gleichung ist normalerweise sehr kompliziert, obwohl die angegebenen Gleichungen ziemlich einfach sind. ". Es wird etwas anderes gewünscht. "

Anstelle des Gradientenvektors arbeitet Cauchy einfach mit die partiellen Ableitungen $ X = f'_x, Y = f'_y, Z = f'_z, ... $ span>. Er nimmt kleine $ \ theta $ span> und stellt die Gleichung $$ \ Theta = f (X- \ theta x, Y) auf - \ theta y, Z- \ theta z, ...), $$ span> und empfiehlt in einer der Varianten, $ \ theta $ span> zu finden from $ \ Theta '_ \ theta = 0 $ span>.

[...] Eine Iteration der Gradientenmethode wird also mit zwei Varianten angegeben: (2) (Linijo-artige Liniensuche) oder (3) (steilster Abstieg) ... Konvergenz wird nur schlampig erwähnt ... Cauchy scheint nicht zu glauben, dass die Methode immer a findet Lösung; aber er scheint es auch zu hoffen: siehe den Auszug des Fußes Anmerkung 4. Wie auch immer, ein einfaches Bild zeigt, dass die Funktion der kleinsten Quadrate in (4) positive lokale Minima aufweisen kann, die die Rolle von „parasitären“ Lösungen spielen. Andererseits scheint er davon überzeugt zu sein, dass die Abfolge der U-Werte mit abnehmender Reihenfolge zu einem (lokalen) Minimum oder zumindest zu einem stationären Punkt konvergieren muss. Daher ist der obige Auszug ziemlich interessant und stammt von einem Mathematiker, der zu den strengsten seines Jahrhunderts gehört. Zugegeben, Cauchy hat sich nicht eingehend mit dem Problem befasst: "Ich werde mich hier darauf beschränken, die [meiner Methode] zugrunde liegenden Prinzipien in einem folgenden Artikel noch einmal zu skizzieren, mit der Absicht, noch einmal auf dasselbe Thema einzugehen." Das "zu verfolgende Papier" scheint jedoch nicht zu existieren. "

Siehe auch verwandten Beitrag Wer hat den stochastischen Gradientenabstieg erfunden? Auf Cross Validated.