Logo hr.boatexistence.com

Zašto stohastički gradijentni spust?

Sadržaj:

Zašto stohastički gradijentni spust?
Zašto stohastički gradijentni spust?

Video: Zašto stohastički gradijentni spust?

Video: Zašto stohastički gradijentni spust?
Video: Strojno učenje - 07 - Logistička regresija II 2024, Svibanj
Anonim

Prema starijem znanstveniku za podatke, jedna od izrazitih prednosti korištenja Stohastičkog Gradijentnog Spuštanja je to što obavlja izračune brže od gradijenta i niza gradijenta … Također, na masivni skupovi podataka, stohastički gradijentni silazak može brže konvergirati jer se ažuriraju češće.

Za što se koristi Stochastic Gradient Descent?

Stohastički gradijentni spuštanje je algoritam za optimizaciju koji se često koristi u aplikacijama za strojno učenje za pronalaženje parametara modela koji najbolje odgovaraju između predviđenih i stvarnih izlaza To je netočna, ali moćna tehnika. Stohastički gradijentni silazak naširoko se koristi u aplikacijama strojnog učenja.

Zašto trebamo koristiti stohastički gradijentni silazak umjesto standardnog gradijentnog spuštanja da bismo trenirali konvolucionu neuronsku mrežu?

Stohastički gradijentni silazak ažurira parametre za svako promatranje što dovodi do većeg broja ažuriranja. Dakle, to je brži pristup koji pomaže u bržem donošenju odluka. U ovoj animaciji mogu se primijetiti brža ažuriranja u različitim smjerovima.

Zašto preferiramo gradijentno spuštanje?

Glavni razlog zašto se gradijentni silazak koristi za linearnu regresiju je proračunska složenost: računski je jeftinije (brže) pronaći rješenje korištenjem gradijenta u nekim slučajevima. Ovdje trebate izračunati matricu X′X, a zatim je invertirati (vidi napomenu ispod). To je skupa računica.

Zašto se koristi SGD?

Stohastičko gradijentno spuštanje (često skraćeno SGD) je iterativna metoda za optimizaciju ciljne funkcije s prikladnim svojstvima glatkoće (npr. diferencibilno ili subdiferencirano).

Preporučeni: