Zašto laso ima tendenciju nula koeficijenata?

Sadržaj:

Zašto laso ima tendenciju nula koeficijenata?
Zašto laso ima tendenciju nula koeficijenata?

Video: Zašto laso ima tendenciju nula koeficijenata?

Video: Zašto laso ima tendenciju nula koeficijenata?
Video: LASSO (Shrinkage/Regularization) 2024, Studeni
Anonim

Laso vrši skupljanje tako da postoje "uglovi" u ograničenju, što u dvije dimenzije odgovara dijamantu. Ako zbroj kvadrata "pogodi" jedan od ovih kutova, tada se koeficijent koji odgovara osi smanjuje na nulu. … Dakle, laso izvodi skupljanje i (efektivno) odabir podskupa.

Zašto laso daje nula koeficijenata?

Laso vrši skupljanje tako da postoje "uglovi" u ograničenju, što u dvije dimenzije odgovara dijamantu. Ako zbroj kvadrata "pogodi" jedan od ovih kutova, tada se koeficijent koji odgovara osi smanjuje na nulu.

Zašto se laso smanjuje na nulu, ali ne i Ridge?

Rečeno je da budući da je oblik ograničenja u LASSO-u dijamant, dobivena otopina najmanjih kvadrata može dodirnuti kut dijamanta tako da dovodi do skupljanja neke varijable. Međutim, u regresiji grebena, jer to je krug, često neće dodirivati os

Zašto se koeficijenti regresije grebena smanjuju?

Ridge regresija smanjuje sve regresijske koeficijente prema nuli; laso teži dati skup nultih koeficijenata regresije i dovodi do rijetkog rješenja. Imajte na umu da se i za regresiju grebena i za laso koeficijenti regresije mogu kretati s pozitivnih na negativne vrijednosti kako se skupljaju prema nuli.

Jesu li lasso koeficijenti pristrani?

…skupljanje lasoa uzrokuje da procjene ne-nula koeficijenata budu pristrane prema nuli i općenito nisu dosljedne [Dodana napomena: To znači da, kao veličina uzorka raste, procjene koeficijenata ne konvergiraju].

Preporučeni: