Hipotēzes pārbaude

Vienkārša un īsa apmācība par hipotēžu pārbaudi, izmantojot Python

Attēls no: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

Šajā emuārā es sniegšu īsu apmācību par hipotēžu pārbaudi, izmantojot Python statistiskās metodes. Hipotēzes pārbaude ir daļa no zinātniskās metodes, ar kuru mēs visi esam iepazinušies, kaut ko mēs, iespējams, iemācījāmies jau agrīnajos izglītības gados. Tomēr statistikā daudzi eksperimenti tiek veikti ar populācijas paraugu.

“Lai noteiktu, kas novērojumu paraugkopā mums saka par piedāvāto skaidrojumu, parasti mums ir jāsecina, vai, kā mēs to saucam statistiķi, iemesls ar nenoteiktību. Pamatojums ar nenoteiktību ir statistisko secinājumu kodols, un to parasti veic, izmantojot metodi, ko sauc par nulles hipotēzes nozīmīguma pārbaudi. ” -Krāsnis.

Kā piemēru šim emuāram es izmantošu Eiropas futbola datu kopu, kas atrodama Kaggle, un veiks hipotēzes pārbaudi. Datu kopa atrodama šeit.

1. solis

Veiciet novērojumu

Pirmais solis ir novērot parādības. Šajā gadījumā tas būs: vai ir kāda aizsardzības agresijas ietekme uz vidēji atļautajiem mērķiem?

2. solis

Pārbaudiet pētījumu

Labs domāšanas veids ir gudrāks, nevis grūtāks darbs. Viena laba lieta, kas jādara, ir redzēt, vai pētījumi, kas saistīti ar jūsu novērojumiem, jau pastāv. Ja tā, tas var palīdzēt atbildēt uz mūsu jautājumu. Zināšana par jau esošiem pētījumiem vai eksperimentiem palīdzēs mums labāk strukturēt mūsu eksperimentu vai varbūt pat atbildēt uz mūsu jautājumu, un eksperiments nebūs jāveic vispirms.

3. solis

Veidojiet nulles hipotēzi un alternatīvu hipotēzi

Alternatīva hipotēze ir mūsu izglītots minējums, un nulles hipotēze ir vienkārši pretēja. Ja alternatīvā hipotēze nosaka, ka starp diviem mainīgajiem ir nozīmīga saistība, tad nulles hipotēze norāda, ka būtisku saistību nav.

Mūsu nulles hipotēze būs šāda: Nav pieļaujama statistiska mērķu atšķirība komandām, kuru aizsardzības agresijas vērtējums ir lielāks vai vienāds ar 65, salīdzinot ar komandām, kas zemākas par 65.

Alternatīva hipotēze: Ir pieļaujama statistiska mērķu atšķirība komandām, kuru aizsardzības agresijas vērtējums ir lielāks vai vienāds ar 65, salīdzinot ar komandām, kuras ir mazākas par 65.

4. solis

Nosakiet, vai mūsu hipotēze ir vienpusējs vai divpusējs tests.

Vienpusējs tests

"Ja jūs izmantojat nozīmīguma līmeni 0,05, vienpusējs tests ļauj visiem jūsu alfa testēt statistisko nozīmīgumu vienā intereses virzienā." Vienvirziena testa piemērs ir “Futbola komandas, kuru agresijas vērtējums ir zemāks par 65, ļauj statistiski nozīmīgi gūt vairāk vārtu nekā komandas, kuru vērtējums ir zemāks par 65”.

Divpusējs tests

“Ja jūs izmantojat nozīmīguma līmeni 0,05, divpusējs tests ļauj pusei jūsu alfa pārbaudīt statistisko nozīmīgumu vienā virzienā un pusei jūsu alfa - lai pārbaudītu statistisko nozīmīgumu otrā virzienā. Tas nozīmē, ka 0,025 ir katrā jūsu testa statistikas sadalījuma astē. ”

Izmantojot divpusēju testu, jūs pārbaudāt statistisko nozīmīgumu abos virzienos. Mūsu gadījumā mēs pārbaudām statistisko nozīmīgumu abos virzienos.

5. solis

Iestatiet nozīmīguma sliekšņa līmeni (alfa)

(alfa vērtība): robežvērtība, pie kuras mēs varam atcelt nulles hipotēzi. Alfa vērtība var būt jebkura vērtība, kuru mēs iestatām no 0 līdz 1. Tomēr zinātnē visizplatītākā alfa vērtība ir 0,05. Alfa, kas iestatīta uz 0,05, nozīmē, ka mēs nevaram noraidīt nulles hipotēzi, kaut arī pastāv 5% vai mazāka iespēja, ka rezultāti ir radušies nejaušības dēļ.

P-vērtība: aprēķinātā varbūtība iegūt šos datus nejauši.

Ja mēs aprēķinām p-vērtību un tā iznāk līdz 0,03, mēs to varam interpretēt kā sakāmu: “Pastāv 3% iespējamība, ka rezultāti, kurus redzu, faktiski ir saistīti ar nejaušībām vai tīru veiksmi”.

Attēls no vietnes Learn.co

Mūsu mērķis ir aprēķināt p-vērtību un salīdzināt to ar mūsu alfa. Jo zemāks ir alfa, jo stingrāks ir tests.

6. solis

Veikt paraugu ņemšanu

Šeit ir mūsu datu kopa ar nosaukumu futbols. Pārbaudei datu kopā mums ir vajadzīgas tikai divas kolonnas: team_def_aggr_rating un goals_allowed. Mēs to filtrēsim uz šīm divām kolonnām, pēc tam izveidosim divas apakškopas komandām, kuru aizsardzības agresijas vērtējums ir lielāks vai vienāds ar 65, un komandām, kuru aizsardzības agresijas vērtējums ir zemāks par 65.

Atgādinām tikai mūsu hipotēzes pārbaudi:

Aizsardzības agresijas ietekme uz vidēji atļautajiem mērķiem. Nulles hipotēze: Nav pieļaujama statistiska mērķu atšķirība komandām, kuru aizsardzības agresijas vērtējums ir lielāks vai vienāds ar 65, salīdzinot ar komandām, kuras ir zemākas par 65. Alternatīva hipotēze: Ir statistiska mērķu atšķirība, kas atļauta komandām, kurām aizsardzības agresijas vērtējums ir lielāks mazāks vai vienāds ar 65 salīdzinājumā ar komandām, kas mazākas par 65. Divpusējs testa alfa līmenis: 0,05

Tagad mums ir divi paraugu saraksti, kuros mēs varam veikt statistiskos testus. Pirms šī posma es uzzīmēšu abus sadalījumus, lai iegūtu vizuālu attēlu.

7. solis

Veiciet divu paraugu T-testu

Divu paraugu t-testu izmanto, lai noteiktu, vai divu populāciju vidējie lielumi ir vienādi. Šim nolūkam mēs izmantosim Python moduli ar nosaukumu statsmodels. Es neiedziļināšos pārāk detalizēti par statsmodels, bet dokumentāciju varat aplūkot šeit.

8. solis

Novērtē un secini

Atgādinām, ka mūsu iestatītais alfa skaitlis bija a = 0,05. Kā redzams no mūsu testa rezultātiem, p-vērtība ir mazāka nekā mūsu alfa. Mēs varam noraidīt mūsu nulles hipotēzi un ar 95% pārliecību pieņemt mūsu alternatīvo hipotēzi.

Paldies par lasīšanu! Lai iegūtu sīkāku informāciju par hipotēžu pārbaudi, varat apskatīt šo grupas projektu vietnē GitHub, kurā es piedalījos hipotēžu pārbaudē.

Resursi:

Krāsnis, Metjū. “Statistika un“ zinātniskā metode ”, kas iegūta no vietnes YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Ievads SAS. UCLA: Statistisko konsultāciju grupa. no https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (pieejams maijā 16, 2019).

Inženieru statistikas rokasgrāmata. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm