Саммари үзіндісі
Статистикаға кіріспе: Достармен сұхбат
Сәлеметсіз бе! Генри Эликер Клудың «Статистика» кітабын қолыңызға алдыңыз ба? 1986 жылы Routledge баспасынан шыққан бұл кітап жай ғана құрғақ оқулық емес. Оны сансыз сандар мен деректер әлемінде адасып кетпей, жол көрсететін достық гид ретінде елестетіңіз. Клудың мақсаты – статистиканы қорқынышты емес, қолжетімді ету. Бұл бізді қоршаған әлемді түсіну үшін қолданатын құралдарды меңгеру туралы, қарапайым бақылаулардан бастап күрделі зерттеулерге дейін. Бұл кітап сізге статистиканың негізгі білімін беруге арналған. Бұл тек формулаларды жаттау емес; олардың артындағы логиканы және ең бастысы, оларды қалай қолдану керектігін түсіну. Сіз студент болсаңыз да, есептерді түсінуге тырысатын маман болсаңыз да, немесе деректердің өмірімізді қалай құрайтынына қызығатын адам болсаңыз да, Клудың еңбегі сіздің серігіңіз болуға арналған. Бұл шикі сандарды мағыналы түсініктерге айналдыру, күнделікті кездесетін ақпараттарға сыни көзбен қарауға көмектесу туралы. Бұл кітаптың не қамтитынын тереңірек қарастырып, оны оңай игеруге болатын бөліктерге бөлеміз. Негізгі идеяларды, практикалық қолданылуын және бұл кітап ондаған жыл бұрын жазылғанымен, статистиканы түсінудің неге қазіргі уақытта да маңызды екенін зерттейміз. Негізгі қағидалар көп өзгерген жоқ, ал Клудың түсініктілік пен ұғынымпаздыққа бағытталған әдісі мәңгілік.
1-бөлім: Неге статистикаға мән беру керек? Үлкен сурет
Енді ең өзекті сұрақтан бастайық: неге статистика сізді қызықтыруы керек? Мен сандар өте қорқынышты көрінуі мүмкін екенін білемін, иә? Көптеген адамдар «статистика» дегенді естігенде, бірден жалықтыратын дәрістерді, шатастыратын графиктерді және шексіз есептеулерді ойлайды. Бірақ шыны керек, статистика – бұл әлемді түсінуге арналған суперкүш. Бұл деректердің тілі, ал деректер барлық жерде. Ойлап көріңіз. Күн сайын сіз ақпаратқа толығасыз. Жаңалықтарда сайлау нәтижелері, экономикалық үрдістер және ғылыми зерттеулер туралы айтылады. Жарнама берушілер сізді нысанаға алу үшін деректерді пайдаланады. Тіпті сүйікті спорт командаңыз келесі ойынды жоспарлау үшін статистиканы қолданады. Статистиканы негізгі деңгейде түсінбей, сіз бұл ақпараттық су тасқынында соқыр жүргендей боласыз. Сіз оңай алдануыңыз мүмкін, қате ойларға негізделген шешімдер қабылдауыңыз мүмкін немесе шын мәнінде не болып жатқанын түсінуден айырылуыңыз мүмкін. Клудың кітабы статистиканың тек математиктер мен ғалымдар үшін емес екенін атап өтуі мүмкін. Бұл әркім үшін негізгі дағды. Ол сізге көмектеседі: Жақсырақ шешім қабылдау: Тауарларды шолуларға негізделіп таңдау, медициналық емдеудің тәуекелдерін түсіну немесе жеке қаржыңызды жоспарлау болсын, статистика дәлелдерді таразылауға және неғұрлым негізделген таңдаулар жасауға құралдар береді. Сіз жай сезімдерден асып, деректерге сүйенуді үйренесіз. Айналаңызды түсіну: Статистика әлеуметтік үрдістердегі, экономикалық өзгерістердегі және тіпті қарапайым сауалнама нәтижелеріндегі үлгілерді анықтауға көмектеседі. Бұл сізге ағаштарды көру арқылы орманды көру қабілетін береді, жай сандар көрсете алмайтын үлкен суретті түсінуге мүмкіндік береді. Сыни ойлау: Бұл өте маңызды. Статистика деректерге күмәнмен қарауды үйретеді. Ол қайдан келді? Ол қалай жиналды? Қандай да бір ықпалдар бар ма? Бұл сыни ойлау ақпарат ағыны және, мойындайық, жалған ақпарат дәуірінде өте маңызды. Сіз ақпаратты тұтынушы ретінде неғұрлым сарапшы боласыз. Тиімді қарым-қатынас жасау: Деректерді анық ұсыну және басқалардың деректерін түсіндіру қабілеті көптеген кәсіптерде өте маңызды. Статистика күрделі идеяларды қарапайым және сенімді түрде түсіндіру үшін сізге сөздік қор мен көрнекі құралдарды (графиктер мен диаграммалар сияқты) береді. Сондықтан, мұндағы негізгі хабарлама – статистика міндетті емес қосымша; бұл заманауи өмірді басқаруға арналған маңызды құрал. Клудың кітабы осы жағдайды құрудан бастап, сізге нақты әлемдегі маңыздылығын көрсетіп, статистиканы кедергі емес, мүмкіндік ретінде көруге мүмкіндік береді. Бұл шатасудан айқындыққа, болжамнан негізделген бағалауға көшу туралы. Негізгі хабарлама: Статистика – бұл деректерге толы ортада негізделген шешімдер қабылдау, әлемді түсіну және сыни ойлау үшін маңызды құрал.
2-бөлім: Құрылыс блоктары – Деректер дегеніміз не?
Сандарды есептеуді бастамас бұрын, немен жұмыс істейтінімізді түсінуіміз керек. Клудың кітабы сөзсіз негіздерді анықтаудан басталар еді: деректер дегеніміз не және оның қандай түрлері бар? Бұл қарапайым болып көрінуі мүмкін, бірақ бұл айырмашылықтарды түсіну кейінірек дұрыс статистикалық әдістерді таңдау үшін өте маңызды. Деректер – бұл негізінен ақпарат, әдетте сандық түрде, біз сұрақтарға жауап беру немесе құбылысты зерттеу үшін жинаймыз. Бірақ барлық деректер бірдей емес. Оның табиғатын түсіну үшін біз оны жиі санаттаймыз: Сапалық (категориялық) деректер: Бұл сапаларды немесе сипаттамаларды сипаттайтын деректер. Сандармен оңай өлшенбейтін, бірақ санаттарға бөлуге болатын заттарды ойлаңыз. Мысалы: Номиналды деректер: Табиғи реті жоқ санаттар. Мысалдарға шаштың түсі (сары, қоңыр, қара), көлік түрі (седан, SUV, жүк көлігі) немесе иә/жоқ сауалнама жауаптары жатады. Әр санатқа қанша адам кіретінін санауға болады, бірақ оларды реттей алмайсыз. Реттік деректер: Табиғи реті немесе реттілігі бар санаттар, бірақ санаттар арасындағы айырмашылықтар міндетті түрде тең немесе өлшенетін емес. Клиенттердің қанағаттану рейтингтерін (өте қанағаттанбаған, қанағаттанбаған, бейтарап, қанағаттанған, өте қанағаттанған) немесе академиялық бағаларды (A, B, C, D, F) ойлаңыз. Сіз 'A' 'B'-ден жақсы екенін білесіз, бірақ A мен B арасындағы 'қашықтық' B мен C арасындағыдай болмауы мүмкін. Сандық (сандық) деректер: Бұл сандық түрде өлшенетін деректер. Бұл «статистика» дегенді естігенде көпшілік ойлайтын нәрсе. Интервалдық деректер: Ректің маңыздылығы бар сандық деректер, ал мәндер арасындағы айырмашылықтар мағыналы және тең. Алайда, нақты, абсолютті нөл нүктесі жоқ. Температура Цельсий немесе Фаренгейт бойынша – классикалық мысал. 0°C «температура жоқ» дегенді білдірмейді, ал 10°C пен 20°C арасындағы айырмашылық 30°C пен 40°C арасындағыдай тең. Бұл мәндерді мағыналы түрде қосуға және азайтуға болады. Қатынас деректер: Бұл сандық деректердің ең «толық» түрі. Оның интервалдық деректердің барлық қасиеттері (рет, тең интервалдар) бар, қосымша нақты, мағыналы нөл нүктесі бар. Бұл нөл өлшенетін шаманың жоқтығын білдіреді. Мысалдарға бой, салмақ, жас, табыс немесе сатылған заттар саны жатады. Егер адамның ешқандай доллары болмаса, онда оның шынымен ешқандай ақшасы жоқ. Сондай-ақ, 2 метрлік адам 1 метрлік адамнан екі есе биік деп айтуға болады – қатынастар мағыналы. Бұл неге маңызды? Өйткені сіздегі деректер түрі сіз жасай алатын статистикалық талдау түрлерін анықтайды. Сіз шаштың орташа түсін есептемейсіз, иә? (Дегенмен сіз ең көп тараған түсін таба аласыз). Категориялық деректер үшін сандық деректерден басқа құралдарды қолданасыз. Клу, бәлкім, осы анықтамаларды көптеген мысалдармен түсіндіріп, оны кристалдай айқын ететін шығар. Ол сондай-ақ айнымалыларға тоқталуы мүмкін. Айнымалы – бұл өзгере алатын немесе өзгеретін сипаттама немесе қасиет. Біздің деректерімізде бой – айнымалы, қанағаттану рейтингі – айнымалы және т.б. Айнымалыларды түсіну біз өлшейтін нәрсені және оның біз
3-бөлім: Шатасқан деректерді түсіну – Сипаттамалы статистика
Жақсы, сізде деректер бар. Бұл үлкен электронды кесте, сауалнама жауаптарының үйіндісі немесе эксперименттен алынған өлшемдер болуы мүмкін. Бұл шатасқан болуы мүмкін, иә? Міне, осында сипаттамалы статистика кіреді. Оны деректеріңізді қысқаша қорытындылау және ұйымдастыру өнері ретінде елестетіңіз, осылайша сіз барлық жеке сандарға шатаспай, оның айтатын негізгі әңгімесін түсіне аласыз. Клу кітаптың бір бөлігін осыған арнар еді, өйткені бұл негіз болып табылады. Сипаттамалы статистика біздің деректеріміз туралы қарапайым сұрақтарға жауап беруге көмектеседі, мысалы: Әдеттегі мән қандай? Мәндер қаншалықты шашыраңқы? Деректердің жалпы пішіні қандай? Негізгі құралдарды қарастырайық: 1. Орталық тенденция шамалары: Бұл бізге деректердің «орталығы» немесе әдеттегі мәні туралы айтады. Орташа арифметикалық (Mean): Бұл, бәлкім, ең көп қолданылатын шама. Сіз барлық мәндерді қосып, мәндер санына бөлесіз. Ол сандық деректер үшін тамаша, бірақ экстремалды мәндермен (сыртқы мәндермен) оңай бұрмалануы мүмкін. Компаниядағы орташа жалақыны есептеуді елестетіңіз – бір миллиардер басшы барлық басқалар үшін орташа жалақыны шамадан тыс жоғары етуі мүмкін. Медиана (Median): Бұл барлық деректер нүктелері реттелген кездегі ортаңғы мән. Егер сізде жұп сан болса, бұл екі ортаңғы мәннің орташа арифметикалық мәні. Медиана сыртқы мәндерден орташа арифметикалыққа қарағанда әлдеқайда аз әсер етеді, бұл оны бұрмаланған деректер үшін әдеттегі мәннің жақсы өлшемі етеді. Мысалы, аудандағы үйдің медианалық бағасы көбінесе орташа арифметикалықтан гөрі әдеттегі бағаның жақсы көрсеткіші болып табылады. Мода (Mode): Бұл жай ғана деректер жиынында ең жиі кездесетін мән. Бұл категориялық деректер үшін қолданыла алатын жалғыз орталық тенденция өлшемі (ең көп тараған шаштың түсі сияқты). Деректер жиыны бір модалы (unimodal), екі модалы (bimodal) немесе одан да көп болуы мүмкін. 2. Айнымалылық (шашырау) шамалары: Бұл бізге деректер қаншалықты шашыраңқы немесе шоғырланғанын айтады. Аралық (Range): Ең қарапайым өлшем – бұл ең жоғары және ең төменгі мәндер арасындағы айырмашылық. Есептеу оңай, бірақ ол тек екі деректер нүктесін пайдаланады және аралықтағы шашырау туралы ештеңе айтпайды. Дисперсия (Variance): Бұл әрбір деректер нүктесінің орташа арифметикалықтан қаншалықты алыс екенін өлшейді. Ол орташа арифметикалықтан айырмашылықтарды квадраттау, оларды қосу және деректер нүктелерінің санына бөлу арқылы есептеледі (немесе үлгі үшін n-1). Квадраттау барлық мәндерді оң етеді және үлкен ауытқуларды баса көрсетеді. Стандартты ауытқу (Standard Deviation): Бұл дисперсияның квадраттық түбірі. Бұл өте пайдалы, өйткені ол шашырау өлшемін деректердің бастапқы бірліктеріне қайтарады. Кіші стандартты ауытқу деректер нүктелерінің орташа арифметикалық айналасында тығыз шоғырланғанын білдіреді, ал үлкен стандартты ауытқу олардың кең ауқымда шашыраңқы екенін көрсетеді. 3. Деректерді визуализациялау: Сандар тамаша, бірақ кейде сурет мың сөзден (немесе сандардан) артық. Гистограммалар: Бұл сандық деректердің
4-бөлім: Кездейсоқтық биі – Ықтималдыққа кіріспе
Жақсы, енді бағытымызды біршама өзгертейік. Әзірге біз бар деректерді сипаттау туралы айттық. Бірақ болашақ туралы не деуге болады? Әлі болмаған оқиғалар туралы ше? Міне, осында ықтималдық кіреді. Бұл белгісіздіктің математикалық тілі және ол статистиканың негізі болып табылады. Клу кітабы 1986 жылдан болғанымен, ықтималдық ұғымдары мәңгілік. Бұл бір нәрсенің болу ықтималдығын сандық бағалау туралы. Ойлап көріңіз: монетаны лақтырғанда, ол бас немесе құйрыққа түсетінін білесіз, бірақ 100% сенімді бола алмайсыз. Ықтималдық бұл «мүмкіндікті» білдіруге жол береді. Клу, бәлкім, ықтималдықты кейбір негізгі идеялар арқылы таныстырар еді: Оқиғалар: Оқиға – бұл кездейсоқ эксперименттің (монетаны лақтыру, сүйекті домалату немесе карта тарту сияқты) нәтижесі немесе нәтижелер жиыны. Үлгі кеңістігі: Бұл эксперименттің барлық мүмкін нәтижелерінің жинағы. Монета лақтыру үшін, үлгі кеңістігі {Бас, Құйрық}. Алты жақты сүйекті домалату үшін, ол {1, 2, 3, 4, 5, 6} болады. Оқиғаның ықтималдығы: Бұл 0 мен 1 (немесе 0% және 100%) арасындағы сан, ол оқиғаның болу ықтималдығын білдіреді. 0 ықтималдығы оқиғаның мүмкін емес екенін, ал 1 ықтималдығы оның сөзсіз болатынын білдіреді. Ықтималдықты қалай есептейміз? Классикалық ықтималдық: Барлық нәтижелер тең мүмкін болған кезде қолданылады. Оны былай есептейсіз: P(Оқиға) = (Қолайлы нәтижелер саны) / (Барлық мүмкін нәтижелер саны) Мысалы, әділ сүйекті 4-ке түсіру ықтималдығы 1 (қолайлы нәтиже: 4-ті түсіру) бөлінген 6 (барлық мүмкін нәтижелер: 1, 2, 3, 4, 5, 6), сондықтан P(4-ті түсіру) = 1/6. Эмпирикалық (немесе салыстырмалы жиілік) ықтималдық: Бұл бұрынғы эксперименттерден немесе бақылаулардан алынған деректерге негізделген. Оны былай есептейсіз: P(Оқиға) = (Оқиға болған уақыттар саны) / (Барлық бақылаулар саны) Бұл нақты өмірде болады. Егер белгілі бір әуе компаниясы 100 рейсінің 5-ін кешіктірген болса, кешігудің эмпирикалық ықтималдығы 5/100 = 0.05 болады. Субъективті ықтималдық: Бұл жеке сенімге, тәжірибеге немесе интуицияға негізделген. Бұл аз математикалық және көбірек білікті болжам. Мысалы, жаттықтырушы командасының келесі ойында жеңу ықтималдығы 70% деп айтуы мүмкін. Клу, бәлкім, классикалық және эмпирикалық тәсілдерге баса назар аударған болар еді, өйткені олар статистикалық қорытындылардың негізін құрайды. Ол сондай-ақ келесілерді таныстыруы мүмкін: Қарапайым ықтималдық ережелері: А оқиғасы немесе В оқиғасының ықтималдығы (қосу ережесі) және А оқиғасы және В оқиғасының ықтималдығы (көбейту ережесі) сияқты. Бұл ережелер оқиғалар тәуелді (біреуінің нәтижесі екіншісіне әсер етеді) немесе тәуелсіз болғанда сәл күрделіленеді. Комплементарлы оқиғалар: Оқиғаның болу ықтималдығы плюс оның болмау ықтималдығы әрқашан 1-ге тең. Сондықтан, P(емес A) = 1 - P(A). Ықтималдықты түсіну өте маңызды, өйткені ол бізге болған нәрсені сипаттаудан мүмкін болатын нәрсе туралы білікті болжамдар жасауға көшуге мүмкіндік береді. Ол сипаттамалы статистика мен қорытынды статистика арасындағы алшақтықты жабады. Ол тәуекелді түсінуге, болжамдар
5-бөлім: Үлгілерден популяцияларға – Қорытынды статистика басталады
Міне, істер көбінесе шынымен қызықты болатын жер – және кейбіреулер үшін қорқынышты болуы мүмкін. Біз деректерді сипаттау және кездейсоқтықты түсіну туралы айттық. Енді статистикалық талдаудың көптеген мақсаттарының негізін қарастырайық: қорытынды статистика. Негізгі идея мынадай: сіз қызықтыратын барлық адамдардан немесе барлық нәрселерден (бүкіл популяция) деректер жинау әдетте мүмкін емес немесе практикалық емес. Сондықтан сіз кішірек, басқаруға болатын топтан ( үлгі ) деректер жинайсыз және бұл үлгі деректерін бүкіл популяция туралы білікті болжамдар немесе қорытындылар жасау үшін пайдаланасыз. Мәселен, миллиондаған адамдардың дауыс беру ниетін білгісі келетін сауалнама жүргізушісін елестетіңіз. Олар бәрінен сұрай алмайды. Оның орнына, олар мұқият таңдалған мыңдаған адамдардан (үлгі) сауалнама жүргізеді және бүкіл популяцияның қалауын бағалау үшін статистикалық әдістерді пайдаланады. Бұл бағалаудың сапасы үлгінің популяцияны қаншалықты жақсы көрсететініне және қолданылған статистикалық әдістерге байланысты. Клудың 1986 жылғы кітабы бұл процестің негізін құрайтын негізгі ұғымдарды енгізуі мүмкін: Популяция және үлгі: Бұл негізгі айырмашылық. Популяция – сіз бір нәрсе туралы білгіңіз келетін бүкіл топ (мысалы, елдегі барлық ересектер, зауыт шығаратын барлық шамдар). Үлгі – сіз шынымен деректер жинайтын популяцияның ішінара бөлігі (мысалы, кездейсоқ таңдалған 1000 ересек, сыналған 50 шам). Кездейсоқ іріктеу: Дұрыс қорытындылар жасау үшін сіздің үлгіңіз популяцияны көрсететін болуы керек. Мұны іске асырудың ең жақсы жолы – кездейсоқ іріктеу, мұнда популяцияның әрбір мүшесі таңдалу мүмкіндігіне ие болады. Бұл ықпалды азайтуға көмектеседі. Параметрлер және статистика: Параметр – бұл популяцияның сандық сипаттамасы (мысалы, барлық ересек еркектердің шынайы орташа бойы). Статистика – бұл үлгінің сандық сипаттамасы (мысалы, сіздің зерттеуіңіздегі 100 еркектің орташа бойы). Біз популяция параметрлерін бағалау үшін үлгі статистикасын пайдаланамыз. Қорытынды статистиканың негізгі құралдары: Клу, бәлкім, негізгі әдістерді қамтыған болар еді: Бағалау: Бұл популяция параметрін бағалау үшін үлгі статистикасын пайдалануды қамтиды. Екі негізгі түрі бар: Нүктелік бағалау: Параметр үшін ең жақсы болжам ретінде бір санды ұсыну (мысалы, үлгі орташасы – біздің популяция орташасы үшін нүктелік бағалау). Интервалдық бағалау (Сенімділік интервалдары): Сенімділік деңгейімен бірге популяция параметрінің болуы мүмкін болатын мәндер диапазонын ұсыну (мысалы, «Біз ересек еркектердің шынайы орташа бойы 170 см мен 175 см арасында болатынына 95% сенімдіміз»). Бұл нүктелік бағалаудан әлдеқайда ақпараттырақ, өйткені ол қатысы бар белгісіздікті мойындайды. Гипотезаны тестілеу: Бұл үлгі деректері негізінде популяция параметрлері туралы шешімдер қабылдауға арналған ресми процедура. Сіз гипотезадан (популяция туралы мәлімдеме, нөлдік гипотеза деп аталады) бастайсыз және содан кейін сол гипотезаны жоққа шығаруға жеткілікті дәлел бар-жоғын анықтау үшін үлгі деректеріңізді
