ANOVA Test
Last updated
Last updated
"কম্পিটিশন এ পার্টিসিপেট করা, এ আর কঠিন কি, কোড দেখে সেটা জুলিয়াস দিয়ে সাইজ দিয়ে, পেস্ট করলেই তো কাজ হয়ে গেলো"
"খুব সম্ভব না, এতে করে নিজেকে নিজে ফাঁকি দিলেন, শিখলেন না কিছুই। কম্পিটিশন এ পার্টিসিপেট করতে হলে, অনেক কিছু (ডাটাসেট কেমন, কি করতে হবে, ব্যাকগ্রাউন্ড স্টাডি, ডোমেইন নলেজ, টার্গেট ভ্যারিয়েবল কি, স্যাম্পল সাবমিশন ইত্যাদি) বুঝে তারপরে পার্টিসিপেট করা লাগে। এতো সোজা না ভাই"
"তাহলে জুলিয়াস দিয়ে কি কি স্ট্যাটিস্টিক্স টেস্ট করা যায়, সেগুলো শিখান"
"আমি চেষ্টা করতে পারি ভাই, শিখার গ্যারান্টি দিতে পারবো না। তবে যদি মজা পেয়ে যান, মনে থাকবে, সাথে ডাটাসেটের উপর প্রাকটিস মাস্ট"
কথা হচ্ছিলো আমার ই -বুকের একজন পাঠক এর সাথে। এরকম প্রচুর ম্যাসেজ আমি পেয়েছি ইবুকটি লেখা শুরু করার পর। তাই ভাবলাম আমার কাজের অভিজ্ঞতা থেকে ৫ টি স্ট্যাটিস্টিকাল টেস্ট জুলিয়াস এর মাদ্ধমে করে বিস্তারিত লিখি। আমার কাছে মনে হয়েছে, এই টেস্টগুলো ডাটা নিয়ে কাজ করতে গেলে হরদম আপনার কাজে লাগবে। তাই যদি কোথায় কোন টেস্ট টি করতে হবে জেনে যান, ডাটা নিয়ে কাজের ক্ষেত্রে এক ধাপ এগিয়ে গেলেন।
শুরু করছি ANOVA টেস্ট দিয়ে।
কি স্ক্রলিং শুরু করেছেন ? মাত্র তিনটি ANOVA টেস্ট নিয়ে কথা বলেছি যা হচ্ছে one way , two way এবং Repeated measure ANOVA . সাথে আছে কিভাবে টেস্টগুলো জুলিয়াসে কিভাবে RUN করবেন এবং ডাটাসেট এর ওভারভিউ। বলতে ভুলে গেছি - ANOVA হচ্ছে অনেক গ্রূপ এর এভারেজ নিয়ে কাজ। অতটা কঠিন না হয়তো ! এতটুকু পড়ে ফেললে চলুন দেখে আসি তিনরকম ANOVA কোথায় কি কাজে লাগে !
One way ANOVA Test: One way ANOVA Test - তিন বা তিনের বেশি গ্রূপের মধ্যে এভারেজ গুলো compare করে সেগুলো কতটা স্টাটিস্টিক্যালি গুরুত্ব বহন করে - সেটির উত্তর দেয় । কি বুঝতে অসুবিধা হচ্ছে যা বললাম ? তাহলে চলে যাওয়া যাক একটি ডাটাসেটে।
গাছ লাগানো নিয়ে চারপাশে বিভিন্ন কথা হচ্ছে। তাহলে চলুন এমন একটি ডাটাসেট দেখে আসি যেখানে ছয়টি গ্রূপে গাছ কে ভাগ করে লাগানো হয়েছে। প্রত্যেক গ্রূপের জন্য আলাদা আলাদা সার এর প্যকেজ তৈরী করে গাছদের উপরে প্রয়োগ করা হয়েছে। সার প্রয়োগ করার পরে গাছদের এভারেজ উচ্চতা মেপে রেকর্ড করা হয়েছে। এখানে গাছদের এভারেজ উচ্চতা (ডিপেন্ডেন্ট) সারের প্যাকেজের (ইন্ডিপেন্ডেন্ট- কোনো কিছুর উপরে নির্ভর করে না) উপর অনেকখানি নির্ভর করে। তাই এভারেজ উচ্চতা ডিপেন্ডেন্ট ভ্যারিয়েবল এবং সারের প্যাকেজ ইন্ডিপেন্ডেন্ট ভ্যারিয়েবল।
এতটুকু যদি বুঝতে পেরে থাকেন তাহলে আপনার ৫০% বোঝা শেষ। এবার এই ডাটাসেটের উপরে আমাদের দুটো স্টেটমেন্ট দাড়া করতে হবে।
Null Hypothesis (H0): The means of plant weights are the same across all fertilizer treatments.
Alternative Hypothesis (H1): At least one fertilizer treatment has a mean plant weight that is different from the others.
(H0) স্টেটমেন্ট ১ : ৬টি ভিন্ন গ্রূপের সারের প্যাকেজের সব গাছদের এভারেজ উচ্চতা সমান
(H1) স্টেটমেন্ট ২: ৬টি ভিন্ন গ্রূপের সারের প্যাকেজের সব গাছদের এভারেজ উচ্চতা সমান নয় বা এটলিস্ট একটি সারের প্যাকেজের কারণে রেকর্ডকৃত গাছের এভারেজ উচ্চতা অন্য সবার থেকে আলাদা
স্ট্যাটিস্টিক্স এর ভাষায় স্টেটমেন্ট ১ কে বলে Null Hypothesis এবং স্টেটমেন্ট ২ কে বলে Alternative Hypothesis
এবার জুলিয়াস আমাদের বলে দিবে কোন স্টেটমেন্ট কে আমরা গ্রহণ করবো। ডাটাসেট আপলোড করে জুলিয়াস কে বলে দিলাম one way anova টেস্ট এর জন্য। কারণ এখানে একটি ইন্ডিপেন্ডেন্ট ভ্যারিয়েবল আছে। জুলিয়াস এর উত্তর :
The results of the ANOVA test are as follows:
F-statistic: 31.6413
P-value: Interpretation: The very low p-value (much less than 0.05) suggests that we reject the null hypothesis. This indicates that there are statistically significant differences in the average weights of plants across the different fertilizer treatments.
In summary, the type of fertilizer does have a significant effect on plant growth, as evidenced by the differences in average weights. Further analysis could involve identifying which specific groups differ from each other using post-hoc tests.
সুতরাং বুঝাই যাচ্ছে আমরা (H0) স্টেটমেন্ট ১ : ৬টি ভিন্ন গ্রূপের সারের প্যাকেজের সব গাছদের এভারেজ উচ্চতা সমান - এই স্টেটমেন্ট কে রিজেক্ট করেছি।
কারণ এটি স্পষ্ট যে ৬টি ভিন্ন গ্রূপের সারের প্যাকেজের সব গাছদের এভারেজ উচ্চতা সমান নয় বা এটলিস্ট একটি সারের প্যাকেজের কারণে রেকর্ডকৃত গাছের এভারেজ উচ্চতা অন্য সবার থেকে আলাদা হবে। কারণ এক একটি সারের ব্লেন্ড এ ইনগ্রেডিয়েন্ট এক এক রকমভাবে গাছদের এভারেজ উচ্চতার ক্ষেত্রে প্রভাব রেখেছে। তার মানে ভিন্ন ভিন্ন সারের প্যাকেজ গাছের এভারেজ উচ্চতার জন্য ভিন্ন ভিন্ন ভাবে কাজ করেছে।
আশা করি one way anova টেস্ট বুঝাতে পেরেছি !
anova টেস্ট এর বিস্তারিত : https://julius.ai/s/788fea51-d9f6-4286-8059-4724412d90fc
Two way ANOVA Test: এবার চলে আসি Two way ANOVA টেস্টে।
ডাটাসেটটি একটু দেখে নেই
আমাদের এবারের ডাটাসেট - গাছের হাইট ডিপেন্ড করছে- কি ফার্টিলাইজার দেওয়া হবে এবং দিনে কতবার ওয়াটারিং বা পানি দেওয়া হবে তার উপরে। সুতরাং এখানে :
Two Independent Variables:(যা অন্যের উপরে ডিপেন্ড করে না, পুরপুরি স্বাধীন )
Fertilizer Type (2 levels: Organic, Chemical)
Watering Frequency (2 levels: Daily, Every Other Day)
One Dependent Variable: Height (cm) (quantitative) (যা অন্যের উপরে ডিপেন্ড করে, যেমন উচ্চতা ডিপেন্ড করছে সার এবং পানি দেওয়ার পরিমানের উপরে )
প্রথমেই আমরা হাইপোথিসিস সেট করে নেই :
Null Hypothesis : There is no interaction between fertilizer type and watering frequency on
plant height.
Alternative Hypothesis : There is an interaction between fertilizer type and watering frequency affecting plant height.
সহজ ভাবে বলতে গেলে ফার্টিলিজার এবং ওয়াটারিং গাছের উচ্চতার উপরে প্রভাব ফেলে কি না সেটাই দেখা যাবে এই two way anova টেস্টে
ডাটাসেট লোড করে জুলিয়াস কে বলা হলো টেস্ট রান করতে। সরাসরি চলে যাবো রেজাল্টে:
Fertilizer Type: This factor has a significant effect on plant height, as indicated by a very small p-value (3.95e-08). The sum of squares (sum_sq) associated with this factor is 210.25, which suggests a strong variation in plant height due to different fertilizer types.
Watering Frequency: This factor also significantly affects plant height, with a p-value of 4.07556e-05. The sum of squares is 55.5025, indicating a notable variation due to watering frequency.
Interaction (Fertilizer Type:Watering Frequency): The interaction between fertilizer type and watering frequency is not significant (p-value = 0.2947525709), suggesting that the effect of one factor does not depend significantly on the other.
Residual: The residual sum of squares is 16.895, with 12 degrees of freedom, representing the variation in plant height not explained by the two factors and their interaction.
In simple terms, both the type of fertilizer and the frequency of watering significantly influence plant height independently, but their combined effect does not show a significant interaction.
বুঝা যাচ্ছে যদিও পানি এবং সার দেওয়া দুটো আলাদা আলাদা ভাবে গাছের এভারেজ উচ্চতার জন্য খুব ভালো ভাবে দায়ী, কিন্তু দুটো ভ্যারিয়েবল একসাথে গাছের এভারেজ উচ্চতাকে কোনো ইমপ্যাক্ট করে না। আরেকটু সহজভাবে বুঝার জন্য টেস্ট সামারি টা একটু পড়ে নেই :
The analysis shows that both the type of fertilizer and the frequency of watering independently have significant effects on the height of plants. However, the interaction between these two factors does not significantly influence the plant height. This means that the impact of one factor on plant height does not depend on the level of the other factor.
টেস্ট এর বিস্তারিত : https://julius.ai/s/77a11053-bbf3-495b-b56c-754b1d9183e3
Repeated Measure ANOVA Test: চলুন আগে ডাটাসেটটি দেখে নেই
Scenario: This data explores the memory recall performance of students before and after a short learning session. মানে হচ্ছে , ৫ জন স্টুডেন্ট এর মেমোরির স্ট্রেংথ দুইভাবে টেস্ট করা হয়েছে। একটি করা হয়েছে লেসন দেওয়ার আগে এবং আরেকটি লেসন দেওয়ার পরে। আমরা জানতে চাই লেসন দেওয়ার আগে এবং লেসন দেওয়ার পরে তাদের মেমোরির স্ট্রেংথ (১ - ১০ হচ্ছে মার্কিং স্কেল ) এর যেই স্কোরিং ডিফারেন্স সেটি আসলেই সিগ্নিফিক্যান্ট কি না।
যেহেতু ৫ জন স্টুডেন্ট কে ২ বার করে (before এবং after ) এখানে টেস্ট করা হয়েছে তাই এখানে
One Independent Variable: Time Point (2 levels: Before, After) learning session
One Dependent Variable: Recall Score (quantitative, score out of 10)
Repeated Measures: The same students (1-5) are measured at two time points.
এই ধরণের টেস্ট কে Repeated Measure ANOVA Test বলে
এবার চলুন দেখে আসি রেজাল্ট কি বলে :
The Repeated Measures ANOVA test was successfully conducted on the dataset. Here are the results:
F Value:
Num DF (Numerator Degrees of Freedom): 1.0000
Den DF (Denominator Degrees of Freedom): 4.0000
Pr > F (p-value): 0.0000
The extremely high F-value and a p-value of 0.0000 suggest that there is a statistically significant difference in the recall scores between the two time points ("Before" and "After"). This indicates that the changes observed in recall scores are likely not due to random chance.
অথবা আমরা যদি দুটো হাইপোথেসিস সেট করি তাহলে বুঝতে আরেকটু সহজ হবে :
Hypotheses: Null Hypothesis (H0): There is no difference in recall scores between the two time points (Before and After).
Alternative Hypothesis (H1): There is a difference in recall scores between the two time points (Before and After).
Explanation: The purpose of the Repeated Measures ANOVA is to determine if the recall scores of students significantly change from the "Before" time point to the "After" time point. In this context, the recall scores are measured on a scale of 0 to 10, and each student's score is recorded at two different times.
The ANOVA test resulted in an extremely high F-value and a p-value of 0.0000.
Here's what these results imply:
F-value: This value is a measure of the ratio of the variance between the groups (time points) to the variance within the groups (individual variability in scores). A very high F-value suggests that the variance between the "Before" and "After" scores is significantly larger than the variance within each time point. p-value:
This value tells us the probability of observing the data, or something more extreme, if the null hypothesis is true. A p-value of 0.0000 is typically considered strong evidence against the null hypothesis. In this case, it suggests that it is extremely unlikely that the observed differences in recall scores are due to random chance.
Given the results, we reject the null hypothesis and accept the alternative hypothesis, indicating that there is a statistically significant difference in recall scores from before to after. This suggests that whatever intervention or event occurred between these two time points had a measurable effect on recall scores.
স্পষ্টত বুঝা যাচ্ছে লেসন দেওয়ার আগে এবং লেসন দেয়ার পরে ছাত্রদের মেমোরি রিকল এর স্ট্রেংথ এর স্কোরিং এর পার্থক্য আছে।
Test এর বিস্তারিত : https://julius.ai/s/cbc0ec13-c698-4f44-b47c-a0f9b5893796
আশা করি বুঝতে পেরেছি Repeated Measure Anova কিভাবে এবং কোথায় used হয়।
In simpler terms, ANOVA calculates an F-statistic, a ratio of the variance between groups to the variance within groups. A higher F-value indicates a more significant difference between the group means.
আপাতত এই তিনরকম anova যদি মাথায় রাখেন ডাটা নিয়ে কাজ করার ক্ষেত্রে অনেকদূর এগিয়ে যাবেন। বলে রাখি, এই তিনরকম anova ছাড়াও anova এর আরো অনেক প্রকার আছে Mixed ANOVA, Multivariate ANOVA (MANOVA),Analysis of Covariance (ANCOVA), Multivariate Analysis of Covariance (MANCOVA), যা আলোচনা করে সবার বিরক্তির কারণ হতে চাই না।
যেটুকু শিখবেন, এমনভাবে শিখবেন যাতে করে আপনার knowledge টুকু সঠিক জায়গায় এবং সময়ে apply করতে পারেন। হাজারটা কনসেপ্ট শিখে, কখন কোনটা প্রয়োগ করতে হবে সেটি জানলেন না - এই শিখার মূল্য কতটুকু ?
এনোভা টেস্টের কিছু বাস্তব উদাহরণ পেয়ে যাবেন নিচের লিংকে
