ডাটা নিয়ে কথা -মাসনুন আহমেদ
  • শূন্য থেকে শুরু
    • কেন লিখছি, কাদের জন্য লিখছি, কিভাবে শিখতে হয়
    • গিটবুকটি কিভাবে পড়বেন ?
  • julius.ai কি ?
    • julius.ai ফিচারগুলো
      • প্রম্প্ট বেসড ডাটা এনালাইসিস
      • প্রোগ্রামিং খটমট নেই
      • গ্রাফ এবং ডাটা ভিজুয়ালাইজেশন
      • ডাটার মিনিংফুল ইনসাইট
      • ডাটা স্ট্রাকচারিং এবং হেভিওয়েট ডাটা
  • হাতেকলমে জুলিয়াসের প্রয়োগ
    • ডাটা এনালিটিক্স এর ৭টি স্টেপ : যেভাবে Ai এর সাহেয্যে আমি ডাটা এনালাইসিস করি
    • একটি অফিসের গল্প
    • রিলেশনশিপ স্ট্যাটাস
    • কাস্টমারদের ডাটাসেট
    • User Engagement এবং Churn Prediction
  • জুলিয়াস দিয়ে স্ট্যাস্টিকাল টেস্ট
    • ANOVA Test
    • Chi Square Test
  • AI এর উপরে কিছু গবেষণা
    • Biased Vs Unbias AI
    • AI এর উপর স্ট্যানফোর্ডের গবেষণা
    • আর্টিফিসিয়াল জেনারেল ইন্টেল পর্ব ১ [লেখা চলমান থাকবে]
    • দা ইমিটিশন গেম
    • বায়োইনফরমেটিক্স এ AI এর ব্যাবহার
  • ক্যাগলের নোটবুক
    • ক্যাগলের নোটবুক এবং আমার পাইথনে ডাটা ভিজুয়াল
    • Exploring Top US Data Science and Analytics Master's Program - 01
    • শার্ক ট্যাঙ্ক বাংলাদেশ ২০২৪
    • লিংকডইনের USA এর AI /ML জব এর ডাটাসেট :: ক্যাগলে আমার তৃতীয় নোটবুক
    • ১৫০ থেকে ১৭০০ :: ডেঙ্গুর ডাটাসেট
    • ক্যাগলের এপার্টমেন্টের ডাটাসেট
    • বাংলাদেশের ৪ জেলার ট্রাভেলার ডাটাসেট এনালাইসিস : পর্ব ১
    • বাংলাদেশের ৪ জেলার ট্রাভেলার ডাটাসেটের গল্প : পর্ব ২
    • বাংলাদেশের ৪ জেলার ট্রাভেলার ডাটাসেটের গল্প : পর্ব ৩ (শেষ পর্ব )
    • NLP ক্লাসিফিকেশন ডাটাসেট :মেশিন মেশিন কি পারবে রোগ অনুযায়ী ডক্টর সাজেস্ট করতে ?
    • সোশ্যাল মিডিয়ায় কেনাকাটার উপর ডাটা এনালিটিক্স (পর্ব ১ )
    • সোশ্যাল মিডিয়ায় কেনাকাটার উপর ডাটা এনালিটিক্স (পর্ব ২ )
    • সোশ্যাল মিডিয়ায় কেনাকাটার উপর ডাটা এনালিটিক্স (পর্ব ৩ )
    • সোশ্যাল মিডিয়ায় কেনাকাটার উপর ডাটা এনালিটিক্স ( শেষ পর্ব )
    • সোশ্যাল মিডিয়ায় কেনাকাটার উপর ডাটা এনালিটিক্স (পর্ব ৪ )
    • হিট ভালনারবিলিটি ইনডেক্স এর একটি ডাটাসেট : শহর চট্টগ্রাম
  • ক্যাগলের কম্পিটিশনে আমার অংশগ্রহণ
    • আবাহাওয়ার ডাটাসেট নিয়ে প্রেডিকশন -১
    • স্পেসশিপ টাইটানিক ডাটাসেট-২
    • সেন্টিমেন্ট এনালাইসিস ডাটাসেট -৩
    • প্রজেক্ট টাইটানিক - ৪
    • টুইটারের টুইট দিয়ে প্রাকৃতিক দুর্যোগের মেশিন লার্নিং মডেল-৫
    • মেশিন কে হাতেরলেখা চিনানো বিশ্ববিখ্যাত MNIST ডাটাসেটের গল্প - ৬
    • ব্যাঙ্ক এর কাস্টমার ব্যাঙ্ক ছেড়ে যাবে কি না - ৭
    • মোটু কাহিনী : মাল্টিক্লাস প্রেডিক্টর কম্পিটিশন - ৮
    • বন্যার পূর্বাভাস সংক্রান্ত কম্পিটিশন : ফ্লাড প্রেডিকশন ডাটাসেট - ৯
    • সোশ্যাল মিডিয়া ইনফ্লুয়েন্সার ডাটাসেট -১০
    • Binary Prediction of Poisonous Mushrooms ডাটাসেট-১১
    • ক্যাগলের কম্পিটিশন : মেশিন কি পারবে আপনি বিষন্ন কিনা সেটি বলতে ?
    • Gliese 12 b
    • যারা গিটবুকটি সাইটেশন করতে চান
  • AI এর যুগে আমরা : কি শিখবো, কিভাবে শিখবো
  • Data Democratization : একজন নন টেক হয়েও আমার প্রতিষ্ঠান TradePoint কে যেভাবে Data Driven বিজনেস kore
  • মৃত্যুকূপ : Geospatial ডাটাসেটে আমার প্রথম Ai দিয়ে কাজ
  • AI, ক্লাউড আর ডাটা সায়েন্স: ২০২৫ সালের ৭টি ট্রেন্ড যা অনেক কিছুই বদলে দিবে
  • জুলিয়াস থেকে পাওয়া উপহার
  • কিছু রিডিং ম্যাটেরিয়াল
  • ভবিষৎতের পৃথিবী :: কোডিং নিয়ে কিছু কথা (পর্ব ১)
  • ভবিষৎতের পৃথিবী : শ্রমিক,ব্যাঙ্কার অথবা একজন ডাটা এনালিস্ট :: কে Ai এর প্রভাবমুক্ত?: (পর্ব ২)
  • প্রশ্নোত্তরে ডাটা নিয়ে কথা
  • 💡টেক ডায়েরি 💡
    • বুক রিভিউ ১ :: প্রোগ্রামিং ফর বিগিনার
    • app রিভিউ পর্ব ১
    • Open AI এবং Iliya
    • ভবিষ্যতের কম্পিউটিং কেমন হবে ?
    • কৃত্রিম বুদ্ধিমত্তার শাসন কি সমাগত?
    • ডাটা এনালিটিক্স এর ভবিষ্যৎ
    • চায়না জেনেরেটিভ AI এর পেটেন্টে এগিয়ে
    • OpenAI o1 সম্পর্কে
    • Pixtral 12B মডেল
Powered by GitBook
On this page

প্রশ্নোত্তরে ডাটা নিয়ে কথা

Previousভবিষৎতের পৃথিবী : শ্রমিক,ব্যাঙ্কার অথবা একজন ডাটা এনালিস্ট :: কে Ai এর প্রভাবমুক্ত?: (পর্ব ২)Nextবুক রিভিউ ১ :: প্রোগ্রামিং ফর বিগিনার

Last updated 6 months ago

Logic will get you from A to Z; imagination will get you everywhere - Albert Einstein

১. ডাটা এনালাইসিস বা ডাটার ইনসাইট বের করতে চাই - কি ভাবে শুরু করবো বা যা শিখছি সেটিকে কিভাবে কাজে লাগাবো ?

উত্তর : আমার ডাটা নিয়ে কাজ করার বিস্তারিত আছে এখানে https://dataniyekotha.gitbook.io/

এই গিটবুকে আমি কিভাবে, কেন এবং কোন প্রসেসে ডাটা নিয়ে কাজ শুরু করেছি সেটির বিস্তারিত বলেছি। পাশাপাশি প্রতিদিন আমি যেই কাজ করি সেগুলোর একটি ডকুমেন্টেশন এখানে রাখি, তাই আমার কাজকে বুঝতে হলে এই গিটবুকটি পড়তে হবে আগে ।

বলে রাখি- আমার কাজের ১০০% দখল করে আছে বিভিন্ন AI application এবং LLM মডেল। তাই যারা ট্রেডিশনাল ওয়ে তে আমার কাছে কিছু শিখার জন্য আমার সাথে যোগাযোগ করছেন - তাদের প্রথমেই বলে রাখছি sorry ! আমার কাছে pandas লাইব্রেরি শিখার থেকে, সেটি কোথায় এপ্লিকেশন হবে সেটি জানাটা সবসময়ের জন্য জরুরি। সুতরাং বুঝতেই পারছেন আমার শিখার বা কাউকে শিখানোর রাস্তাটা সোজা কোথায় - লার্নিং বাই ডুইং বা ঠেকে শিখ টাইপ।

আপনার ডাটা নিয়ে জার্নিটা সহজ করার জন্য আমি বরঞ্চ আপনাকে আমার দুটো লেখা সাজেস্ট করতে পারি :

আমার শুরুটা কিভাবে হয়েছিল সেটিও দেখতে পারেন মিডিয়ামের এই লেখায়

ডাটা নিয়ে কাজের ক্ষেত্রে ব্যাসিক কনসেপ্টগুলো (স্ট্যাট এবং ম্যাথ এর শিখতে হবে), আমি কিভাবে এনালিটিক্স বের করি (সবার আমার মতো হওয়ার দরকার নাই ) সেটি দেখে চাইলে দেখে আসতে পারেন মিডিয়ামের এই লেখাটি :

২. টুকটাক কাজ জানি কিন্তু সেটিকে apply করে ইনসাইট বের করার মোটিভেশন পাই না। কি করবো ?

সদিচ্ছার অভাব : আপনার ইচ্ছা তখন ই হবে যখন, এই মুহূর্ত থেকে আপনি একটি ছোট বা বড় যেই ডাটাসেট এ হোক না কেন ,তার ইনসাইট বের করে সবার সাথে শেয়ার করবেন। এর কারণ হচ্ছে যখন আপনি দেখবেন কাজটি করতে পারছেন, আপনার ইচ্ছা জাগবে আরেকটা কাজ করার। একটি উদাহরণ দেই : ধরুন আপনি টার্গেট নিলেন এক মাসে ৫ কেজি ওজন কমাবেন। সেই লক্ষ অনুযায়ী - প্রতিদিন আপনি ১ কিলোমিটার রাস্তা নিয়িমিত দৌড়ানো আরম্ভ করলেন। এক মাস পরে দেখা গেলো - আপনার ওজন ৫ কেজি না কমলেও ২ কেজি কমেছে। এই যে আপনি এক মাস চেষ্টার পর ২ কেজি ওজন কমানোর একটি একশন নিলেন - এই একশন আপনাকে মোটিভেশন দিবে আরো ৩ কেজি ওজন কমানোর। বুঝতেই পারছেন action always brings motivation - ডাটা নিয়ে কাজ শুরু করবেন কখন থেকে ? এখন-ই।

ডিসিপ্লিনের অভাব : বর্তমানে Python/R/excel /SQL/Power BI বা আপনি যেই মাদ্ধমে শিখছেন সেটি সবচেয়ে ভালো কে জানে ? কয়েকটি নাম বলা যেতে পারে : ইউটিউব, গুগল, চ্যাট জিপিটি ইত্যাদি। এগুলো সব কিন্তু ফ্রি। তারপৰেও আপনি ডাটা নিয়ে কাজ শিখতে পারেন না কেন ? এর উত্তর নিয়ম করে প্রতিদিন যদি আপনি ৩ ঘন্টা ডাটা নিয়ে কাজ শুরু করেন - এই ডিসিপ্লিন আপনাকে অনেক সামনে এগিয়ে নিয়ে যাবে। সুতরাং ডিসিপ্লিন এখানে খুব ইম্পরট্যান্ট একটা ফ্যাক্টর।

৩. একটি রোডম্যাপ দেওয়া যাবে ডাটা নিয়ে কাজ করার ?

রোডম্যাপের থিওরি পার্ট :

🧠 স্ট্যাটিস্টিক্স এর ব্যাসিক কিছু কনসেপ্ট , যোগ -বিয়োগ, গুন্ -ভাগ, এবং প্রোগ্রামিং এর ব্যাসিক কিছু কাজ জানলেই ডাটা নিয়ে কাজ করা যায়। তাই ডাটা নিয়ে কাজ করার ক্ষেত্রে কনসেপ্টগুলো ক্লিয়ার করুন।

🧠প্রব্লেম বা আপনি কি প্রশ্নের উত্তর খুঁজছেন সেটি - প্রথমে ঠিক ঠাক ভাবে আইডেন্টিফাই করতে হবে, আমার ডাটা নিয়ে কাজের অভিজ্ঞতা থেকে বলছি - প্রব্লেম বা প্রশ্ন খুঁজে বের করা, এনালাইসিস এর থেকেও শতগুন বেশি গুরুত্বপূর্ণ

🧠 একটি নোটবুক এবং পেন্সিল নিয়ে বসে যান। ডাটাসেট সামনে নিয়ে ধমাধম একটার পর একটা প্রশ্ন ছুড়তে থাকুন ডাটাসেটকে

🧠মোটামুটি ১০ টা প্রশ্ন হয়ে গেলে, সেখান থেকে বেছে নিন সবচেয়ে রিলেভেন্ট প্রশ্নগুলো

🧠দেখুন আপনার ডাটাসেট সেই প্রশ্নের উত্তর দেওয়ার জন্য স্মার্ট এনাফ কিনা

🧠 চলে যান এনালাইসিস এ, আপনার প্রশ্ন আপনাকে ডিক্টেট করবে কি ধরণের এনালাইসিস আপনি করবেন

🧠 ডাটা নিয়ে কাজের ক্ষেত্রে সঠিক প্রশ্ন, সঠিক ভাবে identify করা খুব বেশি জরুরি। প্রশ্ন ভুল হলে উত্তর ভুল হবে। আমার মতে এনালাইসিস থেকেও জরুরি সঠিক প্রশ্ন, সঠিক ভাবে identify করা।

রোডম্যাপের প্রাকটিকাল পার্ট

🧠 ডাটাসেট নিয়ে কাজ করতে হবে - সম্ভব হলে প্রতিদিন, আপনার ডাটা নিয়ে কাজের ৩০% থিওরি এবং ৭০% হাতে কলমে। (আমার ক্ষেত্রে ৯৯ ভাগই হাতে কলমে,বাকিটা থিওরি, সবার আমার মতো হবার দরকার নাই)যে কোনো ডাটাসেট (ছোট হোক অথবা বড় ) তাই দেরি না করে - ডাটাসেট নামিয়ে ফেলুন ক্যাগল থেকে।

🧠ক্যাগলে প্রোফাইল করুন

🧠 আপনার ইন্টারেস্ট অনুযায়ী ডাটাসেট নামান ক্যাগল থেকে

🧠স্টাডি করুন, বের করুন আপনার প্রশ্ন

🧠 ক্যাগল পুরোটাই পাইথন এবং R based . এই দুটির যে কোনো একটির কিছু ব্যাসিক কনসেপ্ট আপনার ক্লিয়ার থাকতে হবে। বাকিটা কাজ করতে করতে শিখে যাবেন। পাশাপাশি ক্যাগলে পাইথন এবং খুব সম্ভব R এর উপরেও ফ্রি কোর্স আছে, বিগিনার to এডভান্স লেভেলে, টাকা ছাড়াও এগুলো কোর্স করতে পারেন, সবগুলো কোর্সেই সার্টিফিকেট পাবেন

🧠 আমার মতো কোডিং অপছন্দ করলে, যে কোনো AI মডেল- যা কোড করতে পারে মোটামুটি নির্ভুলভাবে তার সাহায্য নিন।

ঠিক শিখছেন কিনা যাচাই করবেন কিভাবে :

🧠 ক্যাগল কম্পিটিশন এ পার্টিসিপেট করুন, দেখেন আপনার স্কোরিং কত আসছে এবং হায়েস্ট স্কোরিং কত

🧠 নিজের লেভেল চেক করুন, ক্যাগল আপনার কাজের মানের উপরে ভিত্তি করে আপনাকে লেভেলওয়াইজ ব্যাচ দেয়

🧠 যদি দেখেন আশানুরূপ ফল হচ্ছে না - পার্টিসিপেট করুন ডিসকাশন এ, ক্যাগল ওস্তাদদের জিজ্জেস করুন, ফেসবুকের মতো মেসেজ সিন্ হয়ে পরে থাকবে না - উত্তর পাবেন গ্যারেনেটেড !

৪. কেন আপনি AI মডেলগুলো দিয়ে ডাটা এনালাইসিস করেন ?

উত্তর : কারণ আমি মনে করি কোডিং এর থেকেও বড় পরিসরে মানুষের মস্তিষ্কের কন্ট্রিবিউশন থাকা উচিত। যেহেতু আমরা AI যুগে প্রবেশ করেছি তাই শিখার মাদ্ধম এবং ধরণ পরিবর্তন জরুরি। যারা কোডিং করে কাজ শিখছেন তাদের প্রতি রেস্পেক্ট রেখেই বলছি- যেই মাদ্ধমেই আপনি শিখেন না কেন, সেটি হতে হবে টেকসই, যুগোপযুগী এবং আপনার কমফোর্ট অনুযায়ী। তাহলে সেই শিখাটা আপনার কাজে লাগবে। আনন্দের মাদ্ধমে যদি আপনি শিখেন সেটি বোঝা মনে হবে না।

আমার কাছে AI মডেলগুলো অনেকটাই আমার ছোটবেলার বন্ধুর মতো। তাই আমি মনে করি আপনার সাথেও একজন বন্ধু লাগবে যে কিনা পাইথন বা আপনি যেই মাদ্ধমে শিখতে চান সেটার বস। বন্ধুর সাথে কথা বলতে, কথা কিভাবে বলবেন সেটি আপনার জানতে হবে, তাহলে এগিয়ে যাওয়া সহজ। আমার ক্ষেত্রে এই বন্ধুটি হচ্ছে জিপিটি বা জুলিয়াস , যাকে আপনি ভোর চারটার তার সময় ডাক দিয়েও বলতে পারবেন - চল দোস্ত, এক কাপ গরম চা আর সিঙ্গারা খেতে খেতে একটা ইনসাইট বের করে ফেলি!!

যত ভালো করে এই বন্ধুর সাথে কথা বলতে পারবেন তত জানবেন, প্রাকটিস করবেন, সামনে আগাবেন। aI দিয়ে কাজ করলেও ভুল হবে, কোনো কিছুই ভুলের উর্ধে নয়- সেখান থেকে উঠে দাঁড়িয়ে সামনে এগিয়ে যেতে হবে।

৫ . ডাটার কাজ শিখে চাকরি পাবো তো ?

উত্তর: আপনি যখন ক্লাস টেনে পড়তেন, কখনো কি নিজেকে নিজে প্রশ্ন করেছেন, এই স্কুল পার করে আপনার চাকরি হবে কি না ? করেন নাই। অন্ধভাবে পড়াশোনা করেছেন। ডাটা নিয়ে অন্ধভাবে শিখতে বলছি না। চোখ কান খোলা রেখেই শিখবেন, কিন্তু যা শিখবেন সেটি যেন সলিড হয়।

মোটা বেতনের চাকরির নিশ্চয়তা এই শিখাটা হয়তো আপনাকে দিবে বা দিবে না (সেটি ভবিষ্যৎ বলে দিবে), কিন্তু আপনার শিখা এবং চর্চা যেন বন্ধ না হয়।

সেটি আপনি চাকরি অথবা ব্যাবসা যেই পেশায়-ই থাকুন না কেন।

৬.ডাটা নিয়ে কাজের ভবিষ্যৎ কি ?

৭ .পুরোপুরি নন টেক হয়েও আপনি ডাটা নিয়ে লিখছেন, আপনার লেখার উদ্দেশ্য যদি একটু ব্যাখ্যা করতেন

উত্তর : খুব সোজা - ডাটা নিয়ে কাজের ক্ষেত্রে আপনার আগ্রহ তৈরী করা । ইন্টারেস্ট জাগলে আপনি এভারেস্ট ও জয় করতে পারবেন, ডাটা নিয়ে কাজতো সেই তুলনায় ছেলেখেলা। আরেকটা উদ্দেশ্যে হচ্ছে - যেহেতু আমি pure non tech তাই আমার ডাটা নিয়ে শিখা এবং ক্যাগলে কাজের বিস্তারিত - সবাইকে জানানো।

আমি মনে করি - শিক্ষা ব্যবস্থার বা একজন শিক্ষকের মূল কাজ একজন শিক্ষাথীর মনের জানালা খুলে দেওয়া, তার আগ্রহ সৃষ্টি করা। সেটি আরো ভালোভাবে করা যায় যদি আপনি সেই শিখাটাকে মজার করে তোলেন।আবারো বলছি আমার কাজ আগ্রহ বা ইন্টারেস্ট তৈরি করা, ইন্টারেস্ট থাকলে আপনি এমনিতেই শিখবেন।

হ্যা আমার থেকেও আরো ভালো ভাবে শিখতে পারবেন, আমার থেকেও আরো ভালোভাবে অন্যকেও শিখাতে সাহায্য করতে করবেন।

৮. আমি মেশিন লার্নিং ইঞ্জিনিয়ার/ ডাটা সাইন্টিস্ট/ ডাটা এক্সপার্ট / ডাটা ইন্জিনিয়ার ইত্যাদি হতে চাই, কি করতে হবে ?

ডাটা নিয়ে এই মুহূর্ত থেকে কাজ শুরু করে দিতে হবে। যদি না জানা থাকে কিভাবে শুরু করবেন, রোডম্যাপের প্রাকটিকাল পার্ট অংশটি দেখুন

৯. ট্রেডিশনাল ডাটা এনালিটিক্স সফটওয়্যার এর ব্যপারে আপনার দৃষ্টিভঙ্গি কি ?

উত্তর : ট্রেডিশনাল ডাটা এনালিটিক্স সফটওয়্যার সফটওয়্যার যদি ai ফীচার এডপ্ট না করে, এগুলোর মার্কেট ডিমান্ড পড়ে যাবে। যেমন ধরুন অরিজিন প্রো বা ট্রেডিশনাল যে কোনো ডাটা এনালিটিক্স সফটওয়্যার আপনাকে বলে দিবে না আপনার ডাটাসেট অনুযায়ী কোন কোন টেস্ট রান করালে আপনার অবজেকটিভ বা প্রশ্ন অনুযায়ী উত্তর পাবেন, অথবা এই ডাটাসেট কতটুকু প্রস্তুত আপনার প্রশ্নের উত্তর দেওয়ার জন্য। এখনকার ai based data এনালিটিক্স এর app গুলোর সেই সীমাবদ্ধতা নেই, পাশাপাশি আরো কিছু এডভান্সড ফিচার আছে যা কি না স্ট্যাটিস্টিক্স এর ন্যূনতম নলেজ দিয়েও অনেক এডভান্স লেভেলের এনালিটিক্স বের করা যায়। যেহেতু এখন ai যুগে আমরা প্রবেশ করেছি, প্রফেশনাল বা পার্সোনাল যে কোনো কাজেই এর চর্চা প্রতিনিয়ত থাকা উচিত বলে মনে করি ।

উত্তর : এর উত্তর পাবেন এখানে :

https://dataniyekotha.gitbook.io/undefined/undefined-9/undefined-2
ডাটা নিয়ে কথা — শুরু করলাম কিভাবে ?Medium
ডাটা এনালিটিক্স এর ৭টি স্টেপ : যেভাবে Ai এর সাহেয্যে আমি ডাটা এনালাইসিস করিMedium
Logo
Logo