লজিস্টিক রিগ্রেশন: তত্ত্ব, রূপান্তর ও প্যারামিটার অনুমান পদ্ধতি
পরিচিতি
লজিস্টিক রিগ্রেশন হল বাইনারি ক্লাসিফিকেশনের জন্য সর্বাধিক ব্যবহৃত মডেলগুলোর একটি। এটি ইনপুট ভেক্টর X‑এর উপর ভিত্তি করে আউটপুট লেবেল Y (0 অথবা 1) এর সম্ভাবনা অনুমান করে।
লগিট ও অডস (Odds)
- অডস = P(Y=1|X) / P(Y=0|X)
- লগিট (log‑odds) = log(অডস)
- লগিটকে রৈখিক ফাংশন হিসেবে মডেল করা হয়: logit(P) = β₀ + β·X
- লগিটের রূপান্তরকে লগিট ট্রান্সফরমেশন বলা হয়, যা রৈখিক রিগ্রেশন‑এর সাথে সামঞ্জস্যপূর্ণ করে।
সিগময়েড ফাংশন
লগিটের বিপরীত হল সিগময়েড (logistic) ফাংশন:
P(Y=1|X) = 1 / (1 + e^{-(β₀+β·X)})
- যখন P > 0.5 হলে পূর্বাভাস 1, অন্যথায় 0।
- এই ফাংশন নিশ্চিত করে যে সম্ভাবনা 0 ও 1 এর মধ্যে সীমাবদ্ধ থাকে।
সিদ্ধান্ত সীমানা
- সিদ্ধান্ত সীমানা হল β₀ + β·X = 0
- একমাত্র মাত্রার ক্ষেত্রে এটি একটি সরলরেখা; বহু মাত্রার ক্ষেত্রে এটি একটি হাইপার‑প্লেন।
- সীমানা দুই ক্লাসের মধ্যে বিভাজন করে এবং ভিজ্যুয়ালাইজেশন সহজ করে।
সর্বাধিক সম্ভাব্যতা (MLE)
- প্যারামিটার β অনুমান করার জন্য Maximum Likelihood Estimation ব্যবহার করা হয়।
- লাইকেলিহুড ফাংশন: L(β) = Π_i P_i^{y_i} (1-P_i)^{1-y_i}
- লগ‑লাইকেলিহুডের ডেরিভেটিভ শূন্যের সমান করে β‑এর মান পাওয়া যায়, তবে সরাসরি সমাধান করা কঠিন কারণ এক্সপোনেনশিয়াল টার্ম থাকে।
গ্রেডিয়েন্ট ও নিউটন‑র্যাফসন পদ্ধতি
- গ্রেডিয়েন্ট ডিসেন্ট: β ← β - η ∇ℓ(β)
- নিউটন‑র্যাফসন (বা IRLS): হেসিয়ান ব্যবহার করে দ্রুত কনভার্জেন্স অর্জন করে।
- পুনরাবৃত্তিমূলক পদ্ধতিতে পুরনো অনুমান β^{old} থেকে নতুন অনুমান β^{new} গণনা করা হয়।
ইটারেটিভ রি‑ওয়েটেড লিস্ট স্কোয়ার (IRLS)
- লজিস্টিক রিগ্রেশনকে ওজনযুক্ত লিনিয়ার রিগ্রেশন হিসেবে পুনর্লিখন করা যায়।
- ওজন ম্যাট্রিক্স W এর ডায়াগোনাল এন্ট্রি = P_i (1-P_i)
- আপডেট সূত্র: β^{new} = (XᵀWX)^{-1} XᵀWz, যেখানে z হল সমন্বিত রেসিডুয়াল ভেক্টর।
- এই পদ্ধতি নিউটন‑র্যাফসনের একটি বিশেষ রূপ এবং অধিকাংশ স্ট্যাটিস্টিক্যাল সফটওয়্যারে ডিফল্টভাবে ব্যবহৃত হয়।
ব্যবহারিক দিক ও সংবেদনশীলতা বিশ্লেষণ
- মডেল প্রশিক্ষণের পরে সেন্সিটিভিটি অ্যানালাইসিস (বা বৈশিষ্ট্য গুরুত্ব) করা যায়, যা β‑এর মানের মাধ্যমে প্রতিটি ফিচারের অবদান প্রকাশ করে।
- লজিস্টিক রিগ্রেশন দ্রুত, ব্যাখ্যাযোগ্য এবং বড় ডেটাসেটেও কার্যকর, তাই মেডিকেল ডায়াগনোসিস, মার্কেটিং ক্যাম্পেইন ইত্যাদিতে ব্যাপকভাবে ব্যবহার হয়।
উপসংহার
লজিস্টিক রিগ্রেশন একটি সহজ কিন্তু শক্তিশালী ক্লাসিফায়ার, যার মূল ধারণা হল লগিট রূপান্তর, সিগময়েড ফাংশন এবং সর্বাধিক সম্ভাব্যতা ভিত্তিক প্যারামিটার অনুমান। গ্রেডিয়েন্ট‑ডিসেন্ট, নিউটন‑র্যাফসন ও IRLS পদ্ধতি ব্যবহার করে β‑এর মান কার্যকরভাবে নির্ণয় করা যায়, ফলে মডেলটি বাস্তব সমস্যায় সহজে প্রয়োগযোগ্য হয়।
লজিস্টিক রিগ্রেশন তার সরল রূপান্তর, স্পষ্ট সিদ্ধান্ত সীমানা এবং কার্যকর প্যারামিটার অনুমান পদ্ধতির মাধ্যমে বাইনারি ক্লাসিফিকেশনের জন্য আদর্শ পছন্দ, যা তাত্ত্বিক ভিত্তি ও ব্যবহারিক সুবিধা উভয়ই প্রদান করে।
Frequently Asked Questions
Who is Introduction to Machine Learning IITM on YouTube?
Introduction to Machine Learning IITM is a YouTube channel that publishes videos on a range of topics. Browse more summaries from this channel below.
Does this page include the full transcript of the video?
Yes, the full transcript for this video is available on this page. Click 'Show transcript' in the sidebar to read it.
Helpful resources related to this video
If you want to practice or explore the concepts discussed in the video, these commonly used tools may help.
Links may be affiliate links. We only include resources that are genuinely relevant to the topic.