شبکه‌های عصبی کپسولی: معماری هوشمند درک بصری ماشین‌ها

مقدمه

مشکل شبکه‌های کانولوشنال چیست؟

• تغییرات زاویه دید: اگر شیء بچرخد یا از زاویه متفاوتی دیده شود
• حملات مخالف (Adversarial Attacks): تغییرات کوچک در تصویر که برای انسان نامحسوس است اما شبکه را فریب می‌دهد
• اشیاء غیرواقعی: ترتیب‌های نادرست اجزا که منطقاً نباید وجود داشته باشند

کپسول‌ها چطور کار می‌کنند؟

ساختار یک کپسول

• طول بردار: احتمال وجود یک ویژگی خاص را نشان می‌دهد (عددی بین 0 تا 1)
• جهت بردار: ویژگی‌های آن شیء را کدگذاری می‌کند (مثل زاویه، اندازه، موقعیت، رنگ، بافت)

[0.9, 45°, 20px, مکان (150,80), رنگ قهوه‌ای، شکل بادامی]

مکانیزم مسیریابی پویا (Dynamic Routing)

1. پیش‌بینی: هر کپسول لایه پایین پیش‌بینی می‌کند که کپسول لایه بالایی چه خروجی باید داشته باشد
2. توافق: اگر پیش‌بینی یک کپسول با خروجی واقعی کپسول بالایی همخوانی داشته باشد، ارتباط قوی‌تر می‌شود
3. وزن‌دهی: کپسول‌هایی که بیشترین توافق را دارند، وزن بالاتری می‌گیرند

تابع فعال‌سازی Squashing

v = (||s||² / (1 + ||s||²)) × (s / ||s||)

معماری CapsNet کلاسیک

لایه‌های شبکه:

• 256 فیلتر 9×9 با stride=1
• استخراج ویژگی‌های پایه مثل لبه‌ها و گوشه‌ها

• 32 کانال از کپسول‌های 8 بعدی
• هر کپسول یک ویژگی ساده را نشان می‌دهد
• در مجموع 6.5 میلیون کپسول

• 10 کپسول 16 بعدی (هر کدام یک رقم از 0 تا 9)
• طول هر بردار احتمال وجود آن رقم
• جهت بردار ویژگی‌های رقم (زاویه، ضخامت خط، و غیره)

• یک شبکه عصبی کامل (Fully Connected) سه لایه
• ورودی: بردار کپسول برنده (رقم تشخیص داده شده)
• خروجی: بازسازی تصویر اصلی
• هدف: مجبور کردن کپسول‌ها به یادگیری ویژگی‌های معنادار

تابع هزینه (Loss Function)

L_k = T_k max(0, m⁺ - ||v_k||)² + λ(1 - T_k) max(0, ||v_k|| - m⁻)²

• T_k = 1 اگر کلاس k وجود داشته باشد، در غیر این صورت 0
• m⁺ = 0.9 (حداقل طول برای کلاس موجود)
• m⁻ = 0.1 (حداکثر طول برای کلاس غیرموجود)
• λ = 0.5 (وزن کلاس‌های غایب)

مزایای شگفت‌انگیز CapsNets

1. پایداری در برابر چرخش و تغییر زاویه

2. کارایی با داده کم

3. مقاومت در برابر حملات مخالف

4. قابلیت تفسیر بهتر

5. شناسایی اشیاء همپوشان

چالش‌ها و محدودیت‌های CapsNets

1. هزینه محاسباتی بالا

2. نیاز به حافظه زیاد

3. عملکرد در تصاویر پیچیده

4. عدم قابلیت مقیاس‌پذیری

کاربردهای واقعی CapsNets

1. تشخیص پزشکی

• تشخیص تومور مغزی: از تصاویر MRI با زوایای مختلف
• تشخیص سرطان پوست: از عکس‌های ضایعات پوستی
• تحلیل اشعه ایکس قفسه سینه: تشخیص بیماری‌های ریوی

2. تشخیص اسناد و مدارک

• گذرنامه‌های جعلی را تشخیص دهند
• متون دست‌نویس را بخوانند
• امضاها را تأیید کنند

3. رباتیک و بینایی ماشین

• ربات‌های انبارداری: چیدن و برداشتن اقلام
• ربات‌های جراحی: تشخیص اندام‌ها و ابزارها
• ربات‌های خانگی: شناسایی اشیای روزمره

4. واقعیت افزوده (AR)

• اشیای واقعی را از زوایای مختلف تشخیص دهند
• موقعیت و جهت اشیا را دقیق محاسبه کنند
• اشیای مجازی را به‌درستی روی اشیای واقعی بگذارند

5. تشخیص اقلام در تجارت الکترونیک

• جستجوی بصری محصولات
• توصیه محصولات مشابه
• تشخیص محصولات از عکس‌های کاربران

پیشرفت‌های اخیر در CapsNets

EM Routing

Self-Attention Routing

Capsules برای داده‌های سری زمانی

Efficient CapsNets

• Fast Routing: استفاده از تقریب‌های ریاضی
• Sparse Capsules: فعال کردن فقط کپسول‌های ضروری
• Quantized CapsNets: استفاده از دقت کمتر (مثل 8-bit به‌جای 32-bit)

3D Capsules

مقایسه CapsNet با معماری‌های دیگر

CapsNet در مقابل CNN

CapsNet در مقابل Vision Transformers

CapsNet و Graph Neural Networks

پیاده‌سازی CapsNet

نمونه کد ساده در PyTorch

import torch
import torch.nn as nn
import torch.nn.functional as F

class PrimaryCaps(nn.Module):
    def __init__(self, num_capsules=8, in_channels=256, out_channels=32):
        super(PrimaryCaps, self).__init__()
        self.capsules = nn.ModuleList([
            nn.Conv2d(in_channels, out_channels, kernel_size=9, stride=2)
            for _ in range(num_capsules)
        ])
    
    def forward(self, x):
        outputs = [capsule(x).view(x.size(0), -1, 1) for capsule in self.capsules]
        outputs = torch.cat(outputs, dim=-1)
        return self.squash(outputs)
    
    def squash(self, tensor):
        squared_norm = (tensor ** 2).sum(dim=-1, keepdim=True)
        scale = squared_norm / (1 + squared_norm)
        return scale * tensor / torch.sqrt(squared_norm + 1e-8)
class DigitCaps(nn.Module):
    def __init__(self, num_capsules=10, num_routes=32 * 6 * 6, 
                 in_channels=8, out_channels=16):
        super(DigitCaps, self).__init__()
        self.num_routes = num_routes
        self.num_capsules = num_capsules
        self.W = nn.Parameter(torch.randn(1, num_routes, num_capsules, 
                                          out_channels, in_channels))
    
    def forward(self, x, num_iterations=3):
        batch_size = x.size(0)
        x = x.unsqueeze(2).unsqueeze(4)
        u_hat = torch.matmul(self.W, x).squeeze(4)
        
        b = torch.zeros(batch_size, self.num_routes, self.num_capsules, 1)
        
        for iteration in range(num_iterations):
            c = F.softmax(b, dim=2)
            s = (c * u_hat).sum(dim=1, keepdim=True)
            v = self.squash(s)
            
            if iteration < num_iterations - 1:
                agreement = torch.matmul(u_hat, v.transpose(3, 4))
                b = b + agreement
        
        return v.squeeze(1)
    
    def squash(self, tensor):
        squared_norm = (tensor ** 2).sum(dim=-1, keepdim=True)
        scale = squared_norm / (1 + squared_norm)
        return scale * tensor / torch.sqrt(squared_norm + 1e-8)

ابزارها و منابع یادگیری

1. کد اصلی Hinton: مقاله اصلی کد کامل TensorFlow دارد
2. PyTorch implementations: چندین پیاده‌سازی متن‌باز در GitHub موجود است
3. دوره‌های آنلاین: دوره‌های یادگیری عمیق که CapsNets را پوشش می‌دهند
4. Kaggle notebooks: مثال‌های عملی روی داده‌های واقعی

آینده CapsNets چگونه است؟

ترکیب با تکنولوژی‌های نوین

• مدل‌های Transformer: برای بهره‌مندی از هر دو دنیا
• Diffusion Models: برای تولید تصاویر با کیفیت بالاتر
• Graph Neural Networks: برای درک بهتر روابط پیچیده
• Vision Transformers: ایجاد معماری‌های هیبریدی

کاربردهای آینده

چالش‌های باقی‌مانده

1. سرعت: باید راه‌هایی برای افزایش سرعت یافت شود
2. مقیاس‌پذیری: باید بتوانند به شبکه‌های بزرگتر مقیاس داده شوند
3. استانداردسازی: نیاز به معماری‌های استاندارد و best practices
4. ابزارها: کتابخانه‌های بهینه‌تر و user-friendly تر
5. آموزش: منابع آموزشی بیشتر برای توسعه‌دهندگان

نکات کلیدی برای یادگیری CapsNets

جمع‌بندی