Yapay Sinir Ağları ve Derin Öğrenme – 4

YSA Hiperparametrelerinin belirlenmesi

Sinir ağlarının esnekliği bir soruna sebep olmaktadır: ince ayar yapılacak çok sayıda hiperparametre vardır. Basit bir MLP’de bile katmanların sayısı, her katmandaki nöron sayısı ve aktivasyon fonksiyonu, ağırlıkların ilk olarak nasıl belirleneceği gibi bir çok parametre vardır. Bu parametrelerin hangi kombinasyonunun görevimiz için en iyi olduğunu nasıl bilebiliriz?

Doğru parametreleri bulmak için grid search metodunu (parametreler için bazı değerler verip bu değerlerin hangi kombinasyonunda modelimizin daha doğru sonuç verdiğini hesaplar) kullanabiliriz fakat çok sayıda parametre olduğundan ve bir YSA’nı büyük bir veriseti üzerinde eğitmek uzun zaman aldığından, hiperparametre uzayının sadece küçük bir parçası üzerinde kabul edilebilir bir zaman süresi içinde arama yapabiliriz.

Bunun yerine, herbir parametre için hangi değerlerin kabul edilebilir olduğuna dair bir fikrimiz olursa, o zaman arama uzayını kısıtlayabiliriz.
İlk olarak gizlenmiş katman sayısına bakalım.

Gizlenmiş Katman Sayısı

Bir çok problem için, tek bir gizlenmiş katman bile kabul edilebilir sonuçlar verebilir. Tek bir gizlenmiş katmana sahip bir MLP’nin, yeteri kadar nörona sahip olduğunda, çok karmaşık fonksiyonları modelleyebildiği gösterilmiştir. Fakat tek bir gizli katmana sahip bir ağ yerine, daha fazla gizli katmana sahip bir ağ yapısı kullanmak, hem eğitim süresini kısaltıcaktır hem de verinin sahip olduğu detayları daha iyi öğrenecektir (Şekil 1).

im4-1layeredRepresentation
Şekil 1. Bir YSA’nın birinci, ikinci ve üçüncü gizlenmiş katman temsilleri

 

Birçok problem için bir yada iki gizlenmiş katman ile başlanabilir ve ağ, eğitim seti üzerinde aşırı öğrenmeye başlayana kadar gizlenmiş katman sayısı artırılabilir. Çok sayıda imaj sınıflandırma yada konuşma tanıma gibi çok karmaşık problemleri için ise, onlarca yada yüzlerce katman gerekebilir (ama birbirlerine tamamen bağlı değil, ilerde göreceğiz). Genelde, bu görevler için bir YSA sıfırdan eğitmeyiz.: önceden eğitilmiş ağları kullanarak eğitim süresini daha hızlı yapabilir ve daha az veriye ihtiyaç duyabiliriz (bu konuya da ilerde değineceğiz).

Gizlenmiş Katmanların içerdiği Nöron Sayısı

Giriş ve çıkış katmanlarının nöron sayılarının problemimize göre belli olacağı açıktır (MNIST veriseti 28×28 imajlar içerdiğinden ve her bir piksele bir nöron karşılık getirdiğimizden dolayı, 784 giriş nöronu; çıkış olarakta sınıf (0dan 9a kadar rakamlar) tahmin ettiğimizden dolayı, 10 çıkış nöronu). Gizlenmiş katmanlardaki nöron sayısı mükemmel
olarak belirlemek halen zor bir görevdir.
Bir yaklaşıma göre, (gizlenmiş katmanlar için) optimal nöron sayısı giriş nöronu sayısı ve çıkış nöronu sayısının arasında olmalıdır.Başka bir yaklaşım, fazla sayıda katman ve nöron sayısı seçip “early stopping” yada başka düzenlileştirme metodları (bunlardan da ileride bahsedeceğiz) ile aşırı öğrenmeyi genellemektir.

Aktivasyon Fonksiyonları

Bir çok durumda, gizlenmiş katmanlar için ReLU fonksiyonu (veya türevleri) kullanılabilir. ReLU, diğer aktivasyon fonksiyonlarına göre hesaplaması biraz daha hızlıdır.
Çıkış katmanı için, sınıflandırma problemlerinde genel seçim softmax aktivasyon fonksiyonudur. Regresyon problemleri içinse, hiç bir aktivasyon fonksiyonu kullanılmayabilir.

Sonraki birkaç yazımızda derin sinir ağlarının eğitilmesi üzerinde duracağız. Görüşmek üzere.

Kaynaklar

  1. Heaton, J. (2009). Introduction to neural networks with Java. Chesterfield (MO, USA): Heaton Research.
  2. Geron, A. (2017). Hands-On Machine Learning with Scikit-Learn and TensorFlow Concepts, Tools, and Techniques for Building Intelligent Systems. Sebastopol: OReilly UK Ltd.

 

Reklamlar

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

w

Connecting to %s