コールバックの使い方

コールバックは訓練中で適用される関数集合です．訓練中にモデル内部の状態と統計量を可視化する際に，コールバックを使います．SequentialとModelクラスの.fit()メソッドに（キーワード引数callbacksとして）コールバックのリストを渡すことができます．コールバックに関連するメソッドは，訓練の各段階で呼び出されます．

[source]

Callback

keras.callbacks.Callback()

この抽象基底クラスは新しいコールバックを構築するために使用されます．

プロパティ

  • params: 辞書．訓練のパラメータ（例: 冗長性，バッチサイズ，エポック数...）．
  • model: keras.models.Modelのインスタンス．学習されたモデルへの参照．

コールバック関数が引数としてとる辞書のlogsは，現在のバッチ数かエポック数に関連したデータのキーを含みます．

現在，Sequentialモデルクラスの.fit()メソッドは，そのコールバックに渡すlogsに以下のデータが含まれます．

  • on_epoch_end: ログはaccとlossを含み，オプションとして（fit内のバリデーションが有効になっている場合は）val_loss，（バリデーションと精度の監視が有効になっている場合は）val_accを含みます．
  • on_batch_begin: ログは現在のバッチのサンプル数sizeを含みます．
  • on_batch_end: ログはlossと（精度の監視が有効になっている場合は）オプションとしてaccを含みます．

[source]

BaseLogger

keras.callbacks.BaseLogger()

監視されている評価値のエポック平均を蓄積するコールバックです．

このコールバックは全Kerasモデルに自動的に適用されます．

[source]

TerminateOnNaN

keras.callbacks.TerminateOnNaN()

損失がNaNになった時に訓練を終了するコールバックです．

[source]

ProgbarLogger

keras.callbacks.ProgbarLogger(count_mode='samples')

標準出力に評価値を出力するコールバックです．

引数

  • count_mode: "steps"か"samples"の一方．サンプルかステップ（バッチ）のどちらをプログレスバーの集計に使うか．

Raises

  • ValueError: count_modeの値が不正のとき．

[source]

History

keras.callbacks.History()

Historyオブジェクトにイベントを記録するコールバックです．

このコールバックは全Kerasモデルに自動的に適用されます．Historyオブジェクトはモデルのfitメソッドの戻り値として取得します．

[source]

ModelCheckpoint

keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)

各エポック終了後にモデルを保存します．

filepathは，（on_epoch_endで渡された）epochの値とlogsのキーで埋められた書式設定オプションを含むことができます．

例えば，filepathがweights.{epoch:02d}-{val_loss:.2f}.hdf5の場合，複数のファイルがエポック数とバリデーションロスの値を付与して保存されます．

引数

  • filepath: 文字列，モデルファイルを保存するパス．
  • monitor: 監視する値．
  • verbose: 冗長モード, 0 または 1．
  • save_best_only: save_best_only=Trueの場合，監視しているデータによって最新の最良モデルが上書きされません．
  • mode: {auto, min, max}の内の一つが選択されます．save_best_only=Trueならば，現在保存されているファイルを上書きするかは，監視されている値の最大化か最小化によって決定されます．val_accの場合，この引数はmaxとなり，val_lossの場合はminになります．autoモードでは，この傾向は自動的に監視されている値から推定します．
  • save_weights_only: Trueなら，モデルの重みが保存されます (model.save_weights(filepath))，そうでないなら，モデルの全体が保存されます (model.save(filepath))．
  • period: チェックポイント間の間隔（エポック数）．

[source]

EarlyStopping

keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0, patience=0, verbose=0, mode='auto')

監視する値の変化が停止した時に訓練を終了します．

引数

  • monitor: 監視する値．
  • min_delta: 監視する値について改善として判定される最小変化値．つまり，min_deltaよりも絶対値の変化が小さければ改善していないとみなします．
  • patience: 訓練が停止し，値が改善しなくなってからのエポック数．
  • verbose: 冗長モード．
  • mode: {auto, min, max}の内，一つが選択されます．minモードでは，監視する値の減少が停止した際に，訓練を終了します．また，maxモードでは，監視する値の増加が停止した際に，訓練を終了します．autoモードでは，この傾向は自動的に監視されている値から推定します．

[source]

RemoteMonitor

keras.callbacks.RemoteMonitor(root='http://localhost:9000', path='/publish/epoch/end/', field='data', headers=None)

このコールバックはサーバーにイベントをストリームするときに使用されます．

requestsライブラリが必要です．イベントはデフォルトでroot + '/publish/epoch/end/'に送信されます． コールすることによって，イベントデータをJSONエンコードした辞書のdata引数をHTTP POSTされます．

引数

  • root: 文字列；対象サーバのルートURL．
  • path: 文字列；イベントを送るrootへの相対パス．
  • field: 文字列；データを保存するJSONのフィールド．
  • headers: 辞書; オプションでカスタムできるHTTPヘッダー．

[source]

LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule, verbose=0)

学習率のスケジューラ．

引数

  • schedule: この関数はエポックのインデックス（整数, 0から始まるインデックス）を入力とし，新しい学習率（浮動小数点数）を返します．
  • verbose: 整数．0:：何も表示しない．1：更新メッセージを表示．

[source]

TensorBoard

keras.callbacks.TensorBoard(log_dir='./logs', histogram_freq=0, batch_size=32, write_graph=True, write_grads=False, write_images=False, embeddings_freq=0, embeddings_layer_names=None, embeddings_metadata=None)

Tensorboardによる基本的な可視化．

TensorBoardはTensorFlowによって提供されている可視化ツールです

このコールバックはTensorBoardのログを出力します．TensorBoardでは，異なる層への活性化ヒストグラムと同様に，訓練とテストの評価値を動的にグラフ化し，可視化できます．

pipからTensorFlowをインストールしているならば，コマンドラインからTensorBoardを起動できます．

tensorboard --logdir=/full_path_to_your_logs

引数

  • log_dir: TensorfBoardによって解析されたログファイルを保存するディレクトリのパス
  • histogram_freq: モデルの層の活性化ヒストグラムを計算する（エポック中の）頻度．この値を0に設定するとヒストグラムが計算されません．ヒストグラムの可視化にはバリデーションデータを指定しておく必要があります．
  • write_graph: TensorBoardのグラフを可視化するか．write_graphがTrueの場合，ログファイルが非常に大きくなることがあります．
  • write_grads: TensorBoardに勾配のヒストグラフを可視化するかどうか．histogram_freqは0より大きくしなければなりません．
  • batch_size: ヒストグラム計算のネットワークに渡す入力のバッチサイズ．
  • write_images: TensorfBoardで可視化するモデルの重みを画像として書き出すかどうか．
  • embeddings_freq: 選択したembeddingsレイヤーを保存する（エポックに対する）頻度．
  • embeddings_layer_names: 観察するレイヤー名のリスト．もしNoneか空リストなら全embeddingsレイヤーを観察します．
  • embeddings_metadata: レイヤー名からembeddingsレイヤーに関するメタデータの保存ファイル名へマップする辞書． メタデータのファイルフォーマットの詳細． 全embeddingsレイヤーに対して同じメタデータファイルを使う場合は文字列を渡します．

[source]

ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

評価値の改善が止まった時に学習率を減らします．

モデルは訓練が停滞した時に学習率を2〜10で割ることで恩恵を受けることがあります． このコールバックは評価値を監視し，'patience'で指定されたエポック数の間改善が見られなかった場合，学習率を減らします．

例

reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.2,
                              patience=5, min_lr=0.001)
model.fit(X_train, Y_train, callbacks=[reduce_lr])

引数

  • monitor: 監視する値．
  • factor: 学習率を減らす割合．new_lr = lr * factor
  • patience: 何エポック改善が見られなかったら学習率の削減を行うか．
  • verbose: 整数．0: 何も表示しない．1: 学習率削減時メッセージを表示．
  • mode: auto，min，maxのいずれか． minの場合，監視する値の減少が停止した際に，学習率を更新します． maxの場合，監視する値の増加が停止した時に，学習率を更新します． autoの場合，監視する値の名前から自動で判断します．
  • epsilon: 改善があったと判断する閾値．有意な変化だけに注目するために用います．
  • cooldown: 学習率を減らした後，通常の学習を再開するまで待機するエポック数．
  • min_lr: 学習率の下限．

[source]

CSVLogger

keras.callbacks.CSVLogger(filename, separator=',', append=False)

各エポックの結果をcsvファイルに保存するコールバックです．

np.ndarrayのような1次元イテラブルを含む，文字列表現可能な値をサポートしています．

例

csv_logger = CSVLogger('training.log')
model.fit(X_train, Y_train, callbacks=[csv_logger])

引数

  • filename: csvファイル名．例えば'run/log.csv'．
  • separator: csvファイルで各要素を区切るために用いられる文字．
  • append: True: ファイルが存在する場合，追記します．（訓練を続ける場合に便利です） False: 既存のファイルを上書きします．

[source]

LambdaCallback

keras.callbacks.LambdaCallback(on_epoch_begin=None, on_epoch_end=None, on_batch_begin=None, on_batch_end=None, on_train_begin=None, on_train_end=None)

シンプルな自作コールバックを急いで作るためのコールバックです．

このコールバックは，適切なタイミングで呼び出される無名関数で構築されます． 以下のような位置引数が必要であることに注意してください:

  • on_epoch_beginとon_epoch_endは2つの位置引数が必要です: epoch，logs
  • on_batch_beginとon_batch_endは2つの位置引数が必要です: batch，logs
  • on_train_beginとon_train_endは1つの位置引数が必要です: logs

引数

  • on_epoch_begin: すべてのエポックの開始時に呼ばれます．
  • on_epoch_end: すべてのエポックの終了時に呼ばれます．
  • on_batch_begin: すべてのバッチの開始時に呼ばれます．
  • on_batch_end: すべてのバッチの終了時に呼ばれます．
  • on_train_begin: 訓練の開始時に呼ばれます．
  • on_train_end: 訓練の終了時に呼ばれます．

例

# すべてのバッチの開始時にバッチ番号を表示
batch_print_callback = LambdaCallback(
    on_batch_begin=lambda batch,logs: print(batch))

# Stream the epoch loss to a file in JSON format. The file content
# is not well-formed JSON but rather has a JSON object per line.
import json
json_log = open('loss_log.json', mode='wt', buffering=1)
json_logging_callback = LambdaCallback(
    on_epoch_end=lambda epoch, logs: json_log.write(
        json.dumps({'epoch': epoch, 'loss': logs['loss']}) + '\n'),
    on_train_end=lambda logs: json_log.close()
)

# 訓練終了時にいくつかのプロセスを終了
processes = ...
cleanup_callback = LambdaCallback(
    on_train_end=lambda logs: [
        p.terminate() for p in processes if p.is_alive()])

model.fit(...,
          callbacks=[batch_print_callback,
                     json_logging_callback,
                     cleanup_callback])

コールバックを作成

基底クラスのkeras.callbacks.Callbackを拡張することで，カスタムコールバックを作成できます． コールバックは，self.modelプロパティによって，関連したモデルにアクセスできます．

訓練中の各バッチの損失のリストを保存する簡単な例は，以下のようになります．

class LossHistory(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):
        self.losses = []

    def on_batch_end(self, batch, logs={}):
        self.losses.append(logs.get('loss'))

例: 損失の履歴を記録する

class LossHistory(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):
        self.losses = []

    def on_batch_end(self, batch, logs={}):
        self.losses.append(logs.get('loss'))

model = Sequential()
model.add(Dense(10, input_dim=784, kernel_initializer='uniform'))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

history = LossHistory()
model.fit(x_train, y_train, batch_size=128, epochs=20, verbose=0, callbacks=[history])

print(history.losses)
# 出力
'''
[0.66047596406559383, 0.3547245744908703, ..., 0.25953155204159617, 0.25901699725311789]
'''

例: モデルのチェックポイント

from keras.callbacks import ModelCheckpoint

model = Sequential()
model.add(Dense(10, input_dim=784, kernel_initializer='uniform'))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

'''
バリデーションロスが減少した場合に，各エポック終了後，モデルの重みを保存します
'''
checkpointer = ModelCheckpoint(filepath='/tmp/weights.hdf5', verbose=1, save_best_only=True)
model.fit(x_train, y_train, batch_size=128, epochs=20, verbose=0, validation_data=(X_test, Y_test), callbacks=[checkpointer])