GeoServerでWMS配信をタイルから全画面に変更したら以下のエラーが出力された。
明らかにメモリ不足だが、JVMのメモリ設定も合わせて再確認のために記載。
※OSはWindowsサーバー、GeoServerのコンテナにはTomcatを使用。
(1)Tomcatのメモリ設定
Tomcatのbinフォルダにある「tomcat7w.exe」を起動

初期メモリと最大メモリを設定

初期メモリと最大メモリは同一の値にしたほうがよいらしい。
※この設定がJVMのメモリ設定に反映されると思われる
GeoServerのメモリ設定
Tomcatのメモリ設定はGeoServerにも反映される。

WMSのメモリ設定
メニューのWMSを選択して「Web Map Service」の設定ページを表示

必ずワークスペースを指定して

メモリを設定

以上
