チェリーセージ（ホットリップス）に虫？？

園芸初心者です。
先日チェリーセージの苗を買って地植えにしました。
最初から1～2枚の葉に穴が空いていたのですが、
最近穴あきの葉が増えてきています。
葉の真ん中辺りが、茶色く枯れたような網目状なっている葉もあります。
探しても虫は見つかりません。

セージは虫は付きにくいと思っていたのですが、
何かの病気ではなく、ヨトウムシ？などの虫でしょうか？
対応策はどうしたらいいでしょうか？
（同じ花壇内で食用ハーブも植えたので、できれば薬は使いたくないです）