当社ではマンガの背景文字を自然に取り除くことを調査しましたので、その内容を一部記事として公開します。
マンガの背景文字とは下記の画像の赤色部分を指します。
※調査にあたっては、「ブラックジャックによろしく（著作者：佐藤秀峰氏）」を利用しています。
背景文字は多言語対応する際に手間のかかる作業となり、AIによりどこまで自然に削除できるか調査しました。
背景文字の選択
背景文字を選択する方法として、セマンティックセグメンテーションを今回利用しています。
背景文字の領域をマスク化できるように、マウスで背景文字の領域をクリックしています。
一般的な画像を中心に学習しているため、かなり細かくクリックして選択する必要があります。
DeepLabに対して、ファインチューニングすれば自動化できるかと思いますが、大掛かりになるため見合わせました。
背景文字のマスク化
クリックした箇所がセマンティックセグメンテーションによって背景文字に沿ってマスク化されます。
マウスで適当にマスク化をしても良いですが、正確に領域を指定すると、仕上がりの良さも違います。
特にマウスで適当にマスク化をすると、原作の書き込みまでマスク対象に含まれ、削除・復元のヒントを失ってしまいます。
クリックによる選択も良いですが、精度が良くないため、背景文字のファインチューニングは避けて通れないといえるでしょう。
マスク化した背景文字の削除
マスク化した背景文字のエリアを削除します。
単に削除すると真っ白になるため、AIで自然に削除できるモデルを使用しています。
白黒のマンガように作られているわけではないため、ボケてしまっています。
マスク化した背景文字エリアの補完
削除した背景文字の部分をAIにより補完した結果が下記となります。
少し、シャープになりましたが、大きく精度が上がるわけではありませんでした。
写真であれば比較的、補完しやすいのでしょうが、マンガのような二値で非連続な情報の集まりは一般的な学習モデルには情報が少ないのかなと想像します。
まとめ
株式会社アスターリンクではAIを用いた業務改善に取り組んでいます。
もし、自動化、DX、業務改善等にお悩みでしたら気軽にお問い合わせください。
