なもり先生の紙ナプ絵を＼ｱｯｶﾘ～ﾝ／しようとした結果→＼ﾅｯﾌﾟｷ〜ﾝ／
なもり先生の紙ナプキン・イラストはとても素晴らしいです。紙ナプキンの表面の質感(テクスチャ)が独特の味を醸し出していて、それでいて描かれているキャラはとても可愛い。
ところで、以前から気になっていた論文を読んでMatlab環境もセットアップしたので、論文と共に提供されているデモコードを試してみました。以下、著者らによる提案手法をなもり先生の紙ナプ絵に適用してみた結果となります。
紙ナプ独特のテクスチャのみが除去されて、前景のキャラだけが見事抽出されました。紙ナプ独特の質感を褒めておきながら、それを除去する始末となり大変アレですが、結果画像は、それはそれで独特の背景になっている気がします。ということで、表題の通り、
なもり先生の紙ナプ絵を＼ｱｯｶﾘ～ﾝ／しようとした結果→＼ﾅｯﾌﾟｷ〜ﾝ／しちゃいました(確信犯的
はじめに
改めて、なもり先生のイラストが素晴らしく可愛いことは周知の通りですし、ツイッターにもたくさんの”らくがき”を投稿され、目の保養が促進されます(なもり先生ありがとう！)。
特に、紙ナプキンに描かれたキャラクターは、キャラ自体が可愛いのもさることながら、紙ナプキンの質感(テクスチャ)が独特の味を醸し出すことでさらに魅力的な作品になっております。
ところで、最近読んだ下記の論文の手法に感銘を受けたのも記憶に新しいです。
Structure Extraction from Texture via Relative Total Variation
プロジェクトサイトのトップにあるティザーイメージを見ると何をする手法なのか一目瞭然かと思いますが、テクスチャ上に描かれた前景の構造を抽出する手法となっています。詳細は本稿末尾の方に少し技術的な内容をーーとは言え直感的な説明としてですがーー紹介しますが、詳しくは論文で確認して下さい(理解が不十分で著者らの提案を正しく紹介できている保証はないので…)。
著者らが新規に提案する、”Relative Total Variation(RTV)“という指標を用いると、著者らが言うところの”structure+texture”、すなわち、シャッターや壁面に描かれている類の多くのグラフィティや、タイルを敷き詰めて描いたモザイクアートのようなイラストから、背景を除去して前面のイラストだけを抽出することが可能となります。
ということで、なもり先生の紙ナプ絵にRTVを適用してみようと思いました。結果画像を以下に示します。並べて掲載してあるものの左側がオリジナル画像、右側がRTVを適用した結果画像となります。
結果
おまけ
また、ノートに描かれた”らくがき”に適用した結果を示します。テクスチャあまり強くないので上手くいきませんでした。
手法概要
この手法は、次の式がベースにあります。
上式の第一項はデータ項として、入力と出力が大きく変化し過ぎないように ペナルティを与える項で、第二項がRTV指標による項となります。他の指標とどう違った結果が得られるかは下図が直感的に分かりやすいです。(a)が入力、(b)がWindowed total variation、(c)がWindowed inherent variation、(d)がRTV、(e)が本手法適用結果となっています。
![Figure2 [Xu et. al. 2012]より引用。](http://naoyura.github.io/photos/2013/Xu_et_al_siga2012_1.png)
定量的な評価結果は下図になります。赤線がテクスチャ、緑線がストラクチャで、他の指標よりRTVの方がより明確に(そしてロバストに)両者を区別できているのが分かります。
![Figure3(bottom)[Xu et. al. 2012]より引用。](http://naoyura.github.io/photos/2013/Xu_et_al_siga2012_2.png)
この手法では、テクスチャに関する事前処理が必要ありません。また、本来ならば非凸なため非線形最適化を行わなければいけないのですが、著者らの寄与により、そのような項を部分に分解し、より簡単かつ高速に解くための数値計算法も提案されています。
この手法の応用は広く、ビットマップのベクトル化や線画抽出の前処理として用いたり、画像のコンポジションやSeam Carvingの際に用いることでより自然な結果を得ることができる様です。
人間は”structure+texture”な画から前景だけを抽出し、何が描かれているか、あるいはトレースする場合を考えても、容易に背景テクスチャを無視することが可能です。しかし、計算機の場合にはそのような高次の処理はとても困難となります。この手法ではその困難を克服し、事前情報なしに抽出可能となりました。当然、苦手なタイプの画というのもあり、例えばテクスチャとストラクチャのスケールが同程度の場合、本手法では上手く処理できない模様です。