[iOS][画像処理]【iOS9】Core Image の新機能：文字認識／追加フィルタ47種

先日、Gunosy さん主催の勉強会「WWDC Afterparty Roppongi」にて標題の発表をさせていただきました。

タイトルの通り、iOS 9 の Core Image の新機能について紹介＆デモ *1 しました。

概要

大きく分けて、文字認識、新フィルタの紹介の２つ。

文字認識

WWDC初日に書いた下記記事でもわりと反響の大きかった機能。

• 【iOS9】API Diffs から見る iOS 9 の新機能 #wwdc - Over&Out その後

で、OCR的なものを期待していたわけですが、リファレンスで CIFeatureTypeText を見ると、認識結果の文字列が入ってくるプロパティはないので、文字の「内容」を認識するのではなく、文字の「領域」を検出するものでした、という話。

class CITextFeature : CIFeature {
    
    var bounds: CGRect { get }
    var topLeft: CGPoint { get }
    var topRight: CGPoint { get }
    var bottomLeft: CGPoint { get }
    var bottomRight: CGPoint { get }
}

いわゆる「顔認識」も、「誰の顔か」を認識するのではなくて、顔の「領域」を検出するものがほとんどなのと同様ですね。

それはそれとしてOCRの前処理とかに便利だと思います。実装は非常に簡単で、顔認識とかとほぼ同じです。

let image  = CIImage(CGImage: imageView.image!.CGImage!)

let detector = CIDetector(
    ofType: CIDetectorTypeText,
    context: nil,
    options: [CIDetectorAccuracy: CIDetectorAccuracyHigh])

let features = detector.featuresInImage(image)

for feature in features as! [CITextFeature] {
    // 認識結果の矩形を描画する処理
}

NDAのため iOS 9 での実行結果スクショを貼るのは自粛しますが、デモでは以下の2種類の画像について試し、

• 前者は文字領域を完璧に検出
• 後者はGitHub マークのある黒地に白文字の "shu223" というものしか認識されず

という結果になりました。わずかなパースや陰影（後者のような「写真」画像は、人間には均一に見える部分でも、二値化してみると結構色に偏りがあったりする）で認識精度がガクッと落ちるようです。

新フィルタ

CIFilter は

CIFilter(name: filterName, withInputParameters: params)

っていう感じでフィルタ名を文字列で指定する形式なので、API Diffs とかには新規追加フィルタは表記されない（Filter Reference というドキュメントもあるけど更新が遅い）ため、次のようにビルトインフィルタ名を全部出力しておいて、

let filterNames = CIFilter.filterNamesInCategory(kCICategoryBuiltIn)
for filterName in filterNames {
    print(filterName)
}

そのあと `diff` コマンドで新規追加分を抽出する、ということを毎年 iOS がメジャーバージョンアップするたびにやっています。

• iOS 5: CIFilter の効果を一通り試せるサンプルコード（フィルタ名一覧つき） - Over&Out その後
• iOS 6: Core Image の全エフェクトを試せるサンプルコードを公開しました - Over&Out その後
• iOS 7:
• iOS 8: iOS 8 の新機能のサンプルコード集『iOS8-Sampler』を公開しました - Over&Out その後

で、今年はフィルタ数の変化をグラフにしてみたのですが、

ひさびさにフィルタ数がグッと増えていて、ちょっと盛り上がりを感じます。

例によってNDAによってフィルタをかけた結果のスクショ掲載は控えますが、以下に新フィルタ名47種の一覧を載せておくので、名前から効果を察していただけると。

• CIAreaAverage
• CIAreaMaximum
• CIAreaMaximumAlpha
• CIAreaMinimum
• CIAreaMinimumAlpha
• CIBoxBlur
• CICircularWrap
• CICMYKHalftone
• CIColumnAverage
• CIComicEffect
• CIConvolution7X7
• CICrystallize
• CIDepthOfField
• CIDiscBlur
• CIDisplacementDistortion
• CIDroste
• CIEdges
• CIEdgeWork
• CIGlassLozenge
• CIHeightFieldFromMask
• CIHexagonalPixellate
• CIKaleidoscope
• CILenticularHaloGenerator
• CILineOverlay
• CIMedianFilter
• CIMotionBlur
• CINoiseReduction
• CIOpTile
• CIPageCurlTransition
• CIPageCurlWithShadowTransition
• CIParallelogramTile
• CIPDF417BarcodeGenerator
• CIPointillize
• CIRippleTransition
• CIRowAverage
• CIShadedMaterial
• CISpotColor
• CISpotLight
• CIStretchCrop
• CISunbeamsGenerator
• CITorusLensDistortion
• CITriangleTile
• CIZoomBlur

会場ではシミュレータでデモしたのですが、GPUが効くので、実機でやるとチョッパヤです。

ちなみにちょっと余談ですが、会場で Yahoo の佐野さんから飛び出した「Apple は何のためにそんなにがんばってフィルタを追加しているのか？」という質問が印象的でした。

確かに、CIDetector 系は実用的だし、ボックスブラーとかノイズリダクションとか、色のブレンド系etcは写真加工系に幅広く使えそうなのでわかるとしても、CICrystallize とかの飛び道具系って実際には使う人いなそうだなぁと。そして僕はそういえば案件で Core Image 使ったことなんて記憶に無いのになぜ毎年やってるのだろう、と・・・

おわりに

他の発表者のみなさんもかぶりがないように幅広い内容で発表されていて、人数もちょうどよく和やかな雰囲気で質疑応答も盛り上がり、大変有意義な時間を過ごさせていただきました。主催のグノシーさん、発表者・参加者のみなさまどうもありがとうございました！

次回は「WWDC2015報告共有会@ネクスト」にて、Audio Unit Extensions について話させていただく予定です。