写真モード:画像やスクリーンショットの文字を画像の上で翻訳

翻訳結果の見え方 #

Finkは文字のある部分を、その周りと同じ色のボックスで覆い、その中に訳文を書き込む。上のお茶の袋の右側の列のような、縦書きの日本語も読み取れる。画像を長押しすると原文が見え、省略表示されたボックスをタップすると全文が読める。「画像を保存」を押せば、翻訳済みの画像をダウンロードしたり、スマホから共有したりできる。

画像の下の「画像内のテキスト」には、各行の原文と訳文が並び、「すべてコピー」ボタンも付いている。行を選ぶと、画像上の対応するボックスが強調される。

「インサイト」パネルには、通常の翻訳と同じように、語調や言葉選びについての「意味に関するメモ」と、原文の言語に訳し戻した逆翻訳が表示される。逆翻訳が特に役立つのは、自分のスクリーンショットを読めない言語に訳すとき、たとえば外国語で送りたいチャットの返信を確かめるときだ。韓国語や中国語、フランス語など読み方のわからない言語に訳したときは、訳文の発音もローマ字やIPAで表示される。

画像全体をまとめて翻訳する理由 #

看板やメニューには、前後の文脈がない短い言葉が並ぶ。Hacker Newsのあるユーザーは、Google翻訳のカメラ機能について、長い会話文はうまく訳せるとしたうえでこう書いている: "the translation does start to fail with short snappy 'action manga' japanese with short context-less sentences and exclamations"（大意：アクション漫画のような、文脈のない短いセリフや感嘆詞が続く歯切れのいい日本語になると、翻訳がうまくいかなくなり始める）。

Finkは1枚の画像の文字をすべて、1回のリクエストでまとめてモデルに渡す。そのためモデルは、画像のほかの文字を見ながら一つひとつの言葉を訳せる。文字はまずMistral OCRが読み取る。価格や数字、コードは訳さずにそのまま残る。

最初のバージョンの制限 #

一度に扱える画像は1枚で、サイズは10MBまで。iPhoneのHEIC写真はパソコン版Chromeで開けないことがあるので、先にJPEGに変換しておくとよい。1枚あたり翻訳できるのは2,000文字まで、画像に描くボックスは25個までで、それを超えた文字は下のリストにだけ表示される。PDFにはまだ対応していない。画像では「品質チェック」と「書き直す」が使えず、画像の翻訳は履歴に残らない。

文字に近づいて撮った写真ほどうまくいく。写真のどこに文字があるかFinkが特定できないときは、訳文をリストに表示し、もっと近くで撮るよう案内する。

画像の読み取りには、翻訳とは別に一律0.015クレジットかかる。同じ文章を入力して訳すより、写真のほうが少し多くクレジットを使うということだ。それでも無料プランの月3クレジットで数十枚は翻訳できる。有料プランは料金ページを参照してほしい。

写真モードについてよくある質問 #

スクリーンショットも翻訳できる？ できる。パソコンではCtrl+Vで貼り付け、スマホでは「画像を選ぶ」からギャラリーの画像を選ぶ。チャットやアプリの画面は文字がくっきりしてまっすぐなので、うまく読み取れることが多い。

スマホでも使える？ 使える。スマホのブラウザでFinkを開き、カメラボタンをタップして、看板やメニューを撮影すればよい。

Googleレンズとの違いは？ Googleレンズは無料で、カメラを向けるだけでその場で翻訳できるので、看板をさっと確かめるのに向いている。Finkは撮影済みの写真を使い、画像内の文字をまとめて1回で翻訳する。さらに語調や言葉選びについての「意味に関するメモ」が付く。

対応言語は？ テキスト翻訳と同じ24言語だ。Finkは画像の言語を自動では判定しないので、「翻訳」を押す前に原文の言語を選んでおく。