メール検証の精度と「99%」の神話

メールアドレス検証サービスのホームページには、必ずと言っていいほど数字が掲げられています。「精度99%」「精度99.9%」「市場で最も正確な検証」といった具合です。こうした数字は最初に目に入りますが、最も信用すべきでないものです。メールアドレス検証の精度は、実際に測定できる性質ではあります。しかしランディングページに大きく掲げられた割合は、マーケティング上の産物であり、比較可能なベンチマークではありません。「正しい答え」の定義も、判断の難しいケースの扱いも、測定に使うリストも、ベンダーごとに異なるからです。このガイドでは、検証ツールにとって精度が実際に何を意味するのか、判定が正しいかどうかを決める仕組み上のチェックは何か、確実に答えを出せないアドレスがなぜ存在するのか、そして、マーケティング担当者のリストではなく自社のリストについて真実を教えてくれる唯一のテストを解説します。

メールアドレス検証の精度が実際に測るもの#

マーケティングの言葉を取り除くと、精度には明確な意味があります。ツールが返した判定のうち、現実と一致する割合です。検証ツールが配信可能と判定したアドレスはメールを受け付け、配信不能と判定したアドレスはバウンスするはずです。判定と結果が一致すれば的中です。一致しない場合、つまり「配信可能」としたものがハードバウンスしたり、「配信不能」としたものが実際には届くはずだったりした場合は、外れです。

重要な外れには2種類あり、それぞれコストが異なります。偽陽性は、配信可能と判定されたのにバウンスするアドレスです。不良アドレスが送信に紛れ込み、検証が防ぐはずだったまさにその被害を引き起こします。偽陰性は、正常なアドレスが配信不能またはリスクありと判定されて除外されることです。本物の購読者、見込み客、顧客を失い、二度とメールを送れなくなります。「精度」という1つのパーセンテージはこの両方を1つの数字にまとめてしまいます。これが、その数字から得られる情報が少ない最初の理由です。一方の外れを避けるように調整したツールは、ほぼ必ずもう一方を増やします。

ベンダーの「精度99%以上」が比較できない理由#

どちらも「精度99%」を掲げる2つのベンダーがあっても、両者の性能が同じとは言えず、どちらの数字も想像どおりの意味とは限りません。主張を同じ土俵で比べられない理由は3つあります。

「的中」の定義が異なる。 あるベンダーは、確信を持って出した配信可能と配信不能の判定だけを数え、判定できなかったアドレスをすべてひそかに除外しているかもしれません。別のベンダーは、「unknown」の結果を分母に含めたり、正しくリスクありとフラグを立てたアドレスを的中として数えたりしているかもしれません。採点対象とみなす回答の範囲を動かすだけで、同じ性能から大きく異なる割合が生まれます。

判断の難しいケースの扱いが異なる。 実際の精度を左右するのは、判断があいまいなアドレスです。キャッチオールドメイン、グレーリスティングを行うサーバー、一時的な障害などがこれにあたります。キャッチオールドメインで積極的に「配信可能」と推測するベンダーは、判定が明確に見え、より高い数字を掲げられますが、そのアドレスが実際の送信でバウンスするまでの話です。同じドメインに正直に「リスクあり」を返すベンダーは、紙の上では見劣りしますが、実際にはより確実に守ってくれます。この数字は、望ましくない振る舞いを評価してしまいます。

ベンダー自身が選んだサンプルで測定している。 「99%」という数字の意味は、計算に使ったリストの質で決まりますが、そのリストはベンダーが自分で選んでいます。大半が整った形式のクリーンなGmailやOutlookのアドレスというコーパスで評価すれば、ほぼどのツールでも満点に近い結果が出ます。放棄された受信トレイ、企業のキャッチオール、入力ミスのドメイン、何年も前の登録を含むお手元のリストは、そうした選別されたサンプルとはまったく別物です。精度は、ツールとリストの組み合わせの性質であるため、他人のリストで出た数字は自社に当てはまりません。

正しさを実際に決める要素#

判定の質は、その背後にあるチェックで決まります。検証パイプラインの各段階には、証明できる範囲にそれぞれ異なる上限があります。その上限を理解すると、精度がどこから生まれ、どこで限界に達するかがわかります。

構文とRFCのチェックは決定的です。文字列が構造的に有効なアドレスかどうか、つまり@が1つあり、ローカル部が妥当で、ドメインがもっともらしいかを調べます。判定を誤ることはありませんが、配信可能かどうかはほとんど証明できません。綴りが完全でも、実在するメールボックスとは限らないからです。

ドメインとMXの存在確認も、解決されるかされないかのどちらかのルックアップです。MXレコードのないドメインは誰宛てのメールも受信できないため、ここでの失敗は確実な配信不能です。一方、通過した場合は、そのドメインがメールを受け付けられる可能性があるというだけで、特定のメールボックスが存在することまでは意味しません。

SMTPによるメールボックスのプローブは、実際の確認が行われる段階であり、同時に限界が表れる段階でもあります。検証ツールはドメインのメールサーバーに接続し、受信者の確認までの配信のやり取りを実行して、何も送らずに切断します。サーバーが明確に受け入れまたは拒否を返した場合、それが得られる最も強いシグナルです。ただしサーバーは常に協力的とは限りません。メールボックスに関係なくすべてのプローブを拒否するもの、検証トラフィックにレート制限をかけたりブロックしたりするもの、チェック時にダウンしているものがあります。プローブの精度は、相手側サーバーの誠実さと可用性に左右されます。

キャッチオール（アクセプトオール）ドメインは、あらゆる精度の主張における最大の穴です。キャッチオールのサーバーは、そのドメイン宛てのすべてのアドレスを、実在するかどうかにかかわらず受け付けるため、SMTPプローブの「受理」という答えには意味がありません。サーバーはasdkjh8f7@のようなアドレスも受け付けてしまいます。ここでは、ツールがどれだけ優れていても、構造上、確定的な配信可能の判定は不可能です。誠実な検証ツールはリスクありを返し、その理由を説明します。詳しい仕組みはキャッチオールメールの解説をご覧ください。

グレーリスティングと一時的な障害は、状況をさらに複雑にします。多くのサーバーは、初めて接触する未知の送信者にあえて一時的なエラーを返し、正規のメーラーが再試行してくることを期待します。この一時的な拒否を確定的な「配信不能」として扱う検証ツールは偽陰性を、「配信可能」として扱う検証ツールは偽陽性を生み出します。正しい答えは多くの場合「unknown、後で再試行」であり、推測を拒むからこそ正確です。

役割アドレス、使い捨て、フリーメールの検出は、存在確認ではなく分類のシグナルです。support@のような役割アドレス、10分で消える使い捨ての受信トレイ、フリーメールプロバイダーのメールボックスは、いずれも問題なく配信可能な場合があります。フラグが示すのは、アドレスが存在するかどうかではなく、どの種類のアドレスかです。これらのフラグを正しさと混同するのは、検証ツールを読み誤るよくある原因です。それぞれを送信するか抑制するかは別の判断であり、役割アドレス、使い捨てアドレス、フリーメールアドレスで解説しています。

避けられない「unknown」と「リスクあり」の領域#

これらの限界を合わせると、どのベンダーも大々的には宣伝しない結論に行き着きます。誰がどう検証しても、確実な「はい」か「いいえ」で答えを出せないアドレスが存在するということです。キャッチオールドメインは、メールボックスが存在するかどうかを明かしません。グレーリスティングを行うサーバーは、最初の試行では答えません。一時的に到達できないメールホストは、そもそも答えられません。これらに対する誠実な判定はリスクありとunknownであり、これらが存在することは、精度が低いことではなく、精度が高いことの表れです。

これが、信頼できる検証ツールと、自信満々なだけのツールを分ける見分け方です。すべてのアドレスを配信可能か配信不能に押し込めるツールは、誤りを目に見えない場所へ移しただけです。「配信可能」と判定されたキャッチオールは送信者自身のバウンスになり、「配信不能」と判定されたグレーリスティング中のアドレスは失われた顧客になります。調整された0～100の信頼度スコアと、誠実なリスクあり/unknownの区分を返す検証ツールは、不確実性を誤った判定にすり替えず、行動の材料として渡してくれます。この区分の大きさは、ツールよりも、リストにキャッチオールの企業や頑固なサーバーがどれだけ含まれるかに大きく左右されます。

精度と再現率：すべての検証ツールが直面するトレードオフ#

判断の難しいケースは本質的にあいまいなため、どの検証ツールも、どこまで積極的に判定するかを選ばなければなりません。この選択は事実ではなくダイヤルのようなもので、2つの利点のあいだのトレードオフになります。

どちらの設定も、抽象的に「より正確」というわけではありません。最適化しているミスの種類が違うだけです。もろい送信者レピュテーションを守りたいコールドアウトリーチの送信者は、連絡先を失う偽陰性をある程度受け入れてでも、バウンスをゼロに近づけるために積極的な設定を選ぶかもしれません。購入済みの顧客にメールを送るeコマースブランドは、実在の購入者を黙って除外するよりは、バウンス率がやや高くなるほうを許容して、慎重な設定を選ぶかもしれません。正しい選択は、どちらの誤りが自社にとってより高くつくかで決まります。これは、1つの精度パーセンテージでは決められない判断です。このトレードオフを自社の送信と照らし合わせて検討することが、メールアドレス検証サービスの選び方の核心です。

精度を判断する唯一確実な方法：自社のリストでテストする#

精度はツールとリストの組み合わせにあるため、重要な数字を測る方法はただ1つです。自社のアドレスのサンプルに検証ツールを実行し、実際に送信して、判定と実際の結果を比較します。ベンダーのベンチマークでは、これができません。ベンダーは利用者のリストを持っていないからです。誠実なテストの手順は次のとおりです。

代表的なサンプルを抽出する。 実際のリストを反映した数千件のアドレスを取り出します。古いものと新しいもの、個人と法人、手入力とインポートが、実際と同じ比率で含まれるようにします。新しくクリーンなアドレスに偏ったサンプルは、どのツールにとっても有利に働き、何も教えてくれません。

検証してから、実際に送信する。 サンプルを検証ツールにかけ、各ステータスと信頼度スコアを記録します。その後、そのサンプル（またはいずれにせよ送信する予定だったセグメント）に実際のキャンペーンを送り、すべてのバウンスとそのコードを含む配信結果を取得します。

判定と結果を突き合わせる。 これがテストのすべてです。メールのバウンス分類を使ってバウンスをハードとソフトに分け、判定と照合します。配信可能と判定されたのにハードバウンスしたアドレスは偽陽性です。配信不能と判定されたのに実際には届いたはずのアドレスは偽陰性で、抜き取りで確認できます。優れた検証ツールは、ハードバウンスを配信不能とリスクありの区分に集中させ、配信可能の区分では少なく抑えます。

実際のベンチマークと照らして結果を読む。 バウンスの件数だけでは何の意味もありません。メールのバウンス率のベンチマークにある一般的な範囲と照らして判断してください。そして、そもそもバウンス率が重要な理由を思い出してください。検証ツールの目的は、受信トレイへの到達率を守れる水準までその率を低く保つことです。ツールが配信可能と判定したアドレスのバウンスが通常の範囲内に収まっていれば、自社のリストにとって正確だと言えます。それが、価値のある唯一の精度の主張です。

最良のベンチマークは、自分で実行するものです。まず無料メールチェッカーにアドレスを入力して、実際の判定に付くステータス、理由コード、信頼度スコアを確認してください。次に自社のリストのサンプルを検証し、実際の送信結果と突き合わせます。これから送るメールにとって意味のある精度の数字は、それだけです。