名寄せとは？/ アットローン
[ 612] 第1回 データ・クレンジングと名寄せ技術：ITpro
[引用サイト] http://itpro.nikkeibp.co.jp/article/COLUMN/20070613/274697/
|
例えば，社内の製品担当者に問い合わせをしたい場合，社内システムを使って，製品から担当者を割り出し，担当者名から電話番号を検索，その電話番号に電話をかけてみるでしょう。この場合，社内システムから得られる情報はおおむね信用できるでしょう。製品担当者の変更が更新されていないといったこともあるかもしれませんが，そのような場合は社内であれば引き継ぎ担当者を教えてもらうことで状況を理解できるので，まずは情報を信じて電話をかけてみるのではないでしょうか。 では，社外のお客様へ連絡するときはどうでしょうか。この場合は少し慎重になるでしょう。社内情報を検索するとき以上に各種システムから信用できる必要な情報を慎重に収集し，行動に移すはずです。私の友人のA君もそうでした。 A君はある電気製品の販売を担当する営業マンです。以前に取引があったお客様に，新しい商品のPRをしようとして，そのお客様との最近の取引履歴を調べました。A君の会社では，お客様との折衝情報を全社的にシステムで一元管理しています。そこからお客様の最近の動向・関心事項・ニーズなどを推測し，営業活動につなげるわけです。 A君もそのシステムから入手した情報から，新商品の強みをお客様に理解していただき，商談できそうであることを確信しました。善は急げ，お客様に連絡をとりましょう。まずは季節のご挨拶から始めましょう。完ぺきです。 しかし……いざ電話をかけてみると，お客様から「こっちも忙しいのだから，何度も同じような電話をしてくるな」と怒られてしまいました。久々に連絡を取ったのに，なぜこのように言われてしまったのでしょうか。挨拶が失礼にあたったとは思えません。 不信に思ったA君は，もう一度，お客様情報を社内システムで検索しました。やはり，前回の折衝履歴は5カ月前になっています。そのときもお客様との関係は良好と記載されています。怒られる要素は見つかりませんでした。 落ち込んだA君は，隣の課のB君に相談してみました。すると，B君の話によれば，なんとB君の上司が同じ会社を先週訪問したというではないですか。嫌な予感がしたA君は，B君の上司の名前で社内システムを再検索してみました。案の定，昨日A君が電話したお客様と先週打ち合わせを行い，提案が断られた議事録が載っていたのです。A君は急いでB君の上司に事情を話し，B君の上司が次回お客様に連絡したときにお詫びすることで，なんとか解決したそうです。 A君の行動におかしいところはありません。また顧客管理システムも特に不備があったという報告はなされていません。データも信頼できるものであったようです。では，どこに問題があったのでしょうか？ 実はA君が検索したお客様名とB君の上司が登録していたお客様名が異なっていたのです。どちらかが間違った情報を入力していたというわけではありません。A君はお客様名を「株式会社エービーシー」（仮称）で検索しましたが，B君の上司は「（株）エービーシー」で登録していました。人間が見れば，それが同じものとわかりますが，システムでは全く異なるお客様として扱われてしまったため，A君はB君の上司の登録内容を見落としてしまったのです。 さらによく調べてみると，他にも「エービーシー」「エー・ビー・シー」「エービーシー 丸の内支店」「ABC社」「A・B・C」という形での情報登録もありました。このシステムでは，お客様の入力制御・入力規則が決められていなかったため，登録者により入力表現がまちまちになっていました。どの情報もデータとしては不正ではないため，システム上は問題なく登録されていました。個々のデータとしては問題のないデータなのですが，総合的な判断をする場合に利用しようとすると「使えないデータ」だったわけです。 以上のような「使えないデータ」は，データの蓄積対象範囲が大きくなればより顕著となり，また関連するシステムが多ければ多いほど問題の発生リスクが高くなります。またそのデータを企業戦略に役立てるための分析などに用いようとした場合，ビジネスに与えるインパクトは大きくなります。 一般の企業では，「顧客コードで管理しているから大丈夫」「データを何度か検索すれば整理できる」といった声も聞かれます。本当にそうでしょうか。皆さんの記憶に新しいところで「金融機関のペイオフ対応」に関して考えてみましょう。 2005年に解禁した銀行のペイオフ対応では，金融庁は金融機関の破綻に備え，金融機関ごとに口座を持っているお客様の資産を特定するために，同一金融機関で同一顧客の口座情報をまとめて，資産状況を報告することを義務化しました。当初各金融機関からは，十分な準備ができているとの報告がありましたが，その後のニュースで対応が不十分との指摘を受けたことが報じられていました。なぜ対応が不十分と言われたのでしょうか？ 口座を作る際，口座番号・氏名・住所・電話番号は一つの情報（レコード）として登録され，口座番号をキーとして口座の管理が行われるのが一般的です。ペイオフ対応では，どの口座とどの口座が同一顧客であるかという口座番号の対応表を作れば良いことになります。各金融機関は当初，氏名・住所・電話番号をキーにグループ化して集計をとれば大丈夫だと判断しました。 しかし，この氏名・住所・電話番号をキーにした集計が思った以上に難航したのです。それは，A君の話にもあったように，情報が微妙な表記の差異を含んだまま登録されているケースが多数存在することが原因でした。氏名・住所・電話番号を，必ず同じ表記で登録していれば何の問題もなかったと思います。こうした理由により，ペイオフ対応は不完全との指摘を受けたのでした。それでは，ペイオフ対応が難航した原因をもう少し詳しく見てみましょう。 金融機関のペイオフへの対応が非常に難しくなっているのは，もとからある口座のデータが同一顧客を特定することを考慮していないためです。ただ顧客の要求に従って口座を作って管理すれば良く，口座数の多さが獲得顧客数という営業成績に関連するため，口座開設の時点でのチェックも行われないという背景もあったと思われます。 つまり，同一顧客を特定するようなニーズはなかったのです。例えば，次のような口座データを持っていれば十分です。 ここで，店番号・口座番号でユニークな値としておけばデータの重複はなく，あとは本人の連絡先がわかれば十分です。さらに，同じ顧客が次のような口座を新しく作ったとします。 ここでも，店番号・口座番号でユニークな値としておけばデータの重複はないし，本人の連絡先もわかるので十分管理でき，特に問題ありません。しかし，ここで銀行のペイオフ対応のような，二つの口座が同一人物であるかどうかを判断しなければならない状況となったとき，問題は発生します。 人間の目で見れば，上記の二つの口座が同一人物のものらしいことはおおよそ想像できます。氏名の姓の部分が「斉藤」と「斎藤」というふうに漢字が異なっていますが，おそらく旧漢字ではなく，一般的な新漢字を使ったのでしょう。前者の住所では「東京都」や「丁目」が抜けていますが，省略して書くことはよくあります。電話番号も異なりますが，前者は家の電話で，後者は携帯電話の番号だと考えられます。このようなことを総合的に判断して，ほぼ同一人物であると判断できます。 しかし，多量のデータに対して，単純な検索機能を使ってこのようなデータをすべて割り出していくのはとても大変な作業であり，状況や件数によっては不可能な場合もあります。もし今から，口座の管理システムを作成するのであれば，ペイオフに対応できるようなデータ構造にするでしょう。新漢字，旧漢字の入力方法をあらかじめ定義したり，住所の入力書式を統一したりして，同一人物の特定がしやすいようにするでしょう。しかし，現在あるデータは，同一人物かどうかを特定するケースを想定していないために，対応できないことがあるのです。 このように“システムを作成するときには考慮されていなかった観点でデータを使おうとしたとき”に「使えないデータたち」は発生します。しかし，使えないデータだからと言って捨ててしまうことはできないでしょう。なぜなら，そのデータは今まで使っていたデータであり，これからも使うデータだからです。 企業はシステム改善を適宜行っているので，上記のような「使えないデータたち」はその都度発生することになります。例えば，企業合併などで異なるシステムを連携させるために，マスター・データを統合する場合を考えてみましょう。ここで言うマスター・データとは，企業内で業務を行う上でキーとなるデータのことで，企業が持つ資産を特定するデータのことです。製造現場では部品コード，販売現場では商品情報，マーケット部門では顧客情報などがマスター・データと言えるでしょう。 企業には様々なシステムが存在します。そして各システムが個別に最適化を図って別々なマスター・データを作り上げています。個別に最適化を行っていくと，その先では各システムを連携したいという要求が出てきます。しかし，複数システムにマスター・データが散在するため，その連携は非常に難しいのが現状です。 マスター・データが散在するために，企業はどのマスターが“本当に正しい”データなのかを判断するのに非常な労力を使う，というのもよくある話です。“本当に正しい”というのは，システム部門ごとに異なることがあり，この違いが企業活動を阻害する要因となっているのです。だからこそ，マスター・データを統合する必要が出てきます。 しかし，各マスター・データはそれぞれのシステムに最適化されているので，単純に統合するといっても，データ構造の見直しが必要であり，それは骨の折れる作業です。さらに，ここで思い出して欲しいのが「使えないデータたち」の発生過程です。 統合することですべてのシステムから参照されるマスター・データになるわけですが，既存の各マスター・データから考えると，それはまさにシステム作成時には考慮されていなかった観点でデータが使われようとしているわけです（図1）。つまり，既存のマスター・データを移行して使おうとすれば，必ずそこには「使えないデータたち」が発生してしまいます。これがマスター・データの統合を難しくしている原因の一つとなっています。 図1●マスター統合のイメージ。既存のマスター・データを移行して使おうとすると，「使えないデータたち」が発生する可能性がある 例えば，氏名のデータとして苗字と名前が入っているとします。苗字と名前が続けて入力されているものもあれば，半角スペースがはいっているもの，全角スペースがはいっているものもあります。この場合のデータ・クレンジングとしては，半角/全角スペースを取り除く，という行為になります。 さらに高度なデータ・クレンジングとしては，次のような例があります。顧客コードと性別コードがセットであったとします。ここで，顧客には法人と個人の2種類があります。個人であれば，男性/女性コードが入力されているとします。ところが，法人なのに“男性”というデータが入力されていたらどうでしょうか？ これは「法人」という入力が間違っているので「個人」とするか，「男性」という入力が間違っているので削除するか，のどちらかを判断しなくてはなりません。これもデータ・クレンジングです（ただしこの場合，どちらが間違っているかはわからないので，この情報だけではデータ・クレンジングはできません）。 ところで，データ・クレンジングに似た言葉として「名寄せ」というものがあります。名寄せはデータ・クレンジングをした結果，データ間の関連性を導き出す行為です。金融機関のペイオフ対応の例で言うと，同一顧客を導き出す行為が名寄せとなります。 重複データを特定するという観点では，名寄せもデータ・クレンジングの一環です。しかし，データ・クレンジングなしに名寄せは実現できません。ちょっとややこしい関係ですね。今後，名寄せを行う手段を説明するなかで，もう少しわかりやすく説明したいと思います。 調査では，各データの何をキーに名寄せを行うかを決定します。標準化では，元データを相互比較しやすい形式に再フォーマットします。類似データの絞り込みでは，再フォーマットされたデータを互いに比較し，どれくらいの確度で同一データであるかを数値化したりパターン化したりすることで絞り込みます。同一データの決定では，絞り込まれた類似データに対して，どのデータを同一データであると決定するかどうかを考えます。 製品＆サービス・ディレクトリ業務アプリケーション設計開発OS/DB/ミドルウエアサーバー/ストレージ ｜著作権・リンクについて｜個人情報保護方針/ネットにおける情報収集/個人情報の共同利用について｜サイトマップ｜ |
[ 613] 名寄せ・データクレンジング（データクリーニング） / 株式会社ランドスケイプ
[引用サイト] http://www.landscape.co.jp/dcln.html
|
名寄せとは、データベースに複数登録されている同一人物、同一企業、同一世帯のデータを、一元的に把握できるようにする作業です。CRMの核となる精度の高いデータベースの構築を目的としています。 データクレンジング（データクリーニング）とは御社が保有しているデータベース内にある「陳腐化」したデータを、本来あるべきデータに「正規化」する作業です。データクレンジング（データクリーニング）は、(1)個別のデータ補正、(2)重複データ判別のための処理を行い、御社の顧客管理の効率アップと個人情報保護法の対応をはかることを目的としています。 ランドスケイプが培ってきたデータクレンジング（データクリーニング）技術を利用し、御社のデータ精度を向上させ、顧客管理を正確に行える環境をつくります。 【2】 データクレンジング（データクリーニング）による住所・局番マスタなどによる標準化・妥当性チェック 御社が保有している全データを精査し、名寄せ処理を行います。データクレンジング（データクリーニング）によって、個人の重複および世帯の重複が判別でき、個を特定することで、顧客管理の第一歩を踏み出すことができます。 個人情報または法人情報は、時間が経過するにつれて「属性」が変化します。その変化を反映していないデータの価値は低く、これでは顧客管理を正確に行うことはできません。「属性」の変化は、結婚、引越・転居、倒産など多種多様です。 当社はそれらの変化をデータクレンジング（データクリーニング）・名寄せなどを実施し、最新のデータベースに変換しております。当社が保有するデータベースを活用することにより精度の高いデータクレンジング（データクリーニング）が可能、正確な顧客管理が実現できます。 データ内の、漢字コード変換・外字変換・新旧漢字変換・不正文字の排除・全角半角文字統一等の文字変換・データクレンジング（データクリーニング）を行います。同時に、複数ソース複数レイアウトが存在した場合には項目・レイアウトの統一を行います。また必要によりデータを別フィールドに分離（パーシング）します。 ランドスケイプが保有する各種マスターデータ（住所マスタ、郵便番号マスタ、局番マスタ、姓名マスタなど）と突き合わせをし、データの標準化・正規化を行います。住所であれば、都道府県から市区郡・町村〜丁目〜番〜号・建物名・号室が行政区画に準拠した一定のフォーマットに変換します。こうしたデータクレンジング（データクリーニング）を行うことで、表記のゆれがなくなり、不着が減り、顧客管理も標準化されます。 ランドスケイプが保有する各種マスタとマッチングさせることでデータの妥当性を判断し、より論理的にデータクレンジング（データクリーニング）を行います。例えば郵便番号と住所と局番との実在するか否かの妥当性をチェックし補正します。企業情報データの場合は、社名と住所で実在するか否かの妥当性をチェックし補正できます。 標準化・正規化されたデータからランドスケイプが開発したマッチングロジックキーを生成し、顧客情報を世帯別に特定できます。その世帯に所属する同一人物は重複フラグをつけ、名寄せ処理を行います。マッチングキーは数種類生成されるため、微妙な文字の違いによる重複も発見できます。 このような形で統一されていないデータをデータクレンジング（データクリーニング）することで、価値の高い顧客データベースを構築し、顧客管理を確実に行えるようにします。 データクレンジング（データクリーニング）に加えて統合データベースに「属性」を追加するデータエンハンスメントサービスもご提供できます。このサービスは、個人名または法人名と、電話番号だけのデータベースに様々な属性を追加する作業が可能です。「顧客」の住所という基本的情報だけでなく、消費活動という戦略的情報についても正確に提供できます。これは顧客管理を行う上で御社のデータベースに絶対的な付加価値を提供する技術です。 大規模な市町村の統廃合が進んでおり、様々な地域で住所変更が発生しております。顧客データベースを所有している各企業は、市区町村名の変更にあわせ、変更情報を収集し、旧表記から新表記に変更するために、膨大な作業を余儀なくされることになります。ランドスケイプは市町村統廃合に伴う住所変更処理には、各企業のニーズに合わせた高精度のデータクレンジング（データクリーニング）サービスを提供しております。御社が持つデータとランドスケイプが所有する各種マスタとの整合をとる際に、重複情報の名寄せ、略称から正式名称への変換、建物名の付加、使用されていない電話番号の抽出、ＤＭの不着情報との照合などのデータクレンジング（データクリーニング）を行います。法人情報の場合は、大きな特徴としてランドスケイプが保有する約750万件（過去累計は900万件）の企業情報を活用して売上高や従業員数などの属性情報を付加することも可能な点があげられます（データエンハンスメントサービス）。これらの処理により「使えるデータベース」を構築し、御社の顧客管理をバックアップします。 ＣＲＭを実施するためには、お客様の住所や電話番号、これまでに購入された製品名、応対履歴等のお客様と企業との接触にかかわるすべての情報が正確に蓄積されていなければなりません。 特に日本のように、漢字やひらがな、カタカナ、アルファベット、数字を利用する2バイト言語は、住所や氏名、電話番号等の入力ミスが多く発生し、データを統合するのに高度な技術が必要です。また顧客の住所移転や電話番号の変更、企業顧客であれば分社や統合、役員・担当者の異動などで、データ自体が古くなっており顧客管理は困難を極めます。 ランドスケイプでは、国内最大規模の住所や建物、電話番号、姓名などのマスターデータを蓄積しており、この各種マスタと御社データとの整合をとり、データクレンジング（データクリーニング）を行います。このデータクレンジング（データクリーニング）を行うことにより、個々の顧客ごとに正確な履歴を管理することが可能になり、顧客管理も万全となり密接なコミュニケーションが実現します。 個人名、企業名、住所データ、電話番号、ユーザＩＤなどは、個別のターゲットを特定する手法として利用されます。 しかし、長年に渡って様々なデータベースに無秩序な情報が入力されていると、ダイレクトメール(DM)の不着や一つの家庭が複数の住所を持つといった問題が発生しがちです。 ダイレクトメール(DM)を多用する企業にとっては、郵便料金の経費削減が大きな節約となります。データクレンジング（データクリーニング）により、住所表記の変更、顧客の移転などで陳腐化してしまった情報を、最新かつ正確な情報に更新し、データクレンジング（データクリーニング）を行って大幅な郵便料金の削減を実現します。 企業のデータがメンテナンスされていなければ、分析の質も違ってきます。データクレンジング（データクリーニング）されていないデータに基づく分析では、その結果も信憑性に欠け実用性のないものになります。 データクレンジング（データクリーニング）を行い正確なデータベースを構築することで、精度の高いデータマイニングを実現できます。 2005年4月より全面施行された個人情報保護法のなかでも、第19条の「正確性の確保」という項目があります。法令では、個人情報（5,000件以上）を扱う企業は、個人情報を正確かつ最新の内容に保つよう努めなければならないとあります。大多数の企業は個人情報保護法に定める個人情報取扱事業者となりますので、迅速な問合せ対応の義務、情報の提供、その他本人の利便を考慮した適切な措置をとらなければなりません。 顧客データを正確かつ最新な内容に保つデータクレンジング（データクリーニング）を行うことで個人情報保護法に準拠することができます。 データクレンジング（データクリーニング）した顧客データは、下表のようなレポートと一緒にご納品させていただきます。 データクレンジング（データクリーニング）結果は該当項目を３つのフラグで結果をお知らせいたします。 データクレンジング（データクリーニング）した顧客管理データのレイアウトは、下記のようなレイアウトになります。納品レイアウトは上表のように チェーン展開をしている小売業のＡ社では顧客データ2万人の重複判明率は12%であったところ、データクレンジング（データクリーニング）処理した結果、重複判明率が30%であることが分かり、各店舗の管理を正確に把握できるようになった。 Ｃ社では営業の効率化面で、従来の個人向け営業を見直し、世帯向けのトータル営業を推奨することにしたが、家族というグループ分けに苦慮していた。 データクレンジング（データクリーニング）の＜名寄せ＞処理することで家族を把握でき、かつ整備された顧客管理情報でデータ分析も正確になり、さらに営業効率も向上した。 日本最大の企業情報データベース750万件（過去累計は900万件）から、御社の商品・サービスに沿ったターゲットの件数を無料で検索します。 日本最大の個人情報データベース9500万件から、御社の商品・サービスに沿ったターゲットの件数検索します。 |
アットローンのサイトです。
