Baseconnectのインターンとして、企業情報の抽出とデータ品質の改善に携わっています。WebページやPDFの情報が構造化される過程を調べ、抽出漏れや誤抽出、データの誤りの原因を特定し、生成パイプラインの修正と検証を進めています。3か月で作成した190件のPRは、同僚のレビューを経てマージされました。この取り組みの中で、特定のデータ項目の精度は40%台から85%に、データカバー率は30%台から75%に改善しました。
PR件数の背景にある、三つの修正例
- PDFの重複文字:文字の座標を調べて原因を特定。通常のページでは追加処理を省き、境界条件も検証しました。
- 有効なページの誤削除:処理をたどって前処理ルールの誤判定を調査。抽出結果が復元されたことと、新たな誤りの有無を確認しました。
- 出典情報の欠落:データの生成側と受信側を調査。出典をたどれるようにし、受信時のチェックを追加しました。
2026年6月初旬〜9月初旬、担当した企業の部署・組織情報の項目で、人による作業とAIの支援を組み合わせて改善を進めました。この期間に、精度は40%台から85%、データカバー率は30%台から75%へと変化しました。
精度=正しく抽出できた件数 ÷ 抽出した総件数。データカバー率=抽出した総件数 ÷ 正解データの件数。
仕事の進め方
調査を再開できる、自分用のダッシュボード
課題・根拠・進捗・次の作業をまとめて記録
調査を再開できる、自分用のダッシュボード
課題・根拠・進捗・次の作業をまとめて記録
データ品質の調査は、複数のAIセッションを使って進めます。経緯を説明し直す手間や情報の抜けを減らすため、データベースを備えた自分用のダッシュボードをつくりました。タスク、処理バッチ、検証結果、次の作業、担当者を記録し、新しいセッションはその記録を読んで再開します。毎日使いながら改良しています。開発の経緯は「最も難しかった開発経験」で紹介しています。
Web上の企業情報を、検索できるデータへ
元のページを読み解き、情報を構造化する
Web上の企業情報を、検索できるデータへ
元のページを読み解き、情報を構造化する
企業サイトに載っている部署や役職の情報は、ページごとに形式が異なり、更新によって内容も変わります。私は収集・抽出・検証の改善に携わっています。原文と処理ログを照らし合わせ、情報が抜けた箇所や解釈を誤った箇所を調べて、該当する処理を修正しています。
変更の効果と、ほかのデータへの影響を確かめる
同じサンプルで変更前後を比べる
変更の効果と、ほかのデータへの影響を確かめる
同じサンプルで変更前後を比べる
データを修正するときは、もともと正しかったデータへの影響も確かめます。比較に使うサンプルと判定基準をそろえ、変更前後で何が変わったかを確認します。正しくなった結果と新たに誤りが生じた結果をそれぞれ数え、追加の修正が必要か判断しています。
問題に合わせて、ルールとモデルを使い分ける
判断の難しさ・安定性・検証の負担を踏まえる
問題に合わせて、ルールとモデルを使い分ける
判断の難しさ・安定性・検証の負担を踏まえる
書式や空値の扱い、除外条件が明確なものは、ルールで処理します。文脈を読み取る必要がある場合は、モデルを使う方法を検討します。それぞれの方法を比較し、出力を確かめるチェックも加えています。誤りを見つけ、その原因となった処理を調べやすくするためです。
一つの誤りから、同じ原因のデータを調べる
対象範囲の確認から、dry-run・本番実行・実行後の確認まで
一つの誤りから、同じ原因のデータを調べる
対象範囲の確認から、dry-run・本番実行・実行後の確認まで
誤りが見つかったら、同じ問題があるデータの範囲を調べ、修正するものと、そのまま残すものを分けます。一見不自然でも、業務上正しいデータは保護します。修正作業は私が担当し、読み取りのみでの確認、dry-run、バックアップ、本番実行、実行後の確認の順に進めます。その後、収集や保存の処理も調べ、同じ誤りを減らす方法を検討します。
繰り返すデータ修正を、再利用できる処理にする
既存データの修正・発生源の修正・継続的な改善
繰り返すデータ修正を、再利用できる処理にする
既存データの修正・発生源の修正・継続的な改善
繰り返し発生するデータの誤りに対応するため、修正処理を再利用できるtransformにまとめました。dry-runで確認し、バックアップを取って本番で実行した後、結果を確かめます。同じ方針で本番パイプラインを修正するPRも作成し、誤りの発生を減らしています。1.5か月、約180時間で38件のデータ修正タスクを解決しました。
読み取りのみで確認 → dry-run → バックアップ → 本番実行 → 結果確認
AIと進める調査・開発
Claudeを開発に活用し、作業を九つの段階に分けています。①私が課題と目標を定める、②AIに調査を依頼する、③私が調査結果の妥当性を判断する、④AIにコード案の作成を依頼する、⑤私が気になる点やリスクの高い箇所を確認する、⑥修正案を調整してPRを作成する、⑦受け入れ基準をMarkdownファイル(.md)に書く、⑧マージ後に基準に沿って検証する、⑨結果をPRのコメントに残す、という流れです。前の議論を引き継がないエージェントにも、反例の検討やレビューを依頼します。課題を明確にし、方針を選び、実際の業務に合う結果が得られたかを確かめることを大切にしています。




