Webスクレイピングが「違法」になりかけた、建築業のAI入札システム

重要ポイント

• 時期: 2026年7月ごろ
• 業種: 建築業
• 状況: 入札情報をAIで解析し、入札判断・入札作業の自動化・データベース化を構築中
• リスク: 入札情報をWebスクレイピングで取得していた
• 対応: 提供元のAPIへ切り替え、Supabaseで構造化データ＋ベクトルデータのハイブリッド検索に再設計

Q. どんな相談だったのですか？

A. 建築業のお客様から、入札情報を自動で取得してAIで解析し、入札するかどうかの判断や、入札作業そのものの自動化、情報のデータベース化を進めているという相談を受けました。すでに実際に動いているシステムでしたが、データの取得方法を確認したところ、対象サイトへのWebスクレイピングで情報を集めていることが分かりました。

Q. なぜそれが問題だったのですか？

A. Webスクレイピングは、対象サイトの利用規約や取得方法によっては違法になり得る行為です。実際、20年ほど前には、日本国内でもスクレイピングに関連して逮捕者が出た事例があります。相手方サイトへの負荷のかけ方やアクセス方法次第では、不正アクセスや業務妨害といった問題に発展するリスクがあります。

Q. 具体的にはどんなリスクがあったのですか？

A. 入札情報という、事業の根幹に関わる重要な情報を、法的にグレーな方法で取得し続けている状態でした。仮に取得方法が問題視されれば、集めたデータそのものが使えなくなるだけでなく、事業の信用や取引先との関係にも影響しかねません。技術的に動いているかどうかと、法的に問題がないかどうかは別の話だとお伝えしました。

Q. どう解決したのですか？

A. 調べてみると、対象の入札情報発信サイトは公式にAPIを提供していました。スクレイピングでしか取得できないと思い込んでいただけで、正規の手段がすでに用意されていたのです。API経由での取得に切り替えるようお伝えしました。

Q. データの保存方法についても助言したそうですね？

A. はい。もともと取得したデータは構造化データとして保存していましたが、案件の詳細説明や仕様のような文章情報も多く含まれていました。そこで、金額や日付、案件区分のようにきっちり型が決まった情報はSupabaseの構造化データとして、文章のように意味で検索したい情報はベクトルデータとして、両方の形で持つように再設計しました。そのうえで、条件で絞り込みたいときはキーワード検索、似た案件を意味で探したいときはRAGによるベクトル検索、両方が必要な場面ではハイブリッド検索、というように使い分ける方法を提案しました。

Q. この経験から、他の会社にも伝えたいことはありますか？

A. 「動いているから大丈夫」と「法的に問題がないか」は、まったく別の確認が必要だということです。特に外部サイトから情報を取得する仕組みを作るときは、スクレイピングありきで考える前に、まず公式のAPIが用意されていないかを確認することを勧めています。