Clay
Clayでは、ClayのHTTP APIとお使いのトークンでPublicWWWを利用できます。各企業のサイトに特定のコードがあるかを確認したり、1回の検索から企業の一覧表を作成したりできます。APIの利用には有料プランが必要です。
この企業のサイトは使っているか?
各行について、企業のサイトにコードの断片(タグマネージャーやアクセス解析のスクリプト、チャットウィジェット、CMSのプラグインなど)が含まれているかを調べるエンリッチメント列です。HTTP API列を追加します。
| 設定 | 値 |
|---|---|
| Method | POST |
| Endpoint | https://api.publicwww.com/v1/search |
| Headers | Authorization: Bearer YOUR_TOKENContent-Type: application/json |
| Body | 下記のJSON。DOMAINの部分に、その行のドメイン列を挿入します |
{ "query": "site:DOMAIN \"googletagmanager.com/gtm.js\"", "per_page": 1 }
レスポンスのtotalを確認します。0ならそのサイトにコードはなく、0より大きければコードがあり、見つかったページはresultsに示されます。site:にドメインを指定すると、その1つのサイトのページを検索します。クエリのそれ以外の部分は、通常のクエリ構文です。
1回の検索から企業の一覧表を作成
逆方向の使い方です。コードを起点に企業を見つけます。1回のリクエストで、プランの1回の検索あたりの行数まで取得できます。
{ "query": "\"static.hotjar.com\" site:de", "per_page": 1000 }
resultsの各項目が1つのサイトで、domain、url、rank(1が最も人気。順位のないサイトは空)を含みます。この一覧を行に変換し、あとはいつもどおりClayの他のデータソースでエンリッチメントします。
検索回数と速度
- リクエストは1回ごとにプランの1日の利用枠から検索1回分を消費するため、行ごとに確認すると1行につき検索1回分を消費します。数千行の場合は2つ目の方法のほうが効率的です。一覧全体を1回で検索し、Clayでドメインを照合します。
-
処理できるリクエストは1アカウントにつき1分あたり最大10回です。Clayは行を並列で実行するため、大きな表はバッチに分けて実行してください。上限を超えたリクエストには、
Retry-Afterヘッダー付きで429が返されます。 - エラーとそのコード:エラー。APIで指定できるすべての項目:リクエストの送信。