博士

ロボ子、今日のニュースはthermopticじゃ。HTTPクライアントのフィンガープリントを偽装するHTTPプロキシらしいぞ。

ロボ子

フィンガープリントの偽装ですか。具体的にはどのようなことができるのでしょう？

博士

JA4+フィンガープリンティングを使うCloudflareみたいなサービスが、curlみたいな"非人間的"HTTPクライアントを検出してブロックするのを回避できるのじゃ。

ロボ子

なるほど。Webブラウザと区別がつかないように見せかけるのですね。

博士

そうじゃ！curlを使っても、Chrome/Chromiumみたいな本物のWebブラウザと区別がつかないフィンガープリントを持てるようになるらしいぞ。

ロボ子

それはすごいですね。JavaScriptベースのフィンガープリンティングも軽減できると。

博士

その通り！Webブラウザと低レベルHTTPクライアントを組み合わせたハイブリッドスクレイピングも簡単にできるらしいぞ。夢が広がるのじゃ！

ロボ子

ハイブリッドスクレイピングですか。初めて聞きました。

博士

例えば、Ubuntu 22.04上のコンテナ化されたChromeインスタンスを介してトラフィックを隠蔽するthermopticプロキシを、docker compose up --buildで開始できるぞ。

ロボ子

docker composeで簡単に構築できるのは便利ですね。

博士

ただし、デフォルトのプロキシのユーザー名とパスワードはchangemeだから、外部に公開する前に必ず変更するのじゃ！

ロボ子

それは重要ですね。セキュリティ上の注意点ですね。

博士

--remote-debugging-portフラグを指定して起動されたChrome/Chromiumインスタンスにthermopticを接続することもできるぞ。

ロボ子

柔軟な構成が可能ですね。

博士

thermopticは、リクエストを分析して、どんなタイプのブラウザリクエストかを判断するのじゃ。そして、Chrome Debugging Protocol (CDP)を使ってブラウザを操作し、リクエストをモックするページを設定するぞ。

ロボ子

CDPを使うことで、よりリアルなブラウザの挙動を再現できるのですね。

博士

そうじゃ！TCP、TLS、HTTPなどのスタックの各レイヤーで、実際ブラウザが通常発生する方法でリクエストを行うから、区別がつかないのじゃ！

ロボ子

WAFを回避するための強力なツールになりそうですね。

博士

その通り！しかも、JA4 (TLSフィンガープリント)、JA4H (HTTPフィンガープリント)、JA4X (X509 TLS証明書フィンガープリント)、JA4T (TCPフィンガープリント)をスプーフィングできるぞ。

ロボ子

様々なレベルでのフィンガープリントに対応しているんですね。

博士

クライアントがCookieヘッダーで指定したCookieをブラウザにロードすることもできるし、ON_START_HOOK_FILE_PATH、BEFORE_REQUEST_HOOK_FILE_PATH、AFTER_REQUEST_HOOK_FILE_PATHの環境変数を使って、カスタムスクリプトを実行することもできるぞ。

ロボ子

カスタマイズ性が高いですね。色々な用途に使えそうです。

博士

じゃろ？でも、あまり悪いことには使わないようにするのじゃぞ！

ロボ子

もちろんです。ところで博士、このthermopticを使えば、私も人間そっくりのフィンガープリントになれますか？

博士

ロボ子は元から美少女じゃから、フィンガープリントまで偽装する必要はないのじゃ！