ロボットによる荒らしについて（18/09/18発表・11/05追記あり）

この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。
====== ロボットによる荒らしについて（18/09/18発表・11/05追記あり） ======
いつも、『ジャガーマンシリーズ　動画まとめWiki』（以下、当サイト）をご利用頂き、ありがとうございます。
また、この度はロボットによる荒らしにより、正常なサイト運用に支障を来しており、申し訳ございません。

この度のロボットによる被害について取り纏め、発表致します。

<color red>**9/29追記：**状態がかなり落ち着いたので、一度「対応完了」としますが、警戒は継続します。また、全体的に追記しました。\\ **10/02追記：**その後の細かい対応について追記しました。\\ **11/05追記：**アクセスカウンターから、国単位で除外出来るようになった件について追記しました。</color>

**[[#current|直近の状況について手っ取り早く読みたい場合はこちらをクリックして下さい。]]**

===== 大まかな経緯 =====
  - **ロボットによる新規ユーザーのイタズラ登録、コメント荒らし及びそれに伴う集中アクセス**を確認したので、最初は、ロボット対策の日本語入力認証を導入して沈静化を図りました。
  - その後、利便性・確実性の向上を図るため、『reCAPTCHA v2』を導入しましたが、導入後、**なぜかreCAPTCHAをすり抜けてスパムコメントが投稿されていました**。NGワードリストを拡充させた所、沈静化しました。
  - しかしながら**ロボットによる集中アクセス**は続いていた（コメント荒らしをしたロボットだけでなく、**様々な国のロボットによるアクセスもあった**）ので、**集中アクセスがあったページのアクセス者のIPアドレスを収集**し、その様子を見て、**特定のリモートホスト（海外プロバイダ）からのアクセスをアクセスカウンターが計上しないように**しました。また、**IP→リモートホスト の逆引きが失敗した場合にも、アクセスカウンターが計上しないように**しました。その結果状態はかなり良好になりました。
  - 現在もログ収集及び除外対応は順次しており、また、ロボットによるアクセスがあった回数分、カウンターの数字を手動で順次マイナスしています。

===== 経緯詳細 =====
==== 事態発覚～一旦の沈静化まで ====
そもそも当Wikiでは、管理人の知識が不足していた事もあり、**ロボット対策が不充分**で、ロボットによる荒らしに対し脆弱な状態でした。

**2018年8月30日22時49分頃**から、新規メンバー登録の通知メールを管理人が相次いで受け取り、不審に思った事から調査を開始しました。

**同日23時15分**までの**約20分間で8件のメンバー登録**がありました。
これらは全て同一人物が（ロボットか何かの手段で）イタズラ登録したものと思われますが、うち2件のメンバー登録については、メール不届き通知と共に送信されました((当Wikiでは、メンバー登録があった際に、登録されたユーザーへパスワードを通知するメールを送信します。何らかの理由でそのメールが届かなかった場合、このような形で管理人がメール不届き通知を受け取ります。))。
イタズラ登録は海外ホストからされていました。なお、イタズラ登録されたユーザーは、のちに管理人が削除しました。

**同日23時20分頃**に、暫定的に『reCAPTCHA v2』を導入した所、ユーザーのイタズラ登録は止みました（この時点で、コメント欄にはreCAPTCHAが設定されていませんでした）。

**同月31日0時頃**、特定のページが異様なアクセス数を記録していたのを発見し確認した所、**ロボットによる、コメント欄への大量投稿**を確認しました（オンラインカジノサイトやフリーソフトウェア等を宣伝する英語のコメントで、動画内容はおろかアニメとも関係無い物でした）。
スパムコメントは31日より少し前から投稿されており、**まさかロボットによる荒らしに遭っているとは夢にも思わず、初動対応が遅れてしまいました**。
ユーザーのイタズラ登録やコメント荒らしをされた際のIPアドレスからのアクセスを遮断しましたが、**ロボットはIPアドレスをコロコロ変えてアクセスを試みており**、すぐにコメントされてしまう状態でした。

その後、日本語入力による認証を臨時的に導入し、ユーザー登録やコメントのイタズラは一旦無くなりました。

==== ロボットの再活発化～スパムコメント沈静化まで ====
**2018年9月8日**、日本語入力の手間を無くし利便性や確実性を向上させる目的で、**『reCAPTCHA v2』を再導入しました**（コメント欄にも導入しました）。

**同月15日21時頃**、以前コメント荒らしがあったページへのアクセスが再び異様に伸びていたのを発見し確認した所、**スパムコメントがreCAPTCHAをスルーして投稿されていました**（reCAPTCHAが作動しなかった理由としては、DokuWikiに導入する過程で抜け穴が生じてしまったか、新生のロボットだったためにGoogle社が把握しきれていなかったか、の2つの理由が考えられますが、ハッキリとは分かっていません）。
reCAPTCHAのセキュリティレベル（3段階、デフォルトは中間）を最も厳しい設定に引き上げましたが、それでもスパムコメントは止みませんでした。

**同月16日12時50分頃**、編集やコメントをブロックする基準となる**NGワードリスト**を大幅に拡張し、更に、**同日19時40分頃**には、この手のスパムコメントに頻出する「ｆｒｅｅ」や「ｄｏｗｎｌｏａｄ」といった語もNGワードとしました。

==== アクセスカウンターの問題 ====
NGワードが決め手となったのか、それ以降、ロボットによる荒らしコメントは未然に防がれている状況ですが、一度スパムコメントの投稿に成功して味をしめてしまったのか、コメントを試みるロボットが何度もその（コメント荒らしに遭った）ページを訪問する事により、**そのページだけアクセスカウンターの数字が異様に増えている**状態になっていました（当時は、荒らしコメントをした同一のロボットが訪問しているものと踏んでいました）。
これを受け、**同月19日晩**に、**問題のロボットの接続元である「rev.poneytelecom.eu」系のリモートホストからのアクセスを、アクセスカウンターがカウントしないように設定しました**（日本人の利用者は少ないと思いますが、アクセスは完全に遮断しない事とします）。

また、既に増えてしまったアクセスカウンターの数字をどう処理するかについては、**そのページで紹介されている動画の投稿者**（管理人との連絡手段は確立しています）**に、方針を委ねる事としました**((「勝手に数字をいじって良いものなのか」など悩んだ結果、「記事で紹介される動画の投稿者の人がどう思うかで考えたほうが良いのではないか」という考えに至りました。該当の投稿者の方針を受けた上で、管理人である私の責任のもと、カウンターの数字を処理しております。))。
  - アクセスカウンターの数字は特にいじらず、そのままにする
  - 現時点で閲覧可能な全動画記事のアクセスカウンターの数字を平均し、その数字を適用する形で、カウンターの数字をいじる((残念ながら、普段はアクセス者のIPアドレスは完全には記録されておらず、ロボットからのアクセスのみ正確に除外する事は出来ません))
  - 2以外の方法でカウンターの数字をいじる
以上3つを提案し、該当の投稿者の意見を踏まえ、**同日中**に、適切に処理しました。

しかしながら、執拗にアクセスを試みていたのは問題のコメント荒らしロボットだけではなく、**別の複数の国からのロボットも、問題のページを訪問していた**事が判明しました。
「問題のページはロボットに対して脆弱だ」という噂が流れ、世界中からロボットが集まって来てしまったのだと思われます。

これを受け、**同月19日**、**ロボット接続元の調査**を目的に、執拗なアクセスを受けているページについて、**アクセス者のIPアドレスの収集**を開始しました((外部者が（http(s)形式のURL等から）アクセス出来ない位置に保管しています（いわゆる「ドキュメントルート」の外側に保管しています）。))。この調査を元に、アクセスカウンターから除外するリモートホストを随時決定、対応を継続しています。

{{anchor:current:}}
==== 直近の状況 ====
ロボットのIPアドレスはコロコロ変わっており、加えて、**一部のIPについて、IPからリモートホストを逆引きされるのを防がれている**ケースもあり、ワイルドカード指定がやりづらい事から、**ただIPやリモートホストを指定するだけではロボットによるアクセスをカウンターから完全に除外出来ない**と判断しました。

そして当初は、**ロボットの主な接続元であるロシアやウクライナなどからのアクセスを、カウンターが計上しないようにする**ため**『GeoIP』の導入による対応**、を検討しましたが、うまく導入出来ない状態でした。

9月26日に、**IP→リモートホスト の逆引きに失敗した場合に、アクセスカウンターから除外するように設定**しました（ただ、プラグインの不備により、9月27日の修正対応が終わるまで、本来除外されるはずのIPが除外されていませんでした）。すると、アクセス集中によるアクセスカウンター増加に対して、かなりの効力を発揮しました。
加えて、**リモートホストのワイルドカード指定も更に拡張**し、**ロボットによる荒らしを受ける前のカウンター水準に戻す事が出来ました**。
そして、異様に増えたカウンターの数字を再び調整し、「**対応完了**」となりました。

**（10/02追記分）**
現在も、問題のページのアクセスログは収集し、カウンターから除外する作業も順次行なっています。
また、ロボットによるアクセスがあった回数分、アクセスカウンターの数字から手動でマイナスする作業も行なっています。

**（11/05追記分）**
GeoIP以外の方法を取った事により、アクセスカウンターから、国単位で除外出来るようになったため、とりわけロボットによるアクセスが多い国についてアクセスカウンターから除外しております（アクセスカウンターに計上されない他は特に利用制限等ありません）。
申し訳ありませんが、ロボットによる影響の無害化にご協力願います。
どの国が規制されているかについては、[[:blocking#広域的特殊制限|こちらをご覧下さい]]。

===== 今後について =====
問題のコメント荒らしに遭ったページのアクセスログは引き続き収集し、警戒を続ける事とします。

また、今後、同じような事例があった場合に備えた対処について、現在、検討しています。
本件に限らず、何か質問や意見などあれば、[[:aboutadmin|何なりと管理人にご相談下さい]]。

再度、この度、正常なサイト運用に支障を来していました事を、お詫び申し上げます。