ロボットによる荒らしについて（18/09/18発表・11/05追記あり）

いつも、『ジャガーマンシリーズ　動画まとめWiki』（以下、当サイト）をご利用頂き、ありがとうございます。
また、この度はロボットによる荒らしにより、正常なサイト運用に支障を来しており、申し訳ございません。

この度のロボットによる被害について取り纏め、発表致します。

9/29追記：状態がかなり落ち着いたので、一度「対応完了」としますが、警戒は継続します。また、全体的に追記しました。
10/02追記：その後の細かい対応について追記しました。
11/05追記：アクセスカウンターから、国単位で除外出来るようになった件について追記しました。

直近の状況について手っ取り早く読みたい場合はこちらをクリックして下さい。

1. ロボットによる新規ユーザーのイタズラ登録、コメント荒らし及びそれに伴う集中アクセスを確認したので、最初は、ロボット対策の日本語入力認証を導入して沈静化を図りました。
2. その後、利便性・確実性の向上を図るため、『reCAPTCHA v2』を導入しましたが、導入後、なぜかreCAPTCHAをすり抜けてスパムコメントが投稿されていました。NGワードリストを拡充させた所、沈静化しました。
3. しかしながらロボットによる集中アクセスは続いていた（コメント荒らしをしたロボットだけでなく、様々な国のロボットによるアクセスもあった）ので、集中アクセスがあったページのアクセス者のIPアドレスを収集し、その様子を見て、特定のリモートホスト（海外プロバイダ）からのアクセスをアクセスカウンターが計上しないようにしました。また、IP→リモートホスト の逆引きが失敗した場合にも、アクセスカウンターが計上しないようにしました。その結果状態はかなり良好になりました。
4. 現在もログ収集及び除外対応は順次しており、また、ロボットによるアクセスがあった回数分、カウンターの数字を手動で順次マイナスしています。

そもそも当Wikiでは、管理人の知識が不足していた事もあり、ロボット対策が不充分で、ロボットによる荒らしに対し脆弱な状態でした。

2018年8月30日22時49分頃から、新規メンバー登録の通知メールを管理人が相次いで受け取り、不審に思った事から調査を開始しました。

同日23時15分までの約20分間で8件のメンバー登録がありました。
これらは全て同一人物が（ロボットか何かの手段で）イタズラ登録したものと思われますが、うち2件のメンバー登録については、メール不届き通知と共に送信されました¹⁾。
イタズラ登録は海外ホストからされていました。なお、イタズラ登録されたユーザーは、のちに管理人が削除しました。

同日23時20分頃に、暫定的に『reCAPTCHA v2』を導入した所、ユーザーのイタズラ登録は止みました（この時点で、コメント欄にはreCAPTCHAが設定されていませんでした）。

同月31日0時頃、特定のページが異様なアクセス数を記録していたのを発見し確認した所、ロボットによる、コメント欄への大量投稿を確認しました（オンラインカジノサイトやフリーソフトウェア等を宣伝する英語のコメントで、動画内容はおろかアニメとも関係無い物でした）。
スパムコメントは31日より少し前から投稿されており、まさかロボットによる荒らしに遭っているとは夢にも思わず、初動対応が遅れてしまいました。
ユーザーのイタズラ登録やコメント荒らしをされた際のIPアドレスからのアクセスを遮断しましたが、ロボットはIPアドレスをコロコロ変えてアクセスを試みており、すぐにコメントされてしまう状態でした。

その後、日本語入力による認証を臨時的に導入し、ユーザー登録やコメントのイタズラは一旦無くなりました。

2018年9月8日、日本語入力の手間を無くし利便性や確実性を向上させる目的で、『reCAPTCHA v2』を再導入しました（コメント欄にも導入しました）。

同月15日21時頃、以前コメント荒らしがあったページへのアクセスが再び異様に伸びていたのを発見し確認した所、スパムコメントがreCAPTCHAをスルーして投稿されていました（reCAPTCHAが作動しなかった理由としては、DokuWikiに導入する過程で抜け穴が生じてしまったか、新生のロボットだったためにGoogle社が把握しきれていなかったか、の2つの理由が考えられますが、ハッキリとは分かっていません）。
reCAPTCHAのセキュリティレベル（3段階、デフォルトは中間）を最も厳しい設定に引き上げましたが、それでもスパムコメントは止みませんでした。

同月16日12時50分頃、編集やコメントをブロックする基準となるNGワードリストを大幅に拡張し、更に、同日19時40分頃には、この手のスパムコメントに頻出する「ｆｒｅｅ」や「ｄｏｗｎｌｏａｄ」といった語もNGワードとしました。

NGワードが決め手となったのか、それ以降、ロボットによる荒らしコメントは未然に防がれている状況ですが、一度スパムコメントの投稿に成功して味をしめてしまったのか、コメントを試みるロボットが何度もその（コメント荒らしに遭った）ページを訪問する事により、そのページだけアクセスカウンターの数字が異様に増えている状態になっていました（当時は、荒らしコメントをした同一のロボットが訪問しているものと踏んでいました）。
これを受け、同月19日晩に、問題のロボットの接続元である「rev.poneytelecom.eu」系のリモートホストからのアクセスを、アクセスカウンターがカウントしないように設定しました（日本人の利用者は少ないと思いますが、アクセスは完全に遮断しない事とします）。

また、既に増えてしまったアクセスカウンターの数字をどう処理するかについては、そのページで紹介されている動画の投稿者（管理人との連絡手段は確立しています）に、方針を委ねる事としました²⁾。

1. アクセスカウンターの数字は特にいじらず、そのままにする
2. 現時点で閲覧可能な全動画記事のアクセスカウンターの数字を平均し、その数字を適用する形で、カウンターの数字をいじる³⁾
3. 2以外の方法でカウンターの数字をいじる

以上3つを提案し、該当の投稿者の意見を踏まえ、同日中に、適切に処理しました。

しかしながら、執拗にアクセスを試みていたのは問題のコメント荒らしロボットだけではなく、別の複数の国からのロボットも、問題のページを訪問していた事が判明しました。
「問題のページはロボットに対して脆弱だ」という噂が流れ、世界中からロボットが集まって来てしまったのだと思われます。

これを受け、同月19日、ロボット接続元の調査を目的に、執拗なアクセスを受けているページについて、アクセス者のIPアドレスの収集を開始しました⁴⁾。この調査を元に、アクセスカウンターから除外するリモートホストを随時決定、対応を継続しています。

ロボットのIPアドレスはコロコロ変わっており、加えて、一部のIPについて、IPからリモートホストを逆引きされるのを防がれているケースもあり、ワイルドカード指定がやりづらい事から、ただIPやリモートホストを指定するだけではロボットによるアクセスをカウンターから完全に除外出来ないと判断しました。

そして当初は、ロボットの主な接続元であるロシアやウクライナなどからのアクセスを、カウンターが計上しないようにするため『GeoIP』の導入による対応、を検討しましたが、うまく導入出来ない状態でした。

9月26日に、IP→リモートホスト の逆引きに失敗した場合に、アクセスカウンターから除外するように設定しました（ただ、プラグインの不備により、9月27日の修正対応が終わるまで、本来除外されるはずのIPが除外されていませんでした）。すると、アクセス集中によるアクセスカウンター増加に対して、かなりの効力を発揮しました。
加えて、リモートホストのワイルドカード指定も更に拡張し、ロボットによる荒らしを受ける前のカウンター水準に戻す事が出来ました。
そして、異様に増えたカウンターの数字を再び調整し、「対応完了」となりました。

（10/02追記分）
現在も、問題のページのアクセスログは収集し、カウンターから除外する作業も順次行なっています。
また、ロボットによるアクセスがあった回数分、アクセスカウンターの数字から手動でマイナスする作業も行なっています。

（11/05追記分）
GeoIP以外の方法を取った事により、アクセスカウンターから、国単位で除外出来るようになったため、とりわけロボットによるアクセスが多い国についてアクセスカウンターから除外しております（アクセスカウンターに計上されない他は特に利用制限等ありません）。
申し訳ありませんが、ロボットによる影響の無害化にご協力願います。
どの国が規制されているかについては、こちらをご覧下さい。

問題のコメント荒らしに遭ったページのアクセスログは引き続き収集し、警戒を続ける事とします。

また、今後、同じような事例があった場合に備えた対処について、現在、検討しています。
本件に限らず、何か質問や意見などあれば、何なりと管理人にご相談下さい。

再度、この度、正常なサイト運用に支障を来していました事を、お詫び申し上げます。