重要度低のログデータを直接ログDBに入れる #197

概要

以下を目的にログDBへログデータを直接挿入
・移動スクリプトによるDB負荷を回避
・ログテーブルのパーティショニングで管理を楽に
・メインDBのログデータを削除し、DB使用容量の削減

ログテーブル情報
親issueログテーブルの管理 #128

対応手順

1. ログDBのテーブルにパーティション設定
2. insert先のdbをjrye_logに変更
必要に応じてクエリ修正
3. メインDBのデータを一定期間分ログDBに移動
念のため直近のデータを残す
4. メインDBのテーブル削除
削除時にユーザに影響が出る可能性があればメンテナンスも考慮

対象テーブル

ログDBにデータを保存していない
ゲーム内、管理画面、集計参照をしていない
過去データ削除の影響がない

log_commerce_friend_data //交易結果情報
log_commerce_data //交易結果情報
log_stage_change //冒険ステージ変更情報
log_material_request //素材依頼情報
log_commerce_deck //交易済デッキ情報
log_team_emblem //エンブレム変更情報

確認事項

• メインDBのデータを移動する方法

sqlかスクリプトか

• メインDBのデータを移動する一定期間

7日
idやreg_dateが無いテーブル、indexが貼っていないテーブルはどうするか

• メインDBのテーブル削除の影響

メンテナンスの有無

対応PR

【11/25】ログデータを直接ログDBに挿入 jolly/jr-web#2415

@kouho
まずは重要度の低いテーブルから直接ログdbに挿入するように変更したいと思います。
上記内容について、確認おねがいします。

イベント非開催時に対応
・直近1週間のログデータ移動
・メインdbのログテーブル削除

交易系のテーブルは、Duplicate entryエラーが発生するため更新をRevert.

• log_commerce_data
• log_commerce_deck
• log_commerce_friend_data

対応案

発生することを前提として
1. クエリをselectとinsertに分割
2. idをinsertしない
3. 重複レコードを上書き？