<> = 停電作業手順 = == 坑内停止 == * 午前中に他サブグループの両エンド作業が終わらない場合の代案 => [[KAGRA/Subgroups/DGS/Projects/PowerOutage/AlternativePlan]] === 入坑前準備 @コントロールルーム === 1. Guardian全セーフ * SDFクリア * ''{{{#!html 各コミッショニング作業者の担当 }}}'' * そこそこ時間が掛かる可能性が高いので停止作業当日の朝ではなく前日に済ませておく * 夜間アライメント維持したいなどあればSDFクリア後に再ロックさせるなどは可 * ただしSDF変更を伴うコミッショニング作業は不可 * 必須ではないがHWPはゼロ点に移動させた上でacceptし、ゼロ点状態で停電を迎えると復帰がラク * 作業時間帯の調整が可能か''{{{#!html DMGグループに確認 }}}'' * 難しそうであれば各daqdの停止と/framesのumountのみ朝イチで済ませておく * その場合Hyeadesの完全停止までをDGSの作業進捗に依存せず進められる * ただし半日程度データが残らない期間が増える === X/Y-end === 1. 回路類の停止を確認 [1F] * ''{{{#!html (2026/03のみ?) TMS定盤のPDA x4の本体電源スイッチを切る }}}'' * ''{{{#!html (2026/03 EXのみ) PDA用ACプラグをFFU系コンセントからDGSラック用コンセントに移す }}}'' * TMSXラックはCブース裏にあるので忘れないよう注意 * P/S-pol用ロガーが停止していなければ''{{{#!html MIFグループに確認 }}}'' * 他は切り忘れあればLVDT用LO含め停止 * 計算機の停止 [1F] * IO chassisの停止 [1F] * DC12Vの停止 [1F] * DC18Vの停止 [1F] * Aブース内の回路を''{{{#!html CALグループが停止後 }}}'' * Workstationの停止 [1F Aブース] * Wi-Fiルータ停止 [1F] * EXのみ * ラック天板上 * KVMの停止 [1F] * ブレーカーを切る（１番、２番） [1F] * 回路類の停止を確認 [2F 防振室] * CRY-stepper電源が停止していなければ''{{{#!html CRYグループに確認 }}}'' * 他の切り忘れはLVDT用LO含め停止 * 計算機の停止 [2F 前室] * IO chassisの停止 [2F 防振室] * DC12Vの停止 [2F 前室] * DC18Vの停止 [2F 前室] * DC24Vの停止 [2F 前室] * ラック天板上ブレーカーを切る [2F 防振室] * V2 stripの場合はstripのスイッチも確認 * ラック内ACタップをラック近くの壁コンから抜く [2F 防振室] * 必要に応じて * Workstationの停止 [2F 防振室] * RFMの停止 [2F 前室] * KVMの停止 [2F 前室] * Wi-Fiルータ停止 [2F 前室] * EXのみ * 螺旋階段の近く * ブレーカーを切る（１番、５番、６番） [2F 前室] === X-arm === 1. 回路類の停止を確認 * 切り忘れ（というか多分三代くんの後任担当者がいないので止まってない）は全停止 * 計算機の停止 * IO chassisの停止 * DC18Vの停止 * Wi-Fiルータ停止 * ラック内棚板上 * RMFの停止 * 撤去済み？ * KVMの停止 * UPSの停止 * ブレーカーを切る（２つ） [ブース外] === Center 2F === 1. 回路類の停止を確認 [防振室] * CRY-stepper電源が停止していなければ''{{{#!html CRYグループに確認 }}}'' * 他の切り忘れはLVDT用LO含め停止 * 計算機の停止 [前室] * IO chassisの停止 [防振室] * DC12Vの停止 [前室] * DC18Vの停止 [前室] * DC24Vの停止 [前室] * IX, IY共通のため両IO chassisの停止を確認の上行う事 * RMFの停止 [前室] * KVMの停止 [前室] * Workstationの停止 [防振室] * ブレーカーを切る === Center 1F === 1. クリーンブース内ミニラックの停止 [中央実験室] * ''{{{#!html VISグループ担当？ }}}'' 1. 回路類の停止を確認 [中央実験室] * IO chassis下に設置された回路の切り忘れ多発注意 [ALS0: FIB-CMS] * RF系の回路やLOが停止されていない場合、''{{{#!html IOO, MIFに確認 }}}'' * 廣瀬さんがD論実験で使ってたミニラックがどう繋がってるか把握していないのでこれは出たとこ勝負？ * 他の切り忘れはLVDT用LO含め停止 * RTFEの停止 [計算機室] * IO chassisの停止 [中央実験室] * ラック内DC12Vの停止 [中央実験室: PR2, SR3 rack] * ラック内DC18Vの停止 [中央実験室] * ラック内の18Vを使ってる箇所は無くなってるはず。念の為 * ラック内DC24Vの停止 [中央実験室: OMC1] * ラック内DC100Vの停止 [中央実験室: OMC0] * Tcamの停止 [中央実験室: IXA, IYA booth] * Workstationの停止 [中央実験室: BS(2台), IOO(2台), OMC area, PR booth内] * PSL内のものは''{{{#!html IOOグループに依頼 }}}'' * ラック内カメラスイッチの停止 [中央実験室: IOO0, SRM, OMC0 rack] * k1nds[013], k1bcst0の停止 [計算機室] * k1tw[01], k1fw[01]の停止 [計算機室] * k1dc0の停止 [計算機室] * k1nfs1の停止(WebUI) [計算機室] * DC12Vの停止 [計算機室] * DC18Vの停止 [計算機室] * IOOラックへの供給停止はPSL内の回路を''{{{#!html IOOグループが停止後 }}}'' * DC24Vの停止 [計算機室] * ブース内ミニラックにあるStepper driverを''{{{#!html VISグループが停止後 }}}'' * 各フィールドラック天板上DCブレーカースイッチを切る [中央実験室] * hyades-[02]の停止 [計算機室] * 転送系ソフトを''{{{#!html DMGグループが停止後 }}}'' * OS停止まで任せる場合、OSの停止はDAQ側でdaqdおよび/dataのマウント解除後に''{{{#!html DMGグループに依頼 }}}'' * E18ストレージの停止 (WebUI) [計算機室] * ETERNUS DX60 S5ストレージの停止 (電源ボタン4秒押して離す) [計算機室] * cal-gst[0-2]の停止 [計算機室] * ''{{{#!html CALグループ担当 }}}'' * k1detcl, k1det[01]の停止 [計算機室] * ''{{{#!html DETグループ担当 }}}'' * k1dmtgwの停止 [計算機室] * cal-gst[0-2]およびk1detclを''{{{#!html CAL, DETグループが停止後 }}}'' * k1cam[0-2]の停止 [計算機室] * k1script[01]の停止 [計算機室] * k1bootの停止 [計算機室] * Dolphinの停止 (C1, C2) [計算機室] * RFMの停止 (C1: 2台) [計算機室] * Fujitsuスイッチ(DAQ, DMG)の停止 [計算機室] * KVMの停止 [計算機室] * UPSの停止 [計算機室] * DC電源マスターコントローラーの停止 * エアコンの停止 [計算機室] * サーキュレーターの停止 [計算機室] * ブレーカーを切る[計算機室] * PHSラックは残す事 ----- == 坑内復旧 == 1. 基本的に上述の停止手順を下から順番に起動する * 詳細 => [[KAGRA/Subgroups/DGS/Projects/PowerOutage/Recovery]] === 復旧後の確認事項 === * 各RTFEで認識されるカード枚数が合っているか ([[KAGRA/Subgroups/DGS/RTPC/Card|Card枚数]]) === 復旧時良くあるトラブル === * 運と日頃の行いなので立ち上がるまでひたすら繰り返し頑張るしかないトラブル * RTFEがDAC BCR=0xffffffffで立ち上がらない * 起動途中でDolphinカードをロストする * 解決方法がある程度分かっているトラブル * IRIG-Bの時刻がUTC表示になる * local -> UTC -> local -> GPS -> local の順番でスイッチを切り替える * IRIG-B chassisの旧ロットはTiming Fanoutの同期確立後に起動する必要あり 1. IRIG-B chassisの電源ケーブルを抜く * DC12Vの電源投入 * Timing Fanoutの同期確立 * IRIG-B chassisの電源ケーブルを繋ぐ * Timing Source: TDSは機能しているが、ADC DTやIRIG-Bが狂う * Timing Slaveの温度が安定するまで待つ(通常30-60分くらい) * MEDM上のEPICS recordが白抜きで復帰に時間がかかりすぎる * gateway@k1epicsを再起動する ----- = 柏停電時の神岡対応 = == 停止手順 == 1. 柏ディスクのアンマウント@k1nds2 (主データ保管装置停止前) {{{ root@k1nds2# umount -l /frames }}} 2. --(玄関PCディスクのアンマウント@k1script1 (DHCPサービス停止前))-- IP 固定化に伴い不要 {{{ root@k1script1# /home/controls/Pictures/entrance }}} == 復帰手順 == 1. --(玄関PCディスクの再マウント@k1script1 (DHCPサービス復旧後))-- IP固定化に伴い不要 1. IPアドレス更新 {{{ ### k1script1:/home/controls/.ssh/config Host entrance Hostname 1.2.3.4 ### k1script1:/root/.ssh/config Host entrance_sshfs Hostname 1.2.3.4 }}} 2. 再マウント {{{ root@k1script1# mount -a }}} 2. 柏ディスクの再マウント@k1nds2 (主データ保管装置復旧後) {{{ root@k1nds2# mount -a }}} == Trouble shooting/コメント等 == * ネットワーク不通中、Slack通知が失敗してGuardian Nodeが止まる => コード修正済み * 対処療法的にはStop->Execで復帰 * これだと事実上観測継続できないのでネットワークエラーをキャッチするようにコード修正すべき * 玄関PCは固定IPにすれば作業不要になる => 固定化済み * Web上のスクショを恒久的なサービスにするなら固定IPにしておくべき * 真空低温関係をローカルネットに移せればk1gateのWAN側をCATVにするなど柏停電中の外部通信を維持できる * 現状でそれをやると外部通信と引き換えに真空低温の信号がコントロールルームでも読めなくなるので安全管理上不可(?) * 今回はそもそも干渉計ロックしない状況なので関係なかったが観測中なら主データ装置停止中のSignificant Event 3件を落としていた * 柏ディスクアンマウント後Hyades-2ディスクをk1nds2にマウントしておくと最低限直近データは読めるので良いかも知れない * リアルタイムデータが不要な場所で負荷分散を目的にk1nds0, 1の使用を避けているケースがあるがこれらが柏停電中止まっていた