停電作業手順
坑内停止
入坑前準備 @コントロールルーム
- Guardian全セーフ
- SDFクリア
各コミッショニング作業者の担当
- そこそこ時間が掛かる可能性が高いので停止作業当日の朝ではなく前日に済ませておく
- 夜間アライメント維持したいなどあればSDFクリア後に再ロックさせるなどは可
- ただしSDF変更を伴うコミッショニング作業は不可
- 必須ではないがHWPはゼロ点に移動させた上でacceptし、ゼロ点状態で停電を迎えると復帰がラク
作業時間帯の調整が可能か DMGグループに確認
- 難しそうであれば各daqdの停止と/framesのumountのみ朝イチで済ませておく
- その場合Hyeadesの完全停止までをDGSの作業進捗に依存せず進められる
- ただし半日程度データが残らない期間が増える
X/Y-end
- 回路類の停止を確認 [1F]
(2026/03のみ?) TMS定盤のPDA x4の本体電源スイッチを切る
(2026/03 EXのみ) PDA用ACプラグをFFU系コンセントからDGSラック用コンセントに移す
- TMSXラックはCブース裏にあるので忘れないよう注意
P/S-pol用ロガーが停止していなければ MIFグループに確認
- 他は切り忘れあればLVDT用LO含め停止
- 計算機の停止 [1F]
- IO chassisの停止 [1F]
- DC12Vの停止 [1F]
- DC18Vの停止 [1F]
Aブース内の回路を CALグループが停止後
- Workstationの停止 [1F Aブース?]
- Wi-Fiルータ停止 [1F]
- ラック天板上。撤去済み?
- KVMの停止 [1F]
- ブレーカーを切る(1番、2番) [1F]
- 回路類の停止を確認 [2F 防振室]
CRY-stepper電源が停止していなければ CRYグループに確認
- 他の切り忘れはLVDT用LO含め停止
- 計算機の停止 [2F 前室]
- IO chassisの停止 [2F 防振室]
- DC12Vの停止 [2F 前室]
- DC18Vの停止 [2F 前室]
- DC24Vの停止 [2F 前室]
- Workstationの停止 [2F 防振室]
- RFMの停止 [2F 前室]
- KVMの停止 [2F 前室]
- ブレーカーを切る(1番、5番、6番) [2F 前室]
X-arm
- 回路類の停止を確認
- 切り忘れ(というか多分三代くんの後任担当者がいないので止まってない)は全停止
- 計算機の停止
- IO chassisの停止
- DC18Vの停止
- Wi-Fiルータ停止
- ラック内棚板上
- RMFの停止
- 撤去済み?
- KVMの停止
- UPSの停止
- ブレーカーを切る(2つ) [ブース外]
Center 2F
- 回路類の停止を確認 [防振室]
CRY-stepper電源が停止していなければ CRYグループに確認
- 他の切り忘れはLVDT用LO含め停止
- 計算機の停止 [前室]
- IO chassisの停止 [防振室]
- DC12Vの停止 [前室]
- DC18Vの停止 [前室]
- DC24Vの停止 [前室]
- IX, IY共通のため両IO chassisの停止を確認の上行う事
- RMFの停止 [前室]
- KVMの停止 [前室]
- Workstationの停止 [防振室]
- ブレーカーを切る
Center 1F
- クリーンブース内ミニラックの停止 [中央実験室]
VISグループ担当?
- 回路類の停止を確認 [中央実験室]
- IO chassis下に設置された回路の切り忘れ多発注意 [ALS0: FIB-CMS]
RF系の回路やLOが停止されていない場合、 IOO, MIFに確認
- 廣瀬さんがD論実験で使ってたミニラックがどう繋がってるか把握していないのでこれは出たとこ勝負?
- 他の切り忘れはLVDT用LO含め停止
- RTFEの停止 [計算機室]
- IO chassisの停止 [中央実験室]
- ラック内DC12Vの停止 [中央実験室: PR2, SR3 rack]
- ラック内DC18Vの停止 [中央実験室]
- ラック内の18Vを使ってる箇所は無くなってるはず。念の為
- ラック内DC24Vの停止 [中央実験室: OMC1]
- ラック内DC100Vの停止 [中央実験室: OMC0]
- Tcamの停止 [中央実験室: IXA, IYA booth]
- Workstationの停止 [中央実験室: BS, IOO, OMC area]
PSL内のものは IOOグループに依頼
- ラック内カメラスイッチの停止 [中央実験室: IOO0, SRM, OMC0 rack]
- k1nds[013], k1bcst0の停止 [計算機室]
- k1tw[01], k1fw[01]の停止 [計算機室]
- k1dc0の停止 [計算機室]
- DC12Vの停止 [計算機室]
- DC18Vの停止 [計算機室]
IOOラックへの供給停止はPSL内の回路を IOOグループが停止後
- DC24Vの停止 [計算機室]
ブース内ミニラックにあるStepper driverを VISグループが停止後
- hyades-[02]の停止 [計算機室]
転送系ソフトを DMGグループが停止後
OS停止まで任せる場合、OSの停止はDAQ側でdaqdおよび/dataのマウント解除後に DMGグループに依頼
- E18ストレージの停止 [計算機室]
- cal-gst[0-2]の停止 [計算機室]
CALグループ担当
- k1detcl, k1det[01]の停止 [計算機室]
DETグループ担当
- k1dmtgwの停止 [計算機室]
cal-gst[0-2]およびk1detclを CAL, DETグループが停止後
- k1cam[0-2]の停止 [計算機室]
- k1script[01]の停止 [計算機室]
- k1bootの停止 [計算機室]
- Dolphinの停止 [計算機室]
- RFMの停止 [計算機室]
- Fujitsuスイッチ(DAQ, DMG)の停止 [計算機室]
- KVMの停止 [計算機室]
- UPSの停止 [計算機室]
- DC電源マスターコントローラーの停止
- エアコンの停止 [計算機室]
- サーキュレーターの停止 [計算機室]
- ブレーカーを切る[計算機室]
- PHSラックは残す事
坑内復旧
- 上述の停止手順を下から順番に起動する
- 解析棟・SK棟にある計算機で k1boot:/opt/rtcds のNFSマウントを復帰させる
- 作業前準備でHWPをゼロ点停止させていない場合、ゼロ点探索スクリプトを走らせる
- k1sum0, k1ldv0 で hyades-0:/data のNFSマウントを復帰させる
復旧後の確認事項
各RTFEで認識されるカード枚数が合っているか (Card枚数)
復旧時良くあるトラブル
- 運と日頃の行いなので立ち上がるまでひたすら繰り返し頑張るしかないトラブル
- RTFEがDAC BCR=0xffffffffで立ち上がらない
- 起動途中でDolphinカードをロストする
- 解決方法がある程度分かっているトラブル
- IRIG-Bの時刻がUTC表示になる
local -> UTC -> local -> GPS -> local の順番でスイッチを切り替える
- IRIG-B chassisの旧ロットはTiming Fanoutの同期確立後に起動する必要あり
- IRIG-B chassisの電源ケーブルを抜く
- DC12Vの電源投入
- Timing Fanoutの同期確立
- IRIG-B chassisの電源ケーブルを繋ぐ
- Timing Source: TDSは機能しているが、ADC DTやIRIG-Bが狂う
- Timing Slaveの温度が安定するまで待つ(通常30-60分くらい)
- MEDM上のEPICS recordが白抜きで復帰に時間がかかりすぎる
- gateway@k1epicsを再起動する
- IRIG-Bの時刻がUTC表示になる
柏停電時の神岡対応
停止手順
- 柏ディスクのアンマウント@k1nds2 (主データ保管装置停止前)
root@k1nds2# umount -l /frames
玄関PCディスクのアンマウント@k1script1 (DHCPサービス停止前) IP 固定化に伴い不要
root@k1script1# /home/controls/Pictures/entrance
復帰手順
玄関PCディスクの再マウント@k1script1 (DHCPサービス復旧後) IP固定化に伴い不要
- IPアドレス更新
### k1script1:/home/controls/.ssh/config Host entrance Hostname 1.2.3.4 ### k1script1:/root/.ssh/config Host entrance_sshfs Hostname 1.2.3.4
- 再マウント
root@k1script1# mount -a
- IPアドレス更新
- 柏ディスクの再マウント@k1nds2 (主データ保管装置復旧後)
root@k1nds2# mount -a
Trouble shooting/コメント等
ネットワーク不通中、Slack通知が失敗してGuardian Nodeが止まる => コード修正済み
対処療法的にはStop->Execで復帰
- これだと事実上観測継続できないのでネットワークエラーをキャッチするようにコード修正すべき
玄関PCは固定IPにすれば作業不要になる => 固定化済み
- Web上のスクショを恒久的なサービスにするなら固定IPにしておくべき
- 真空低温関係をローカルネットに移せればk1gateのWAN側をCATVにするなど柏停電中の外部通信を維持できる
- 現状でそれをやると外部通信と引き換えに真空低温の信号がコントロールルームでも読めなくなるので安全管理上不可(?)
- 今回はそもそも干渉計ロックしない状況なので関係なかったが観測中なら主データ装置停止中のSignificant Event 3件を落としていた
- 柏ディスクアンマウント後Hyades-2ディスクをk1nds2にマウントしておくと最低限直近データは読めるので良いかも知れない
- リアルタイムデータが不要な場所で負荷分散を目的にk1nds0, 1の使用を避けているケースがあるがこれらが柏停電中止まっていた
