= O5 Test Bench = <> = Item LIst = == Software == === AdvLigo === ||OS/RCG Revision || ||debian/buster/RCG5.1.4-1+deb10 || ||gentoo3.0.8/RCG3.1.1 || ||gentoo3.0.8/RCG3.5.1 || == Hardware == === CPU+Memory === ||CPU ||Memory ||Mother Board ||BIOS vserion || ||Xeon W-2245 (3.9GHz, 8core) ||32GB (8GB DDR4-3200) ||X11SRL-F ||2.3a || ||E5-1650 V4(3.6GHz) ||64GB ||X10SRW-F ||- || ||E5-1660 V4(3.2GHz) ||64GB ||X10SRW-F ||- || ||E5-1660 V4(3.2GHz) ||16GB ||X10SRW-F ||- || ||E5-2623 V4(2.6GHz) ||32GB ||X10SRW-F ||- || ||E5-2623 V3(3.0GHz) ||32GB ||X10DRW-i ||1.0:adnacoカードは１枚のみ認識する、3.2:adnacoカードは４枚認識する || ||E5-2680 V2(2.8GHz ||32GB ||X9SRW-F ||- || https://gwwiki.icrr.u-tokyo.ac.jp/JGWwiki/KAGRA/Subgroups/DGS/RTPC/Spec [[https://dcc.ligo.org/LIGO-T1300430|LIGO-T1300430 BIOS Settings for aLIGO Front-end Computers]] === ADC card + ADC adapter card === ||Revision ||枚数組み合わせ ||動作確認 || ||A(PMC66-16AI64SSA-64-50M-MEM) ||?? ||OK(Standalone2) || ||B(PCIe-16AI64SSC-64-50M) ||1,2,3,4 ||OK || ||C(PCIe-16AI64SSC-64-50M) ||?? ||TIM error->-LIGO付きFW書き換えにて解決 || https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=1737 === DAC card + DAC adapter card === ||Revision ||枚数組み合わせ ||動作確認 || ||NR (PCIe-16AO16-16-F0-DF) ||?? ||None || ||A (PCIe-16AO16-16-F0-DF) || 0,1,2,3 ||OK || * DACにもPMC66版あり(使うか分からないがADCにはリストされてるので念の為) === BIO card === ||Type ||枚数組み合わせ ||動作確認 || ||BIO16 (DIO1616) ||1 ||OK(Timing) || ||BIO64 (DIO6464)No.XXXA ||0,1,3,4,5,6,7 ||OK || ||BIO64 (DIO6464)No.XXXB || - ||OK || === BO card === ||Type ||枚数組み合わせ ||動作確認 || ||BO ||0,1,4 ||None || === IO chassis === ||Type ||Memo || ||New(ADNACO) ||[[https://dcc.ligo.org/LIGO-D2000297|IO Interface Backplane (LVDS)]],[[https://dcc.ligo.org/LIGO-T2100353|LHO CDS V5 Adnaco IO Chassis Test Procedures]]|| ||Old ||[[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=780|JGW-T1200780]]|| === Dolphin Card === ||Type ||Low Profile|| ||Gen1 DXH510 ||o || ||Gen3 PXH830 ||o || === GeFanuc Reflective Memory === ||Type ||Low Profile|| ||VMIC PCI-5565RC?||x || === IO Chassis Connection === ||Type||Low Profile||Memo|| ||HIB Host Adapter||o || || ||Adnaco S1B||o ||H1A card, R1BP1B board. The serial connection will not work.|| ||Adnaco S5||x ||H2 card. 4 R1BP1B connection. || ----- = Test Pattern = == New IO Chassis == ---- === Slot認識順 === * それぞれのカード2枚用意して、総当たり1-2,1-3...1-16,2-2,...,etc * 参考([[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2017/06/adc-6.html|旧IO chassisでの例]]) 　 * LIGO資料参考([[https://dcc.ligo.org/DocDB/0015/T1000523/004/LIGO-T1000523-v4.pdf|LIGO-T1000523 CDS I/O (IO) Chassis PCIe Bus DAC ADC Card Layout]],[[https://dcc.ligo.org/DocDB/0111/D1400014/011/D1400014-v11.pdf|LIGO-D1400014 aLIGO L1 (LLO) CDS Front-end IO Chassis As-Built Drawings]]) * RCG5.x + NewPC (MotherBoard:X11SRL-F) + 新IOシャーシ 1. LIGO資料参考にカードをPCに挿す 2. IOシャーシの1st,2nd,3rd,4thのboardの順番を確認する カードを1st-1と2nd-1に差して * RCG5.x + V4 + 旧IOシャーシ * RCG3.x当時の方法を参考に順番は同じかを確認 * 結果 * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|ADC,DAC Result]] * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0153/L2315383/002/Toward%20O5%20IO%20Chassis%20Test%20Results.pdf|DIO6464 Result]] * BOは未試験 ---- === CARD最大枚数確認 === ==== 現在使用している最大枚数の確認 ==== * 記載がないときは、ADCはRev.B、DACはRev.A W22(NewPC)を使用して動作するパターン ||FEPC ||ADC ||DAC ||DIO1616　||DIO6464 ||BO ||結果 ||Adnaco#1 || #2 || #3 ||#4 || ||k1als0||4 ||2 ||1 ||7 ||0 ||OK ||DIO16, ADC, DAC, ADC ||ADC, DAC, ADCrev.A, 1スロット空き||DIO64x4枚 ||DIO64, DIO64, DIO64, 1スロット空き || ||k1ioo ||4 ||2 ||1 ||1 ||4 ||OK ||DIO16, ADC, DAC, ADC ||ADC, DAC, ADCRev.A, DIO64 ||空き ||DO32x4枚 || ||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, ADC, DAC, ADC ||DIO64, DIO64, 2スロット空き ||DO32, DAC, ADC, DAC ||DIO64, DIO64, DIO64, 1スロット空き || ||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, ADC, ADC, ADC ||DAC, DAC, DAC, 1スロット空き ||DO32、DIO64、2スロット空き ||DIO64, DIO64, DIO64, DIO64 || ||TypeA ||3 ||3 ||1 ||5 ||1 ||OK ||DIO16, DAC, DAC, DAC ||ADC, ADC, ADC, 1スロット空き ||DO32、DIO64、2スロット空き ||DIO64, DIO64, DIO64, DIO64 || * カード上限枚数のケーブル長(同じ長さ別ケーブルでの再現性確認も含む)依存性も合わせて確認 * 旧IO chassisでは計算機-IO chassis間のケーブル(正確な要因不明。種類, 長さ, 品質など?)によって最大可能枚数が異なった * 参考([[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio.html|旧IO chassisでの例1]], [[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio-part2.html|2]], [[http://gwclio.icrr.u-tokyo.ac.jp/lcgtsubgroup/digitalsystem/2019/01/bio-part3.html|3]]) * '''~150mで必要カード枚数が満たせないとCenter 2Fの計算機を1Fに移動、End 1Fの計算機を2Fに移動する計画が潰れる''' ==== 4枚目以降のDIO64の確認 ==== * 次のコードを書き換える 　　k1boot: /diskless/5.1.4/usr/share/advligorts/src/src/include/drv/cdsHardware.h ||old ||#define MAX_DIO_MODULES 16 || ||new ||#define MAX_DIO_MODULES 28 || スクリプトでこの文字列を検索しているので、先頭コメントとかで残せないです。 * DIO64641枚のカードで、IOP Model側は2module、User Model側は4moduleとしてカウントされる。 * 最大枚数が7枚なので7*4=28必要な計算。 ==== 物理的最大確認 ==== * 電源容量の制約がある。30A必要とか。 * 現行だと最も電流要件が厳しいのは下記 * k1ioo + k1ioo1 * k1bs + k1pr2 + k1sr2 * '''駆動できないなら坑内の電源増設、計算機室-実験室間の電源配線(黒くて太いケーブル)、ブレーカーボックスの製作など工数がそこそこ増える''' ---- === IO ChassisとFEPC間のOptical Calbe長試験 === ||MTP Cable Length||Result ||Memo || || 3m ||OK ||V4,V3共に問題なし(K1TEST0導入済) || || 5m ||OK ||V4,V3(K1EX0)構成にて試験済み || || 150m ||OK ||V4+K1IX1構成+150mMTPCableにて試験|| * 試験内容 * 合計して１週間以上の連続動作することを確認 ---- == V4+NewIO Chassis == === PC Card Slot構成 === * V4 Slot構成 　 * V4 SlotのAdnaco Board認識順の確認 * PC Card構成 * Dolphinなし => IRIG-B + Adnaco x4 * Dolphinあり => IRIG-B + Dolphin + Adnaco x3 * Dolphin+RFM => IRIG-B + Dolphin + RFM x2 + Adnaco x1 * エンド => IRIG-B + RFM x1 + Adnaco x3 [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15392|試験結果(IO_Expansion_Chassis_and_V4_RTFE)]] === Adnaco Slot構成 === * 現行KAGRAのOld IO Chassisで現在使っている各IOカード枚数の調査 * IOカードの枚数とV4を使用した際に搭載可能なカード構成 [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=15392|試験結果(IO_Expansion_Chassis_and_V4_RTFE)]] * V4では搭載不可能な構成は、Adnacoボードの多段接続が可能か調査 || LSC0, ASC0 (Dolphin + RFM) || || ALS0, IOO1, OMC0 (Dolphinあり) || || IX1, IY1, EX1, EY1 (RFM) || ----- = その他思いつくこと（適当に分類して並べ替えてください) = * 旧IO chassis + Gen3 Dolphinの併用試験 (旧IO chassisも用いる場合) * KAGRAのHIBカードはロットの関係なのかBIOSでPCIeにGen1モード制限をかける必要がある(RCG3.1.1現在) * Dolphin Gen3はおそらくその速度の恩恵を受けようと思ったらBIOSでGen1モード制限をかけるべきではない？ * '''併用不可なら全IO chassisを一斉に置き換える必要が出てくる''' * Dolphin glitchの回避手段の確立 * Dolphin disable -> 再起動(or BMCからのリセット) の手順が通用するか * 停止 -> ケーブル抜く -> 起動 -> ケーブル挿す の手順が通用するか * Gen1ではDolphinスイッチ3台構成にすると道連れdisableが多発したがGen3ではどうか * Gen3用disableスクリプトの用意(ベースはLIGOから貰えば良い?)、MEDMなどインターフェースの整備 * '''メカものの安全性(特にPR3スリップ問題)を考えるとこれが確立できないと置き換えすべきでないか？''' * CPU負荷確認(新計算機) * K1LSC0相当 * K1ASC0相当 * K1OMC0相当 * K1EX1相当 * Timingに関するモデルとDAQの挙動確認 * ADC(0のみでOK?)内部ケーブルを挿さないとき・抜いたとき * Timing fiberを挿さないとき・抜いたとき * モデルのIRIG-Bケーブルを挿さないとき・抜いたとき * DC0のIRIG-Bケーブルを挿さないとき・抜いたとき * 上記組み合わせ * デジタルシステム内部遅延測定 * IOP -> user (16k, 2k) * user -> user (shmem, Dolphin, 16k, 2k) * user -> IOP (16k, 2k) * DAC out -> ADC in