CyConX travel report Day One Book launch & evening

Valeriano Brandon, Benjamin Jensen, Ryan Maness.” The  Evolving Nature of Cyber Power and Coercion”(Oxford University Press, March 2018)゛のご紹介です。

セッションのモデレーターは、Vihul先生。

政治学の先生らによる、いままでのサイバーセキュリティの192エピソードの実証的研究だそうです。サイバースペースの将来を描いていますということだそうです。基本的なスタンスは、サイバー工作/作戦は、国際関係の安定性を増す、ということです。
「サイバーインテリジェンスは、情報戦争の際たるもの」とかの用語がでてきて、法律家との間との用語法とのギャップに、流して聞いていました。

(高橋) ちなみに、インテリジェンスは、実際は、関係国の情報の齟齬をなくすので、結局としては、関係の安定化に資するという立場が一般だったりします。

ちなみに、YoutubeでValeriano先生の同名のプレゼンがあります。このビデオは、この本の基本的な説明になっているみたいなので、話の内容が更よく分かります。

シュミット先生が質問として、「戦略」という用語をどのような意味で使っているのか、「強制(coercion)」という用語は、どのような意味か、ということをきいてました。

個人的には、「積極的な工作」というものを考えて、その分析のタームに、「強制(coercion)」という要素をいれるべきではないか、と考えていたので、シュミット先生に、「強制(coercion)」について、個人的に質問してきました。「介入(intervention )」のところに、詳細に記載してあります、ということでした。
あとで、見ておきます。

てもって、Day one終了。

この日は、日本人チームで、12人くらいで、タリンで異業者交流会(?)な、お食事会もありました。

カテゴリー: 情報セキュリティ | CyConX travel report Day One Book launch & evening はコメントを受け付けていません。

CyConX travel report Day One  Security and Fundamental Rights session

Cyberspace, Security and Fundamental Rightsというセッションです。

アジェンダには、国家は、テロリストや極右・極左を封じ込めるために、努力をしているが、セキュリティと基本権、特に国際的な人権規定や標準との調和を図るようなっており、自由で、オープンな社会においてリスクは、存在するか、という問題が提起されています。

最初は、Prof. Wolfgang Kleinwächterで、 GCSC(サイバースペースの安定化についてのグローバル委員会-Global Commission on Stability in Cyberspace )の委員です。
“Cybersecurity and Digital Rights: Do we need another European Charter for Cyberspace?”という講演です。

タイトルからいったときに、「EUにおける基本権憲章」(CHARTER OF FUNDAMENTAL RIGHTS OF THE EUROPEAN UNION (2012/C 326/02))が前提となります。これを前提に、まず、現代におけるデジタル基本権という議論を検討していくことになります。

この議論のきっかけとして、サイバースペースを考えるときに、世界情報社会サミット(2003)(The World Summit on the Information Society (WSIS) )とNet Mundial 2014 がをみていくことになる。

WSIS

2003年ジュネーブ宣言(Declaration of Principles Building the Information Society: a global challenge in the new Millennium)

2014年 Net Mundial 2014

JPNICの解説は、こちら。声明の日本語訳

WSIS+10(2015)が注目される。

また“Charter of digital fundamental rights of the European Union”も注目です。デジタル基本権を必要とするのでしょうか。解釈の基本的な枠組みであり、多数の利害関係者の協力の手順によってなされたものになります。

(高橋)これは、かなり議論を呼んでいる案文のようです。詳細な分析は、またの機会に。

ここで、全般的な(Holistic)アプローチが必要になります。 検討されるべき局面としては、サイバーセキュリティ、デジタル経済、人権論、技術があります。

次は、Dr. Krisztina Huszti-Orban (ミネソタ大学人権センター)です。タイトルは、「中間伝達者とカウンターテロリズム・自己規制と法執行のアウトソースの間に/Internet Intermediaries and Counter-Terrorism: Between Self-Regulation and Outsourcing Law Enforcement」です

これは、予稿に論文が入っています。

現代的な課題としては、中間伝達者とカウンターテロリズムとの関係がある。テロリズムなどの過激な思想の伝達手段としてSNSを利用しようというものがいる。
中間伝達者は、言論の自由のオンラインプラットフォームとしての役割を果たしている。公的なものとして重要な役割である。ここで、公共の利益との関係がある。
内容に関する取締機能がSNS提供者にアウトソースされているということができる。
人道的危機の一方で、サービス約款が存在している。その約款にもとづいて、コンテンツに対して削除、ブロック、制限がなされている。現状においては、中間伝達者は、人権についての責任を負うものとは位置づけられてはない。また、監視監督がなされるということもない。
(予稿ですと、テロリズムと極端主義の定義のディレンマも論じられています)
SNSは、人権を超えたところにいるが、プラットフォームに対して、制裁を課すという方向性も考えなければならない。
ドイツでは、ネットワーク執行法(Gesets zur Verbesserung der Rechtsdurchsetzung in sozialen Netzwerken)を定めている。これは、200万ユーザ以上のメディアプラットフォームに対して、明らかに違法なコンテントのアクセスに対するブロック(24時間以内)などを定めている(怠った場合には、5千万ユーロまでの罰金)。
AIの利用がなされて、そのアルゴリズムによって過剰対応などの問題も生じてきている。

(高橋)ここでいう中間伝達者は、SNSなどのプラットフォームなので、わが国では、中間伝達者として電気通信事業者が真っ先に、念頭に浮かぶのとは事情が異なってきます。SNSは、電気通信事業の途上にあるのか、しかしながら、国外の事業者なので、監督がきかないのか、という論点がありましたね。(参照は、こちら-電気通信事業参入マニュアル[追補版])

Prof. Théodore Christakis(グルノーブル・アルプス大学)”国境を超えた法執行のデータに対するアクセスと人権/Law Enforcement Cross-border Access to Data and Human Rights”です。

このブログでも、マリア博士の論文CLOUD法でもふれた国境を超えたアクセスの問題です。

国境を超えて法執行機関がデータがアクセスすることをどのように考えるか、ということに対して、(1)MS事件(2)米国のCLOUD法(3)EUのe証拠提案から検討しています。

この前提知識として、EUのデータ保護に関する29条委員会は、法執行機関の国境を超えたアクセスを領土主権に対する侵害(interefernece )になるとしています。

MS事件については、特に、事件の経緯の記事(プライバシーか安全か、Microsoftと米国政府の全面対決の結果は?)と最高裁の判断についての記事(Microsoftのデータ保護問題に決着――米最高裁、 CLOUD法成立により過去のデータ提出命令を無効と決定)をおすすめします。ということで、講演でも、簡単にふれただけでした。

でもって、MS事件は、解決したわけですが、問題としては、なおも残っています。

次は、クラウド法のもとでのMS事件の分析です。

事件自体としては、上の最高裁判所の判決のように解決しています。データが「物理的に」保存されていたアイルランドは、国として、主権侵害であるということになるのでしょうか。また、アイルランドのMSは、データ保護違反となるか、という問題もあります。

(高橋)GDPR48条は、「第三国とEU 又は加盟国間で有効とされている共助条約のような国際協定に基づく場合に限り、本章における移転に関する他の根拠を侵害することなく、認められるか又は執行力を有することができる。」としています。

そうだとすると、アイルランドMSは、罰金を課せられることになりますね。(この問題は、Marc Rich事件とNova Scotia事件があるのですが、それは、このCyConメモが終わったら紹介ですね)まさに「しっぺ返し」です。逆に、アイルランドMSから、米国MSのデータが要求された場合には、どうでしょうか。

さらに、一般論の問題に移ります。

二国間協定というのが、どのような内容で、どのような国との間で締結されるのか、というのが大きな問題であるということですね。

(高橋)それはそうでしょう。米国提出命令が、日本で保存されているデータに対して、そのまま及ぶとされた場合に、日本の個人情報が、域外に移転します。提出命令は、日本における捜索差押令状とは、レベルが全く違うので、それでいいのか、という問題提出になります。

さらに彼の分析は、EUにおけるe-Evidence 提案におよびます。

これは、デジタル時代の犯罪に対応するもので、規則(刑事事件における電子証拠に対する欧州提出および保全命令)および指令 (刑事手続における証拠収集ための法的代表設置の調和に関する指令)の形をとって、2018年4月17日に提案されているものです。

 

となります。4つのデータタイプというのは、顧客、アクセス、通信、内容になります。

この部分は、私も検討不足でした。詳しくは、次の機会に検討しておきたいと思います。

質疑応答で、Kuboさんという優秀な研究者の方から、SNSという民間企業に対する国の規制の関与の仕方に対する質問がなされました。これに対しては、国家は、人権を保護する義務があるので、それによって、一定の規制が正当化されるだろうという見解が述べられました。

カテゴリー: 情報セキュリティ | CyConX travel report Day One  Security and Fundamental Rights session はコメントを受け付けていません。

CyConX travel report Day One Espionage session

30 May 1400-1515
Cyber Espionage and International Lawです。

この問題意識は、まさにアジェンダに記載されているとおりです。私のブログでも、何回か触れているところです。「平時におけるサイバーエスピオナージは、それ自体、国際法に反するわけではない。しかしながら、どのような手法が適法で、どのような手法が不適法か、という確実な考えはない。このセッションは、さらにこれらのトピックについての議論を進ませようというものである。」というのが、アジェンダです。この目的は、達成されたでしょうか。

Ms. Liis Vihul( CEO, Cyber Law International)の”Cyber Espionage in the Current International Law Paradigm”は、現在の国際法の解釈論を簡潔にまとめて問題提起をしています。
ちなみに、Vihulさんは、タリン2.0の特にデューデリジェンスのメインの担当者だったようです。2015年に、私が、Law Courseを聞いたときに、デューデリジェンスのところを説明してくれました。
今は、CLIという自分の会社を作って(でも、事務所は、CCDCoEのなかだそうです)、トレーニングで世界を飛び回っているそうです。twitterで、お互いにフォローしあっています。

タリン2.0では、エスピオナージの部分と、非国家組織による対応の部分に議論が集中しているとのことです。タリン2.0の議論としては、エスピオナージそれ自体は、規制されていない、国際法違反になりえない、とされています。なお、規則32を参照しましょう。
しかしながら、意図していない損害を惹起した場合(たとえば、インフラへの損害)、国際法の禁止の原則に違反する場合(たとえば、外交通信尊重の原則)については、国際法に違反しうることになります。

Ms. Ianneke Borgersen Karlsen(上級法アドバイザー・ノルウエイ防衛省)の ”Addressing the Elephant – a Practitioner’s View”です。
彼女の意見は、タリン2.0に対する複雑な感情という話から始まりました。
規制がないというのは、国家実行を表していないではないか。果たして、規則がないのか、という疑問です。そもそも、国内法や規則、ドクトリンやマニュアルが存在しており、規制が総体として存在していると認識すべきであるというのです。また、国家間には、機密の相互協定があり、これらに従うことは一貫した国家実行になっています。
国家は、これに関する違反があったとしても、我慢している。というのは、利用可能な制裁が存在しない、国家的/国際的な判決が存在していないのです。
そもそも、エスピオナージを定義してみると、その目的(政治的目的のために、とされるのが通常なので)を考えるときに、非常に曖昧なものになってきます。
彼女は、むしろ、「特別法(lex specialis)」アプローチを採用するべきではないかと主張します。
結局、国家主権および介入の禁止によって、特定の手法と工作が限定されるべきであるということになります。

(高橋)国際法と国内法の交錯という問題になります。国内法による制約を意識して、国内法の解釈を調和させるべきということなのかもしれません。ただ、解釈論としては、タリン2.0の結論と異なるところはなさそうです。

Mr. Asaf Lubin( Yale大学講師)”Cyber Law and Espionage Law As Communicating Vessels”です。
なお、Lubin氏の同名の論文が論文集に所収されています。

サイバーエスピオナージは、国際法の盲点であり、いままでにたった3冊の本しかでておらず、書かれた論文も100前後である。エスピオナージは、法的な問題を超えた構成であると考えられている。
従来のハニートラップで、机の上のデータを謄写すれば、エスピオナージの法となり、無権限で情報を取得するときには、低強度サイバー工作とされる。実際としては、用語を整理する必要がある。

オーバーラップするところに、サイバーエスピオナージを考えるべきであろうと提案しています。
まさに、「意思疎通のための道具」としての定義ということになります。

高橋)論文をみると直接にエージェントを通じての取得(エスピオナージ)と情報の取得に限らないサイバー工作とにわけているので、用語としては、むしろ、最初のサイバーエスピオナージとは、という定義から、きっちりした方が、議論としては、すっきりするだろうなあと考えたりします。
「政治目的で」「隠密裏に」「情報を取得する行為」がエスピオナージで、それを電気通信手段を通じて行うと定義することで議論は足りるというのが私の意見だったりします。

Lubin先生によると、探索の契機の法(Jus ad Exploratione)、探索中の法(Jus in Exploratione)、探索後の法(Jus pas Exploratione)にわけて考えることができることになります。
また、「スパイの権利」とその制限として成立すべきだという意見でした。この権利を正当化するのは、国家安全などのためであるにすぎない。これらの権利は、種々の制限法理に服することになります。

図示すと、こんな感じです。まわりが制限法理です。これによってスパイの権利が制限されことになります。

高橋)この日のキーノートとかを聞いていくと、むしろ、外国政府による政治的な意見の工作が国際法的にどうなるのか、というところにフォーカスした議論を聞いてみたかったです。エスピオナージは、上でふれたように「情報の取得」に限ってしまうので、その意味で、お題の問題かもしれません。サイバーインテリジェンスと国際法というテーマであったならば、情報工作と国際法が聞けたかもですね。どうなのでしょうか。

カテゴリー: 情報セキュリティ | CyConX travel report Day One Espionage session はコメントを受け付けていません。

CyConX travel report Day One Keynote 4/4

30 May 1140-1240
Plenary Panel: Social Media and Cyber Security です。

Mr. Keir Giles(チャタムハウス)です。連合王国の政策の観点からです。
地方選挙は、支援を求めている状況であるということです。軍事的工作がなされて、過激な思想が、支持をえたりすることになります。
プラットフォームの武器化が進んでいるというのが現状であるということになりす。

Mr. Janis Sarts(NATO Strategic Communications Centre of Excellence (Riga))です。

2017年のトルコの国民投票では、不正があたのではいか、という噂がでて、ネットで不正の動画が流され、不信感が高まったという。オンラインでの動きになり、抗議の動きがなされている。また、マルウエアなども核酸したということもあった。プロパガンダもなされている。NATOとしては、この動きに対して、協力して対応すべきかどうかという問題が存在している。
CyberNATOという動きがあるのは、元大統領の話ででも出ているところである。データは、強力であり、誤ったプロファイリングがなされてしまうこともある。しかしながら、電源をいれない(アンプラグ)わけにはいかない。
実際の損害は何になるだろうか。プラットフォームの不正利用ということになるが、これに対しては、規制ということも考えられる。プラットフォームの問題なのか、人間の問題なのであろうか、という問題もあると指摘しています。人間は、操作されのを、楽しんでいる可能性もあるとしています。
Ilves元大統領は、現在のデモクラシーの危機をいっているが、まさにそのような状況が適用るだろう。

Ms. Camille Francoisさんは、ソーシャルメディアの偽情報および操作に対して、強調した対応を強調しました。

(ちょとこのパネルは、集中力が続きませんでした。)

――――――――
Gen. Robert B. Neller, Commandant, US Marine Corps
Challenge of the Cyber Domainというキーノートです。

サイバードメインの進化の中で、紛争やキャンペーンの方法が変化している。そして、争われるドメインも言論や信号の扱われるなかへと変化している。また、外宇宙は、究極の高原である。
紛争に関する法(最終手段性、比例原則、偶発的損害など)が、これらの変容に対してどのように適用されるのであろうか。
作戦(operation)は、重点の中心をなすものであって、能力(capability)であると考えられたものである。今は、ネットワークである。
政治指導者に対して、質問事項がある。多大なデータをどのように考えているのか。GPSによるロケーションデータを利用し、教会や病院を敬っている。しかしながら、敵側は、そうではないとしたら、どうするべきなのか。
人工知能が自律的な決定をなす場合に、どのように対抗すべきなのであろうか。

カテゴリー: 情報セキュリティ | CyConX travel report Day One Keynote 4/4 はコメントを受け付けていません。

CyConX travel report Day One Keynote 3/4 Facebook& info operation

Mr. Alex Stamos氏( Chief Security Officer, Facebook)の講演は、「情報工作、選挙およびFacebook」です。ビデオは、このページです。スライドも一緒です。

これも、Facebookが、選挙に与える影響について、誠実に対応している姿勢がよく分かるプレゼンでした。個人的には、セキュリティは、情報の内容については、あまり関心をおくことがないですし、個人的には、ノンホリに近いので、いままで、勉強していなかったのですが、今後は、デジタル化社会における民主的な意見形成とソーシャルネットワークという論点もフォローの領域にいれたいと思います。

さて、内容のメモです。

最初は、FBの発展のグラフィックです。今では、2.2ビリオンの人が利用しています。99.9の人が、ポジティブなために利用しています。その一方で悪い目的のために利用しているのに対しては、一線を引いて対応しています。そのリスクを低減しようと考えています。

特に選挙に関するリスクは、政治的な関連性があるというだけではなく、FBの理想とする価値(言論の自由・思想の自由)に対する攻撃ということができます。

サイバーウッドストックのテーマといえば、CCRやジョーコッカーになりますが、敵のグループを理解し、対応することが重要になります。

この敵の行為者は、(1)商業的な動機からフェイクニュースを提供するものたち、(2)外国政府の影響を受けた工作者、(3)国内の影響をうけた工作者、(4)個人の参加者に4つに分けることができます。

(1)商業的な動機からフェイクニュースを提供するものたち

彼らは、その動機は、クリックを稼ぐこと、ときには、政治的な信条に動かされることがあります。技術的には、大衆製品のテンプレートのサイトを利用したり、偽のアカウントを利用したりします。広告費の安いところから、偽のペルソナによって高い広告費を表示させようとします。これに対する対応としては、削除、減少、通知になります。FBは、実名方針があるので、それにしたがっていなものとして削除することができます。ニュースフィードのアルゴリズムによって、フェイクニュースとして、表示されにくくすることができます。また、論争となっている事実については、ダッシュボードで、そのような事実であると表示するということができます。

(2)外国政府の影響を受けた工作者

次のカテゴリは、外国政府の影響を受けた工作者になります。DCleaks(Fancy Bearが運営していた)やDNCハッキングに関連して、米国政府が、外国政府の関与があったとして、アカウントの閉鎖を命じたという種類の案件ということになります。この種の事案は、国内の分断や、同盟国との分断を図ろうとするものです。

技術としては、新しいストーリーを考えて、それを増幅させようとするものになります。その結果、普通の人が、伝達して、従来からのニュース組織まで到達して、それが、正当なニュースとして伝達されるようになってくるのです。広告は、聴衆を引きつける手段ということになります。聴衆が世代を更新していくのに使われます。情報の面で、操作を図ろうとするのです。

これに対する対応は、広告とページの順位の透明性になります。フェースブックでは、すべての政治的トピックに関する広告は、選挙運動に関するものも含めて、厳格な基準のもと(物理的な所在、政府のIDなど)に許容されることになっています。すべての広告が、運営される組織が、特定されることになっています。いかなる政治的活動も、検索によって、どのような組織によって提供されているのかを見ることができるようになっています。

適切な選挙運動は、公衆の最大の利益のために行われているので、非常に個別化の進んだ広告や工夫された(hyper device)広告は、報道からは見れるようになっています。

また、組織化されたグループについては、脅威インテリジェンスグループがあり、調査を行っています。そのグループは、各国の言語に習熟しています。

さらに情報操作については、それを把握できるようにポリシを拡大しています。新しいフェイクアカウントを探知するシステムを構築しています。発見したアカウントを機械に学習させていくのです。

(3)国内の影響を与える運営者

国内の影響を与える運営者がいます。国内の聴衆に影響を与えようとするもので、通常は、与党側ですが、必ずしもそうとは限りません。国家側のメディアを増幅したり、反対意見・活動家の意見が拡散されるのを抑制したりします。ドキシングを使ったりします。また、場合によっては、外国のプロバイダーとかを利用します。

運営者が誰かというのは、複雑だったりします。政府や与党、国家所有もしくは、その傾向のメディア、政治的動機を有する、無償のグループ、海外からもありうる金銭的な動機による専門家、組織されたトローリング・グループ(例 アノニマス)などがいます。

これに対する対応は、広告とページの順位の透明性、執行を手作業でもしくは自動で行います。また、組織的な報告/フラグ付けを探知することを拡張し、協調された影響力の行使に対する政策を拡張しています。また、国によっては、活動家や人権団体との関係も構築しており、選挙のサイクルなどに応じた対応をしています。

(4)個人の参加者

最後のカテゴリは、個人の参加者になります。このグループは、自らの信念を広め、他人に対して不快感を十期することを目標にしています。

これらの個人は、ポストを積極的にシェアしており、クリックをするように推し進めています。政治的「敵」に対して、挑発的メッセージを流したり(トローリング)、恫喝したりします。フェイクニュースをコピペしたりします。

対応手法は、個人の権利に対して尊重された上でなされなければなりません。ニュースフィードのクリッグベイト(クリックを誘うウェブページやリンクや動画や広告など)の減少やコミュニティの基準を実行に移すこと、議論のある投稿にその旨を付け加えることなどになります。

フェースブックは、民主主義国家と共に、協同していて、関係を構築しています。また、アカデミックとも協力しています。

 

カテゴリー: 情報セキュリティ | CyConX travel report Day One Keynote 3/4 Facebook& info operation はコメントを受け付けていません。

CyConX travel report Day One Keynote 2/4

1010-1300o のキーノート、パネルのメモです。Ilves元大統領の講演は、こちらでも、みることができます

Ilves元大統領のスピーチは、サイバーNATOの必要性をケーススタディ、近似動向を踏まえて民主主義の危機という観点から唱えるもので、非常によく構成された、きわめてレベルの高いものと考えます。サイバー安全保障の関係者にとって、分析が必須となるものではないでしょうか。

(なので、詳細なメモで、Stamos氏の講演ともわけます)

ちなみに、新聞報道でも、大きく扱われています

H.E. Toomas Hendrik Ilves(元エストニア大統領)です。テーマは、「If Liberal Democracies Are to Survive the Digital Era, They Have to Create a New Defence Organization」です。

お約束で、ウッドストックでは、MC5のKick Out the Jamsがいいね、ということで、始まりました。(というか、パンクのハシリなんですね。多分、ミュンヘン・セキュリティ・コンフェレンスから、おじ様がたで、昔話に花咲かせていたんだろうなあと勝手に想像してしまいます。メタルやパンクが人気な北ヨーロッパであります。)

民主主義が、危機に瀕しているのであり、場所に縛られることのない西側民主主義国家においてサイバーNATOの必要があるのではないか、それによって、大きな脅威に対応すべきではないか、という提案がなされています。

ロシアのAPT攻撃28(Fancy Bear)は、アメリカ、ドイツ、フランス、オランダ、ウクライナ の政府、政党、候補者、シンクタンクなどなどに対して、攻撃を仕掛けて情報を取得しました。また、World Anti-Doping Agency(世界アンチ・ドーピング機構、WADA)やTribunal arbitral du sport/Court of Arbitration for Sport(スポーツ仲裁裁判所、TAS/CAS)にも攻撃を仕掛けています。(トレンドマイクロブログ

新しいセキュリティ脅威は、従来は、考えなかったもので、政府は、対応に時間がかかってしまっています。国際的な組織(EUやNATO)はさらに時間がかかってしまいます。国連は、デジタル兵器の利用禁止に関する活動は、成功しませんでした。
脅威は、基本的には、それぞれの国家に関するものです。サイバーに残されたストックであるインテリジェンスは、国家のものであって、共有しうるものです。エストニアが、ワームを見つけたときに、NATOに報告したときに、君もかといったことを覚えています。
2007年の銀行、ニュースが、妨害されたときに、サイバー戦争というものがはじまったといえます。それまでは、サイバースパイというレベルで政治的なインパクトを与えうるというものではなかったのが、別のポイントに達したものですし、だから、始まったといえるのです。クラウゼビッツの戦争の定義は、「他の手段をもってする政治の継続である」ということなので、戦争の定義に該当するのです。この意味の戦争は、2007年以降、いろいろな形を変えて起こっています。ジョージア(2008)、ソニーピクチャーズ事件(2014)、グリッドに対するウクライナ(2016-17)、政治シンクタンクに対する攻撃(2016)、オランダ、イタリアの政府に対する攻撃、アメリカの諜報機関(NSA、CIA)の人員の心理的分析表など枚挙に暇がありません。

また、 政治的動機をもったD-Dos攻撃を認識したところから、従来のサイバーセキュリティの意識をマヒさせて、新たなレベルの脅威が始まっています。マルウエアで、重要インフラ(電力網、通信網、水道網、信号システムなど)を吹き飛ばしてしまうという攻撃が現実のものとなってきたのです。重要インフラの脆弱性は、政府と民間企業の最大の関心事になっています。これらの攻撃は、政府や軍事力を、孤立化させることとなり、伝統的な攻撃と同様です。Stuxnetワーム(2010)は、サイバーのパワーが、物理的な損害を与えうることを示しています。ウクライナの電力障害も同様です。ミライ攻撃は、IoTベースの攻撃ですし、WannaCryやNotPetyaも同様です。

これらのようにサイバー攻撃というのは、きわめて広い範囲を有する用語です。政府の重要インフラを損壊するのから、政治家の情報を開示して、政治のインテグリティを破壊するまでの意味があります。
1990年代からの安全保障についての会議からもあります。しかしながら、人々がサイバーの力を認識するのには時間がかかっています。5つ目のドメインであるというのは、2010年を越えてからです。サイバー攻撃に対する反撃は、サイバーであることを要しない、運動兵器にる対応も許容されるとしています。
NATOは、サイバープロパガンダをより工作的に把握しています。タリンのCCDCoE(ロシアの自殺点みたいなのですが)とラトビアの戦略的コミュニケーションセンター(StratCom)は、その例です。

近時、諜報機関を安全保障政策専門家に統合することになっていますが、彼らが、攻撃の対象になっています。情報操作、ドキシング(インターネットへのさらし行為)、資料の公表行為、ハッキングなどがあります。ヒラリークリントン事件、マクロン事件がその例です。偽の書類をサーバーにあげられて、それを公表されるということになれば、情報操作をなすことができます。フェークニュースを産業レベルで作成し、プロパガンダをおこない、ロボットのアカウントで拡散するという作戦です。IRA(フェイクニュース工場 )が、黒いアクティビストの活動を行っていたのです。FBでは、大統領選挙の前から、フェークニュースが、870万のフェークニュースがシェアされたという研究もあります(ロシアの「フェイクニュース工場」は米大統領選にどう介入したのか)。セキュアではない投票装置の不正操作もあります。
このようにデジタル時代においては、デモクラシーに対する新しい脅威は、劇的な変化を遂げているということができます。重要インフラに対する破壊から、「電子デモクラシーおよび公共の意見に対するソフトな不正操作」ということができるでしょう。

デジタル以前とは、二つの点が異なるでしょう。

その一つは、地理的な脅威が関係なくなってきていることです。NATOは、自由民主主義を地理的スペースに関連して防衛しています。戦車のロジスティックス、爆撃の対応、部隊の配置も地理的に関連しています。ICBMが、その脅威の最たるものでした。デジタルの脅威は、地理を問題としていません。

いま一つは、デジタル時代の自由民主主義自体は、artocratic(?)からの非対称の攻撃に対して、はるかに、脆弱なものであるということです。デジタル時代前は、偽情報は、ほとんど影響力を有していませんでした。自由民主主義は、投票過程の不正操作のみを心配していればよかったのです。現代では、敵国も表現の自由を有して、自由で公正な投票過程を享受しているのです。安全保障政策の観点からは、これは、敵国からするときわめて魅力的なものといえるでしょう。民主主義は、地理的な範囲を越えて存在します。安全保障を考え直すべきです。地理的な範囲を越えて、民主主義を守るということを考えるべきです。

このような考え方は、新しいものではありません。コミュニティやリーグ・デモクラシー(フルブライトやマケイン)の考え方です。現在は、民主主義が、危機に瀕しているのです。
CCDCoEは、既に、このような考え方にたっています。EUに参加していない国(フィンランド、スウェーデン、オーストリア)も参加していますし、日本やオーストラリアも参加しています。
私たちは、第二次世界対戦以来の平和や安全保障を支えてきた世界の統合/オープンという考え方に対する逆行(ポピュリスト)を経験しているのです。国家の統合、公表(データの流用)、お互いの信頼、情報の共有が、あらたな脅威に対する対抗手法です。
機械学習やAIベースのサイバー防御によることは、別の対抗方法です。
ロシアや中国は、このオープンネスという考え方とは別のところにいます。中央コントロール、国家的サイバースペス・検閲という考え方です。
最後にデモクラシーの将来について、楽観的になって、このために脅威に対して戦う共同体を考えましょう。

 

カテゴリー: 情報セキュリティ | CyConX travel report Day One Keynote 2/4 はコメントを受け付けていません。

CyConX travel report Day One Keynote 1/4

30 May

まずは、CCDCoEのディレクター Ms. Merle Maigreさんのオープニングです。

午前中のキーノートのうち、Kaljulaid大統領、Missiroli博士、 は、こちらから、映像で確認できます。以下は、再度、映像でも確認しながら、メモをとっていきましょう。

H.E. Kersti Kaljulaid(President of the Republic of Estonia)は、まさにオープニングキーノートです。

最初は、Ilves元大統領のおかげで、「サイバーウッドストック」がタリンで開かれることなったとして、謝辞からスタートです。
「効果を最大限に」というテーマに関して、この15年間の発展はめざましいものがあったといっています。そして、この1年間の発展をあげることができます。
日々が日通の人にとって,サイバーリスクを意識するものであったこと、が重要である。たくさんの努力がなされています。サイバー衛生という個人的のレベルの対応が重要になります。人々は、このレベルの自然法 を学ぶことになります。みんなが学べことになります。このサイバー衛生を学び、ジャンプすることが、重要です。
昨年は、エストニアが、EU大統領の役割を務めたことから、デジタル国家エストニアを示すことで重要な役割をはたしました。
また、昨年、NATOに対してのサイバー従来型の攻撃、ハイブリッド攻撃があることを予測しています。バルト海の選挙に対する介入についても同様です。
昨年は、キャパシティの問題はありますが、レジリエントです。また、製品のサプライチェーンについては、なにかをできるものではありません。他の国では、IDカードシステムを遮断するかもしれません。エトスニアでは、そういうことはできません。紙に戻ることはできないのです。たくさんの人にインターネットを通じて、パッチを提供し、デジタルですし、その選択肢もデジタルです。それしかないことが明らかになりました。
また、NotPetyaが、6月末に起きましたが、西側の政治が、協力して、(ロシアが背後にいるとして)行為者認定をなして、非難しました(US-CERTオーストラリア)というのは、注目すべきです(なお、参考記事としてwired)。
このような事案の再発をさせないために、リスクの計算は、変更されるときにいたっています。サイバーは、もはや容易な武器そうに見えてはいけません。それは利用することは、実質的なリスクがあるとするべきです。
このような重要インフラに対する攻撃に対して政府は、これに対抗する手法をさいようします。このような攻撃は、国際法に対して違反するものとするべきです。物理的な損害を与えるものは、対抗措置を採用します。政治的・経済的制裁を行います。抑止効果が存在するでしょう。
デジタルインフラに対する長期的キャンペーンは、禁止されるべきです。国際的合意が必要です。行為者決定は、安全かつ強力に同盟との間で行われます。
EUとNATOとの会議では、5条が適用されうることが確認されています。サイバーは、政治的経済的対抗がなされます。サイバーインシデントに対して攻撃者認定は、簡易な作業ではありません。しかしながら、果敢に(brave)認定をすることも重要です。果敢にするとなれば、強い反対もおきないでしょう。私たちは、枠組みをもっているのです。

高橋)重要インフラに対するサイバー攻撃が、もはや許されないこと、攻撃者認定(attribution)がきわめて重要な役割を果たしており、国家実行として行われてきていることが、強調されていることは、興味深いと思われます。

日本だと、技術重視の人たちが、攻撃者認定の法的な枠組み(証拠の優越/リアルでの証拠も踏まえた総合判断/諜報による証拠も含まれた国家として判断)についての理解が不十分なままで、攻撃者認定の報道に対して、コメントをしていることが見受けられますが、国家実行は、そのようなレベルとは、全く別の次元で行われてきているということになるかと思います。

Dr. Antonio Missiroli( Assistant Secretary General for Emerging Security Challenges, NATO)は、「NATOとサイバーセキュリティ(同盟における実行過程)/NATO and Cybersecurity: Driving Progress Across the Alliance」です。

会議は、10回目、大規模攻撃から10年目、インターネット50年目、エストニア独立から100年、NATO70年という節目の年です、ということからスタートです。
どのようにして効果を最大にするのか、どのようにしてリスクを最小化するのか、を考えましょう。
NATOが、サイバースペースにおける防衛の効果を最大化するのか、課題にどう対応しているのか、攻撃者の進化にどう対応するのか、ということを検討することになります。

サイバー脅威について検討します。サイバー脅威は、洗練/狡猾であり、重要インフラをマヒさせ、民主的な政治過程を傷つけます。過去においても侵略的な行為が国境超えてなされました。政治的目標のためにサイバーツールの利用は、知的財産の取得、サイバースパイのためになされて、侵入行為は、ハイブリッド型サイバー戦争の手段となっています。
NATOのサイバー防衛の方針の立場は、サイバーの脅威の変化に対して、変化してきています。純粋に技術的なものから、戦略的なものに変化してお率、NATOの情報保証という立場は、ミッション保証という立場に変化しています。
具体的には、(1)サイバー防衛および能力向上(2)同盟におけるサイバーの優先の確保(3)準備のためのパートナーシップを整えることがあげられます。

(1)サイバー防衛および能力向上
について、2014年に条約5条の適用の可能性を確認しており、国際法が適用されることは認めており、これは、国際的に採用されています。サイバードメインの安定性を確保し、その他のドメインの軍事的手法と相まって安定性を確保しています。考え方・装備・訓練・対応・教育にわたって発展させており協調しているのです。

(2)同盟におけるサイバーの優先の確保
COC(サイバーオペレーションセンター)を設立し、NATO諸国は、指揮命令を確立させており、広い意味での戦略をこの分野に応用し、NATOの目標の実現に貢献させています。2016年のサミットで採用されたサイバーセキュリティ・プレッジを積極的に、実施しています。このプレッジは、7つの基本的な目的を有しています。能力向上、人的資源の充実、組織の構造、トレーニング、知識および経験の向上などです。
2年以内に、同盟国は、サイバー防衛能力を向上させることになります。自己評価も可能になります。同盟国の健康チェックになります。
サイバーセキュリティの政策を考えた場合に、ハイブリッド的なものになります。たくさんの利害関係者のなかで
プレッジは、同盟国においてきわめて考え方・装備・訓練・対応・教育の有効な指標となります。人的資源・資金的資源・技術的資源が当てられることになっています。
同盟国は、それぞれ個別ではなく、協調しています。この進行が、今年のパリのNATOサミットの会議で報告されることになっています。

(3)パートナーシップ
サイバー防御は、チームスポーツです。友人の協力なしでは脅威に対抗できません。
(ちなみにウッドストックで、ジョーコッカーがでていたネタがでています。ジョーコッカーって、ウッドストック世代なんだと、あとで確認したりしてました。ジョーコッカーとビートルズの協力(ビートルズのカバーが多いようです)がフレンドシップのネタって、私の世代でも、ついていけませんでした。ちなみに、Up Where We Belongは、名曲。)

人の構築した複雑なエコシステムが、多国家の利益のコントロールをたすけます。NATOは、14の国との協力関係を構築しています。昨年、フィンランドとは、サイバー防衛についての協力枠組みについての政治的覚書を締結し、ウクライナでは、第一次サイバー防衛基金が設けられ2017年に完了しています。また、ヨルダンでは、サイバーセキュリティ方針構築のために支援をしており、CSIRTの支援をしています。

リアルタイムの情報共有の枠組みをEUとNATOの間で構築しており、協調、互恵的な関係をなしています。WannaCryやNotPetyaの攻撃に際しては、産業界とも密接な情報交換を実施しました。AIなどの急速な発展は、より密接な関係を必要とするでしょう。

最後は、安定性を確保するためにより広範な配慮ということになります。
国家の安定性は、防衛の抑止力に依存することになります。攻撃によって取得するものを提言し、攻撃のためのハードルを高くすることになります。防衛のための抑止と国家の安定性の確保は、サイバー手法によって、5条が発動されうることを認めています。同盟国が、伝統的な手法・ドメインでも活動することが認められます。主体的に活動するのです。
ただし、サイバーでの対応は、あいまいなものといわなければならず、その意味で、対応が不明確になります。伝統的な手法も利用しうるのであり、結果に対して対応します。その一方で、フル・スペクトラムの対応になります。具体的には、条約5条のレベルに至らない場合においても強制的な対応がなされます。NATOにとって明らかなことは国際法にしたがって強制的な手段をとることになるということです。

安定な、安全なネットワークを構築するということです。国連憲章や国際人道法が適用されることを確認しています。信頼醸成装置も含めて、構築します。透明で安定したネットワークを目標とします。

Dr. John A. Zangardiは、アメリカ国土安全保障省の Chief Information Officerです。
(彼のスピーチは、ビデオがありません。)
基本的なお話のテーマは、(1)DHSとは (2)ミッションのためのサイバーセキュリティ (3)DHSのCIOの集中している領域 (4)課題です。

(1)DHSは
具体的な運営のエリアは、FISMA、TSA、USCO などの分野において、個々のコンポーネントを支援しています。
(2)ミッションのためのサイバーセキュリティ
2018年のCyber Strategyによると、リスク識別、脆弱性減少、脅威減少、国家の影響提言、サイバーセキュリティの結果の実行が課題とされています。また、ソフトウエアの取得に関して分析・サイバーセキュリティの視点が重要になり、「新思考(New Think)」が課題となっています。特に、サプライチェーンのリスクのマネジメントは、重要です。

(3))DHSのCIOの集中している領域
ネットワークの現代化と統合化(consolidating)が、現代の課題とのことです。
また、各省庁のセキュリティ・オペレーション・センターの統合化が一つの課題になっています。
さらに、セキュリティとレジリエンスをもって、クラウド化するというのが現在の動向とのことです。よりクラウド化する(ハイブリッド、企業レベル、プレイブック)ことと、クラウドの成果を目標とすることが、具体的な内容になります。
そして、サイバー攻撃を防御する、サイバー経済を変更する-いわゆるサイバー衛生の分野が重要になります。
(4)課題
サイバーでは、「銀の弾」は、存在しないのです。
STEMの卒業生にとって比較されたときに、その雇用先として選ばれるのか、というのが、課題になっていきます。
21世紀における雇用のチャレンジに向かい合って克服していくことになります。

カテゴリー: 情報セキュリティ | CyConX travel report Day One Keynote 1/4 はコメントを受け付けていません。

CyConX travel report Day -Zero CyCon X icebreaker

29 May

workshopを終えてホテルに戻り、チェックイン。ホテルの部屋は、一番上の階にアサインされました。

毎年 恒例 Kohukeとも再会。

1700からは、Energy Discovery Centreで、Ice Breaker懇親会です。

この場所は、もとは、発電所だったということで、いろいろな設備があります。

(放電のショーなのですが、うまく撮れませんでした)

法律関係者は?とか思ったのですが、Munich Security Conferenceの開催したMSC Cyber Security Summitにでている関係で、ほとんど会えなかったのが、残念。

Twitterだと会議の様子がわかります。
breakfast session on the int’l security implications of cryptocurrencies & blockchain technology
“Defending the West, Deterring the Rest” in cyber & hybrid warfare:

panel discussion on “Cyber Norms: Beyond the Tallinn Manual 2.0”

だと思いますが、「ルールが破られたときに、より詳細に理解する必要がある。ルールは、存在する-動かそう」というシュミット先生の発言もあったようです。

“Lost In Innovation? Translating Between Technology and Defense Policy”

などのテーマがあったようです。
Heliさんも、こっちでていたんですね

ちなみに、night cap session”Rebooting Arms Control”の写真は、こちら。CyConの方向性を作ったEneken Tikkがこっちにでてました。Katie Moussouris もいますね。

Cyber woodstockと名付けられたようです。っていっても、今の人は、ウッドストックってなかなかわからないんじゃないのかなあ。

 

 

カテゴリー: 情報セキュリティ | CyConX travel report Day -Zero CyCon X icebreaker はコメントを受け付けていません。

CyConX travel report Day -Zero CyCon X education workshop

ストックホルムアーナンダ空港からタリンに飛行機で移動です。

タリン空港からは、トラムで、中心部に移動することにしました。キヨスクで、スマートカード(1dayで5ユーロ)を購入して、空港前でトラムに乗って中心部まで移動です。

これがスマートカード。タリン交通局のホームページで、チャージ(top up)できます。

もともとは、CyConは、法のセクションが、非常に、ウエイトを占めていて、Day Zeroでは、武力紛争法の基礎的な講義を受けることができたり(2009の時)、TTXの事案をもとに具体的な講演(2013)を聞いたりできました。今年は、ワークショッフは、法のセッションがないので、Day Zeroは、のんびりしようかとと思っていました。

ホテルは、オリジナル、ソコス・ビルで、会議の指定のホテルの一つです。が、11時くらいについたところ、まだ、部屋の準備ができていないということなので、CyConの登録に、スイステルホテルまで歩いていきました。

ちなみにCyCon Xのアジェンダは、こちら

登録して、

 

何か、違うと思っていたら、並べるとわかりますが、CCDCoEのロゴが変わっていました(左が昨年、右が今年)。

でフログラムをみていたら、せっかくなので、ワークショップから聞こうということにしました。
お昼をたべて、午後は、”Cyber Education and Training: New Approach for a New Discipline” というワークショップに顔を出すことにしました。

最初は、Dr. Joe Burton(New Zealand Institute for Security and Crime Science, University of Waikato)の「多分野(Multidisiplinary)アプローチ」と題する報告です。
バートン博士は、組織の45%が、セキュリティに関して、問題を抱えており、75%がセキュリティについて、十分なスタッフがいないと考えている、そして、88%が、サイバースキルの不十分さがあるとの報告があると紹介しました。
そこで、多分野アプローチの議論が必要であるとしています。ケンブリッジアナリティカの事案を見てもわかるように、倫理・法・心理学的な分析アプローチが重要になることが重要であることは、明らかになりつつあるといいます。
この場合に、具体的に何が問題になるか、ということでは、政治的な問題をクリアすること、研究方法(定性的か、定量-統計的か)、共通用語(コモン・レキシコン)をきめること、対抗的(rivalry)ではなく・相互認証的(reciprocity)であること、柔軟性・多様性があること、などがあげられました。

次は、Prof. Olaf Manuel Maennel(professor for Cyber-Security at Tallinn University of Technology in Estonia, and the scientific lead at the Centre of Digital Forensics and Cyber Security)です。
Maennel教授は、サイバーセキュリティは、何であろうかという点について、メタ分野(分野を超越しているもの)であり、学校システムには適合しないし、むしろ、ドロップアウトしたものほうが優秀な分野であるとします。セキュリティの認証資格やその提供者と大学とでは、商業主義とアカデミックな価値との間の緊張関係があります。様に、分野統合的な学問であるし、また、TTX、RedやBlueなどの演習、CTFなどの「シリアス・ゲーム」が有効な分野である点に特徴があります。
これらは、教育の結果が、測定しうるもので、効果的なフィードバックがなされるということになります。
演習前(範囲・目標)->演習(データ収集)->演習後(効果測定)となりるわけです。
また、ゲーム内において、学習の測定がなされることになり、競争力、スキル、課題などがイベントログから分析されることになる。精神的マップが作成され、成果または効果のベンチマークU照らして分析される。戦略的な見地も分析される。
サイバー衛生および意識も重大な課題になる。
ということでした。

Dr. Edward Sobiesk (Professor of Computer and Cyber Science at the United States Military Academy at West Point)です
彼のテーマは、全体的な(holistic)アフローチです。
目標は、教育的な示唆を究める(explore)ことです。
Cyberは、関連する仕事があり、コンピュータプログラムに関すること、独立している調査業務、などがあります。
全体的な(holistic)というのは、一般的、選択的課程、Capstone Project(応用、実務研修の授業)、独立(independent)にわたる考察ということになります。
一般的な教育としてのサイバーがなされます。
選択的課程では、一例として、Minorの段階では、二つの選択科目、二つの追加科目、一つの非技術的科目が準備されます。
独立しての教育では、サイバークラブ(アマチュア無線クラブのサイバー版)があります。たとえば、セキュリティ・監査/コントロールのコンピュータ・機械SIGがあります。会議、訓練・インターンシップなどを行います。
また、生涯にわたっての学習のアプローチもあり、訓練および資格が重要であるし、また、サイバーフォースへの加入、経営層への参画ということもあります。

Chelsey Slack(Deputy Head of the Cyber Defence Section with the International Staff at NATO Headquarters in Brussels)です。

彼女によると、人的要素が、重要であり、両刃の剣になるといいます。人材育成するためにどのようにするかということについていえば、能力の形成(build capacity)、効率性の実施(drive efficiency)がキーになり、そのためには、全体的な、重要な、戦略的な運営が必要になります。

セキュリティ意識を向上させ、継続的に成熟されるようにすべきであり、そのアプローチは、ブロックの上にブロックをつみかさねる、ビルディング・ブロック・アプローチになるということでした。

そのために産業界は、サイバー連立(coalition)となるとしています。また、同盟する国(aliies)は、サイバー防衛誓約(cyber defence pledge) となり、国家のレジリエンスのために最善を尽くすものとなります。この二つの目標は、意識向上と教育です。

また、上級の意思決定者は、EUにおいて、机上演習を行っています。

Dr. Jochen Rehrl(European External Action Service/European Security and Defence College in Brussels)は、ESDC(European Security and Defence College)についての説明になります。ESDCは、ネットワークカレッジです。リーダーシップ、CSDP(Common Security and Defence Policy )、水平的問題、パートナーシップ、軍事的交換制度(EMILYO (“Military Erasmus”))、配置前について訓練および教育を担当しています。
具体的には、Eラーニングと公表文書で行います。

教育・トレーニング・評価・訓練(education, training, evaluation and exercises (ETEE))が構築されることになっています。

教育と訓練の課題は、いろいろなものがあります。

そして、全体のフラットフォームの仕組みは、以下のような図になります。

 

21世紀の課題としては、教育・訓練・演習/ネットワーク/協力になります。

Philip Lark (Program on Cyber Security Studies (PCSS) at the George C. Marshall European Center for Security Studies)は、 非技術的サイバーセキュリティ教育について検討する。マインドフルであること、課題を克服すこと、戦略的視野を欠くこと、学際的であることの特徴があ。

脅威、攻撃、技術的・積極的リスクマネージメントが語られる。また、リスクマネージメントと運営によるレジリエンスも求められる。

その際に求められるのは、サイバー戦略と政策の発展であり、これは、統合(用語その他)、脅威とリスクの包括、多面的分析、国際的把握、知識の共有などよってなし遂げられるとしています。

このあと、Q&Aに移行し、トラストとネットワークが重要になるというまとめがなされてワークショップは、終了になりました。

学際的な教育の重要性が、実際のカリキュラムとリンクして説明されたのは、うらやましいレベルですね。日本だと、場合によっては、大学院で、セキュリティの要素を私が説明するのが、学生さんにとって最初のセキュリティマネジメントの授業(暗号は、大学でやっていたりする)だったりします。

あと、課外活動(アマチュア無線部みたいなのをサイバー部でやる)というのは、いいアイディアですね。子供たちの学校をみると、そこまでは、対応していないですね。帰宅部より、クリエイティブなような気がします。(担当の先生の手当てがあるんでしょうけどね)

ホテルと懇親会は、次のエントリで。


6月8日追記

午前中のEfficiency vs Security: The Enduring Dilemma of Supply Chain Assurance については、研究室の裏側ブログ「CyCon2018の備忘録(1)」にまとめられています。

カテゴリー: 情報セキュリティ, 教育 | CyConX travel report Day -Zero CyCon X education workshop はコメントを受け付けていません。

CyConX travel report Day -1 Stockholm

Stockholm の2日目です。

近くの教会を朝に訪問。

らでホテルに戻って観光戦略をたてましょうと思っていたら、ちょうど、ホテルへの途中で、赤い車体のHop On Hop Offバス(2階建てバス)が止まっていたので、それで観光することに予定変更。

地図でもわかるとおり、中心街を回ってガムラスタン、バイキングライン停留所を回って、シティを経て、ユールゴールデン島にいきます。

でお目当ては、ヴァーサ号博物館です。

グスタフ2世の命で作られた船が、沈んでしまったのを引き上げて、復元した船がメインです。

この引き上げ作業、復元作業、船尾のきれいな装飾など、満喫しました。3時間くらい、上から、下の階まで全部見ました。

 

午後1時すぎくらいに、見終わって、次は、Skansen移動しようとして、ちょっとだけバスをまたけど、こなかったので、マップで調べたら、数百メートルとのことで、歩いて移動。ヴァーサ号博物館側にも、入り口があるので、入り口までは、本当にすぐでした。

スカンセンは野外博物館で、動物園という感じでいろいろ動物も見てきました。とにかく広いです。

でもって、歩き疲れたところで、観光終了。また、赤いバスに乗って、旧市街に戻りました。

有名な市庁舎の見学でもって、観光終了です。

 

 

 

 

カテゴリー: 未分類 | CyConX travel report Day -1 Stockholm はコメントを受け付けていません。