交渉は自由貿易を中心とするハリスの作成した原案にもとづいて進められた。その交渉は、強引に迫るハリスと冷静に論破していく岩瀬との激しい攻防戦が続いた。
「岩瀬さん、現在、日本の開港地は下田、長崎、函館の三ケ所であるが、これから貿易の港は多いほどよい。品川や大阪など十か所の開港を我がアメリカは是非とも要求する」
ハリスはまず開港地を増やせと言ってきた。岩瀬は腹案があったが、
「従来通り三ケ所で宜しいかと思います」
平然と答えた。するとハリスは
「それでは今までと同じではないか。是非、江戸の玄関口である品川を開港してほしいのだ」
「品川は港が狭く、遠浅でとても貴国の船は着けられません」
「では今まで通り下田しかないと言うのか」
ここで岩瀬はあの腹案をもちだす。
「では横浜はどうでしょう。下田よりは江戸に近い所です。」
ハリスはこの横浜案に飛びついた。これを境に以後、岩瀬が主導権を握ることとなった。だが横浜の提案は理解したものの、狙いは経済の中心大阪だった。ハリスはこの地が日本で商業が一番活発だと知っていたからである。
「大阪に港を開かない限り、大阪京都を中心とした関西地域の商いが出来ず、これでは自由貿易とは言わないではないか」
ハリスにとって絶対ゆずれない港だった。岩瀬は思った。大阪を開港すると、大阪が貿易の拠点となってしまい、幕府が考える新たな江戸横浜経済圏を確立する事がむずかしくなってしまう。そこで、
「大阪の港は反対する大名や朝廷がいて、現実的に無理です。それに京都は商用の土地柄ではないのです」
理路整然と説明し、次々とハリスの要求を論破していった。
実はこのような要求を想定し、岩瀬はあらかじめ、各地の港をまわり実情を具(つぶさ)に視察していたのだった。
実際、京都は天皇のいる場所、そして激しい攘夷運動が吹き荒れていた。岩瀬が危惧したことは攘夷派の人々が、外国人を負傷させることがあっては、それをきっかけに外国による武力介入を招くことになる。しかも京都・大阪に外国人が入れば流血事件を起こすのは必至。これは絶対避けなければならない。
そこで岩瀬はぐっとハリスに近寄り、
「これは口外しないでもらいたいのですが、あなたを信頼して打ち明けます。わが国には多数の浪人がいて、外国人を狙っていますが、実はあなたの暗殺計画まであるのです」
岩瀬は包み隠さず攘夷運動の激しさを訴えた。
「あなたは平和の使者と申されたのではないですか。もし貴国の大統領が日本の親切な友人なら、無秩序と流血を引き起こすような危険な地に港を主張するはずはないでしょう」
このままでは日本に内乱が起きる畏れまであることを伝えた。
「なるほど、そう言う事ならば残念だが大阪は断念しよう」
事態の深刻さにハリスも動揺した。ここで岩瀬は更に自分の心情をぶつけた。
「今、外国人が国中を歩きまわったら、必ず内乱を招くでしょう。我々は内乱が起こるくらいなら、外国と戦争をする方が怖くはないのです」
岩瀬はあえて激しい言葉を使うことでハリスに危機感を伝えた。更にここで井上清直が身を乗り出し、意見を論じた。井上はハリスの来日から一年半公私を分かたず、世話をしてきた人物だった。
「いまここで交渉を中断しては、条約そのものが無に帰すことになりかねない。価値の低いものを望んですべての物を失うより、得られるものを確保する方が得策と考えて頂きたい」
「わかりました。あなた方の希望に沿うようにしましょう」
しかし、ハリスには最大商業地である大阪開港を諦めきれぬ思いが残っていた。
