これを察した岩瀬は、
「ハリスさん、大阪を開港することは無理だが、神戸はどうでしょう」
当時、神戸はまだ葦が生息している寂れた漁村だった。しかしハリスは大阪に最も近い場所だったので、これを喜んで受け入れた。
因みに、横浜港は江戸に近すぎると街に外国人が往来し悶着が発生しやすい場所でもある。また遠すぎると幕府に情報が入りづらく、財政となる貿易利潤が滞る事となる。そこで、幕府はわざと掘割を切って、横浜居留地（新しい出島）をつくり、貿易管理をしやすくした。
その結果、横浜の開港後五年目の一八六三年に、早くも横浜の貿易額は輸出だけで一千万ドルを突破しハリスの予想を完全に上まわってしまう程だった。この点では、岩瀬の横浜開港にかけた期待が的中したといえよう。ハリスはこの時のことをこう書き記している。
「岩瀬は頭の回転が早く、汎論が次々と出てきた。私は尽く論破され何度も草案を書き直した。岩瀬は外国人には決して明かさない国内事情までも打ち明かした」
開港地について合意がなされると、次に領事裁判権の容認について話が及んだ。つまり、アメリカ人が日本で問題を起こした場合、日本側はこれに関与せず、アメリカ領事が裁判を行うという取り決めである。これについて岩瀬は犯罪者が捕らわれる事は局地的な問題であろうと考えた。
そして、関税自主権の喪失という問題である。それは国内への輸入品において、関税率を決めるのはアメリカであり、日本で決めることが出来ないという内容だった。本来これは妙な取り決めである。しかし当時の関税率の二十パーセントは諸外国では一般であり、決して日本においても不利ではなかった。
ただ不平等条約の根幹をなしたこの領事裁判権と協定税率について、岩瀬といえどもなんら論争を挑むことなしに、ハリスの主張の線できまってしまったのは、日本が国際法についての知識がなかった悲しさである。また、通貨の交換レートに誤った基準を設定され、のちに金の大量流出という日本に大きな損失をあたえる事となったのだ。
もう一つ岩瀬の意見が条約に入れられたものに、条約批准交換の地をワシントンとした事である。ハリスの原案には交換の場所を記していなかったが、岩瀬が突然、日本から使節を派遣しワシントンで交換してはどうかと提案してきた。もちろんハリスは異論なくすぐに同意し、国を視察してもらうだけでも有り難いと喜んだ。それどころか、日本側からこのような喜ばしい提案があるとは予期していなかった。こうしてハリスと岩瀬の間で条約案の内容について決まったのである。
『日米修好通商条約』の主な内容は次の通りである。
第一条 今後日本とアメリカは友好関係を維持する。日本政府はワシントンに外交官をおき、また各港に領事を置くことができる。各国領事は公務のために自由に国内を旅行できる。
第二条 日本とヨーロッパとの国家間に問題が生じたときは、アメリカ大統領がこれを仲裁する。
第三条 下田・箱根に加え神奈川（横浜）、長崎、新潟、兵庫（神戸）を開港する。下田は閉鎖する。また、江戸と大阪を開市する。両国の商人は自由に取引ができる。役人が介入することはない。軍需品は日本政府以外に売ってはならない。
第四条 輸出入品は、全て日本の関税を通すこと。アヘンの輸入は禁止する。
第五条 外国通貨と日本通貨は同種・同量による通用とする。開港後一年の間は原則とし 日本の通貨で取引を行う。（したがって両替を認める）
第六条 日本人に対し罪を犯したアメリカ人は、領事裁判所にてアメリカの国内法に従って裁かれる。
第七条 開港地においてアメリカ人は定められた範囲で外出できる。
第八条 アメリカ人は宗教の自由を認められ、居留地に教会を作っても良い。宗教論争はおこなってはならない。長崎での踏み絵は廃止する。
第九条 アメリカの罪人を日本の役人に逮捕を依頼し、獄舎で勾留を求めることができる。
第十条 日本政府は軍艦、兵器類を購入し、作製を依頼するためアメリカ人を自由に雇用できる。
第十一条から十三条 略
第十四条 本条約は一八五九年七月四日より有効である。条約批准のために日本使節団が、ワシントンを訪問するが、何らかの理由で批准が遅れた場合でも条約は指定日から有効となる。
条約内容は決まった。締結期限を五月末日とした。あとは、朝廷の勅許を得るだけだった。
