しかし、問題の発端となったハリスと直接条約調印を交わした岩瀬と井上に対しては、意外と軽い処分だった。まず井上清直を下田奉行から外国奉行に異動。後に小普請奉行（寺院などの改修）明らかな降格である。そして、違勅の主犯格だった岩瀬忠震に対しては、むしろ昇格ともいえる目付から外国奉行への異動であった。
井伊は、このあと岩瀬と井上にやってもらわなければならぬ仕事が残っていた。それは今回の交易条約をアメリカだけでなく、他の国とも同様の条約締結する事となり、この実務をこなせるのは岩瀬と井上しかいなかったからだ。
安政五年七月十日 日蘭（オランダ）修好通商条約に調印
安政五年七月十一日 日露（ロシア） 修好通商条約に調印
安政五年七月十八日 日英（イギリス）修好通商条約に調印
安政五年九月三日 日仏（フランス）修好通商条約に調印
日米修好通商条約に加えた、蘭・露・英・仏の修好通商条約の五カ国すべてに立会い調印したのは岩瀬忠震ただひとりである。（安政の五カ国条約）
実際、岩瀬の功労が日本を植民地から救ったのだ。なぜなら当時アジアで植民地にならなかったのは日本だけだったのである。しかし、条約が完了すると、岩瀬は改めて違勅の責めを負い、外国奉行から作業奉行（建物の建築や修理）に降格異動となった。更にその後、蟄居の処罰を受けるのは翌年（安政六年）の八月のことだった。
江戸城では、悲報が飛び交っていた。第十三代将軍徳川家定が遂に薨去(こうきょ)されたのだ。元々健康に優れなかったが昨年より病気が悪化し今年に入り、まるで廃人同様の状態が続いていたのだった。その為すでに家定は将軍継嗣を紀州家の徳川慶福（家茂）とすることを正式に公表していた。この様な身体だった為、条約違勅問題にも殆ど触れず、生涯を通じてあまり表舞台に出ることはなかった。また、仲睦まじかった篤姫とは輿入れの日から、わずか一年九か月だった。安政五年七月六日逝去 享年三十五歳だった。
また、井伊直弼の将軍継嗣問題と無勅許条約に真っ向から対立したのが、薩摩藩島津斉彬である。次々と一橋派の主要人物を弾圧し処罰する井伊に怒りを表し、斉彬はついに藩兵五千人を率いて抗議のため上洛する寸前だった。ところが、天保山で出兵の練習を観覧の最中に発病し、その八日後に急死してしまった。七月十六日 享年五十歳だった。
その頃、江戸城大奥にいた篤姫は、自分を慕い、自分を頼りにしていた夫と養父を立て続けに亡くしてしまい、篤姫の胸の内は計り知れない哀しみで満ち溢れていたに違いなかった。
その後、篤姫は失意の底で、落飾し名を天璋院(てんしょういん)と改め二人を供養したのだった。
話は少し遡る。岩瀬とハリスが日米修好通商条約を成し遂げた記念すべき六月十九日、木村喜毅も咸臨丸の船上でポーハタン号から発せられた祝砲を聞きながら岩瀬の功労を喜んだ。そして、岩瀬達を無事品川に送り届けたあと、木村はまた咸臨丸で長崎に向かった。途中、天候が悪く波がかなり荒れたので長崎に戻ったのは、それから五日後だった。
木村が昼過ぎに伝習所に戻ると、勝麟太郎がかなり狼狽えた様子で部屋に入ってきた。
「木村さん、大変です。一大事です」
平常心を全く失っていた。
「どうしたのですか。勝さん、そんなに慌てて」
「先程、水夫の勘助と市蔵の奴が死にました。三日ほど前は元気でいたのに、どういう事なんでしょう。それと、伝習所の生徒たちが何人も下痢と嘔吐で苦しんでいるんです。何か毒物でも飲んだのでしょうか。木村さん、どうしましょう」
「勝さん、ポンペさんはどこにいますか」
「いま、西の屋敷で倒れた伝習生を診ています」
「すぐ、我々もそこに行きましょう」
ふたりとも急いで屋敷に向かった。ちょうど、そこに医者で幕臣の松本良順が屋敷に入っていくところだった。手拭で口と鼻を覆い被せ手には水が入った桶と何枚もの手拭を持っていた。
「松本さん、どんな様子ですか」
「あっ、木村総監、お戻りなさりませ。今、中でポンペさんが診療していますので呼んできます。おふたりはここでお待ちください。中には決して入らないでください」
と言い残し、自分は中に入っていった。すると、中から大きな布マスクをしたポンペが、いささか疲れた様子で出てくるのがみえた。
「木村さん、少しあちらで話をしましよう」
午後の陽射しが少し厳しかったが、海風が吹いていたので、然して気にならなかった。三人は日陰を探して、そこに座った。
「ポンペさん、大勢の生徒が苦しんでいる様ですが、いったい何が起こっているのですか」
木村喜毅がすぐさま聞いた。
「木村さん、少し厄介な疫病です。皆の症状を見ると、とにかく下痢が相当ひどいです。それから吐き気を訴える者が多く、腹痛と高熱で苦しんでいます。詳しくはもう少し調べてみないと解りませんが、どうやら、考えられるのはコレラですね」
ポンペは深刻な顔で話した。
「コ、コレラですか」
木村と勝は愕然(がくぜん)とした。
日本で最初にコレラが流行したのは約四十年前の文久五年（一八二二）と記録されているので、この頃の日本でもコレラを知る者は少なくなかった。
「ポンペさん、我々は何をすれば良いのでしょう。是非、教えて下さい」
「それでは、次に言う事を伝習所内で徹底してください」
ポンペは木村と勝に、なるべくわかり易い様に説明した。
・井戸の生水は決して飲まない事。煮沸してから飲む事
・魚や野菜もなるべく火を通して、特に生魚は食べない事
・出来るだけシャボン（石鹸）を用いて手をこまめに洗う事
・看病する者は限定し、患者に薄い塩分の入った湯冷ましを適度にあたえる事
そして、コレラで亡くなった遺体は土葬ではなく、必ず火葬することなども言い伝えた。木村は早速、伝習所の者を全員集め、ポンペの指示を伝え、これを必ず守るよう厳命した。また、長崎奉行所にポンペを同行し、事の重大さと対処法について伝えた。
事態は深刻である。このコレラは伝習所だけではなく、長崎中がコレラ菌で蔓延したのだ。感染源はインドで発症。中国上海でかなり流行っていたコレラ菌をペリー艦隊に属していた米国艦船ミシシッピー号が長崎に入った際、乗組員の中にいたコレラ患者が持ち込んだそうである。それがきっかけで、長崎中が大騒ぎとなった。山々では死者を焼く業火が燃え上っていた。まるで地獄図のようだったという。
やがて、広島、大阪と伝染していき七月には江戸に広がった。緒方洪庵も感染症と闘ったが、江戸の死者数は一万人以上が記録されており、その犠牲となった中には浮世絵師の歌川広重の名もあった。
江戸の庶民たちは「こうなった原因は鎖国をやめて外国人に港を開放したからだ」と口々に叫んだり、また、ある者は加持祈祷に頼り、疫病退散のお札を戸口に貼って家に閉じこもったり、病気を追い払おうと太鼓や鐘を打ち鳴らしたりしたという。コレラは妖怪変化の仕業であるとして「狐狼狸ころり」と呼ばれ、様々な流言飛語が生まれた。
江戸における病勢は九月に入って衰えたが、長崎伝習所も六月から九月まで授業を休講とした。
