信綱には子供がいなかったので、直江の名跡を残すため天正９年（１５８１年）上田衆（六日町）の樋口 兼豊の子・与六を、入り婿として迎えた。これが直江兼続である。

直江兼続は、景勝の母に才能を認められ、小さい頃から景勝に仕え、与板城主となってからは、景勝の 手足となって、越後の再統一と施政に尽力した。 反景勝勢力を長年にわたり平定し、佐渡から出羽庄内（山形）までも支配した。

直江兼続の直属の家臣は与板衆である。「代々与板の者」とか「直江一家の侍」とか「直江家老の輩」 と呼ばれ、その数１２２名。兼続が上杉景勝の家老として、検地惣奉行・蔵入地奉行・知行宛奉行・佐渡 代官・出羽庄内仕置などの要職を務めるには、与板衆に強い権限を与え、越後の治安・統一・施政に あたったのである。

もちろん、与板の城下町づくりにも力を入れた。城下は人口も増え、開拓事業が進み、鉄砲製造などの手工業や、市の開設など商業も発展し、城下町の形態は次第に整えられていった。

直江山城守兼続の居城・与板城は通称「城山」と呼ばれ、町の南部丘陵地にあり、本丸は１０７メートル の山頂に、二の丸・三の丸から千人溜などの主な郭が南北に一列に配され、全山すべて城郭の形をなし、 東方を流れる諸川を内堀に、信濃川を外堀にし、眼下に中越を一望に収める事の出来る豪壮な山城である。 この与板城跡は、県および町の文化財に指定されている。

上り口より、約１５分で頂上に到着する。途中には、兼続の奥方・お船さんにまつわる「おせん清水」があり、どこから湧いて出るのか、水の流れは絶えない。
頂上には、直江山城守兼続の「望むところのこと信（まこと）の一字」の碑と、海音寺潮五郎の 「直江山城守旧城跡本丸」の碑がある。