汪直终于只和极少数随从，前去入谒胡宗宪。胡宗宪因为确实真想招抚汪直和开放互市，所以对他们慰藉之至，又为了改善他们和反对派巡按御史王本固等人的关系，建议他们前去拜见王本固，汪直等人则慨然应承。
但是，意外发生了。他们三人一到杭州就被王本固下了大狱。 胡宗宪闻讯大惊，知道出了大事，因为毛海峰的船队还在那里停着，这是会引发严重后果的，所以急忙上疏为汪直分辨，一面为汪直说好话，一面降低要求，请求让汪直戴罪立功，“俾戍海上，系番夷心”，希望能保住汪直，而王本固则固争之。由此可见当时汪直确实没有参与入侵，因为他的自供如果与事实不符，那么即使胡宗宪会维护他，王本固、俞大猷、卢镗等人也是绝不会坐视不理不戳穿他谎言的，况且他这个自供还是在王本固的监狱里写的。而当时人以及一般的记载也是只要提起倭寇，大多就直接把他们当成汪直的手下，包括《明史》在内，在这个问题上都含混不清不甚严谨。
由此可见，当时东南沿海最猖獗的海盗实际是福建的漳、泉海盗，而陆地上的一些武装抢劫团伙，也因为“倭寇”的出现而被笼统地归为“倭寇”，甚至包括葡萄牙人也一样被朱纨和当地官府称为“倭寇”。从这里还可以发现，海商们之所以会被视为寇，很大原因是他们在贸易时使用武力来保护自己，即：“然而驾巨舶，运轻帆，行于无涯之浸，飞枪机铳以为利，人莫敢撄之”，所以即使承认他们“非尽为也”，但也由于他们以武力来对抗明政府的这个特征，所以最终的冠名依然只能是“寇”。
至于其中的“倭寇”，如亲身参与平倭的郑若曾所言，一股倭寇中“真倭甚少，不过数十人为前锋，寇还岛，皆言做客回矣”。从这里可以知道几个问题，一是真正的倭寇人数很少，二是即使是真倭寇，在其国内也是不敢大肆声张的，权贵大贾和良民都是以商船和贡船形式来中国，只有那些“贫与为恶者”才来为寇。
这样一来则又出现了一个问题，如前所言，汪直在日本的声望和地位都相当之高，结交来往的都是权贵大贾，包括地方大名和城主，很受人尊敬。而以他如此庞大的势力和名望，不可能受制于那么少数几个即使在日本国内也被视为罪犯而要躲躲藏藏的倭寇。如果再联系后来他说可以在他控制的五岛地区内征兵“以夷攻夷”消灭倭寇这个话，则可以很清楚的知道，汪直并不受制于倭寇，实际是他控制了日本的五岛地区，包括对那一带居住人口的控制权。
不过汪直手下肯定是有武装日本人的，但充其量只是其在日本往来行走达官贵人之间而雇佣浪人保镖以及船队成员而已。之所以这样说，是因为熟悉日本战国历史的人都应该知道，在当时的日本，社会等级制度之森严远过于中国，即使如丰臣秀吉也一样因为出身于农民而一直都被各大名和传统贵族们看不起，而要汪直这个外国商人带着日本罪犯或者无赖、贫民去行走豪门，这简直是不可想象的事情，等于天方夜谭，所以他在日本雇佣的本地护卫，就只能是那些没有藩主的武士，也就是所谓的浪人才可以，不然他根本无法进入日本上层社会的大门，更不用说取得如此之高的声望和地位了。而他船队中雇佣的日本人，明大臣范表在《海寇前议》中说汪直船队在日本有“哄带日本各岛贫穷倭奴”，谓是被“哄带”来的贫穷之人，且称之为“奴”，这些人在船队中地位之低下可想而知。因此，没有一处记载能证明日本人在汪直船队中具有领导地位，甚至连具备一定指挥权的小头目也没有。汪直船队的重要头领，一直都是清一色的是中国人，而且大多是他的同乡和亲属，如前期包括徐惟学、徐海叔侄，以及叶碧川（宗满）、王清溪（汝贤）、义子毛海峰以及他的侄子等人。
因此，这些都是在看待倭寇、海盗、海商和汪直等人时需要注意的问题。不能仅仅因为徐海曾经是汪直部下，就把早已经和汪直分道扬镳乃至敌对，最后在汪直的协助下才被消灭的徐海集团所为，都扣在汪直头上，也不能凡是倭寇和海盗的账，全都要算到汪直头上。
但是汪直所部，确实是和明政府在进行对抗的武装集团，而且他们人数众多船队规模庞大，又是多股部队在活动，如果说其中部分成员有掳掠行为，这并不值得奇怪。毕竟这是一群提着脑袋跑海的人，如果被抓住随时会被砍头，而其中更有相当部分的雇佣军和赤贫人员甚至罪犯，因此在这样的人员构成的武装势力中出现这些情况是正常的，也是不可避免的。而汪直势力从事的海外贸易，在当时原本也是“违法”行业，他们是当时的“违法”武装集团，因此不能以政治势力的高度去要求他们，他们的本质，就是一股为了商业利益而采用武力和政府对抗的武装势力。而汪直本人主观上也是不希望发生这样的事的，为了防止出现这样的情况，在其制定的船队规则中有一条就是不得擅自上岸，违者当众刺穿双耳，再犯立即处死。
更多文章：