违反Robots协议是不是不正当竞争，这也需要具体情况进行具体分析。反不正当竞争法规制的不正当竞争至少应当有三个条件，根据国内外法院的相关判决和相关资料，我对Robots协议有以下几个看法：

第一，Robots协议属于行业惯例。这是因为从上个世纪90年代到现在的20年来，互联网网站已经普遍使用Robots协议，向网络中的搜索机器人发布指令，允许或者不允许其访问自己网站中的某些内容。我国的互联网站也普遍设置了Robots协议，互联网协会还订立了《互联网搜索引擎服务自律公约》。这说明，网站使用Robots协议已经成为互联网行业的习惯性做法，即成为相关企业都认可的一种方式。如果大家都认为这种做法是公平合理的，符合商业道德，一方面既可以维护互联网信息所有人或者内容所有人的权益，另一方面又有利于信息的传播，有利于社会大众对信息的需要，那么经过一定时间的延续，它就可以被视为是一种行业惯例。

第二，行业惯例是否具有法律效力，这需要具体情况具体分析。有些行业惯例，比如国际贸易中CIF、FOB等国际贸易惯例，它们在某些国家如在西班牙就具有法律效力。有些行业惯例如搜索引擎领域的Robots协议，它只能适用于那些同意适用Robots协议的企业，因此它是一种任意性规范。我国的互联网协会订立了关于Robots协议的自律性公约，这个公约仅对参加了这个公约的企业具有约束力。根据Robots协议所涉及的内容，不遵守这个协议的行为也可能构成侵权，这种情况下的Robots协议就具有法律效力。

第三，违反Robots协议是不是不正当竞争，这也需要具体情况进行具体分析。我认为反不正当竞争法规制的不正当竞争至少应当有三个条件：

首先，它涉及的是经营者，比方窃取商业秘密的行为或者假冒商标的行为，行为人和受害人都是经营者;第二，这样的行为与商业交易有关;第三，这种行为是不公平地攫取竞争优势，即受害人和加害人之间有竞争关系。违反Robots协议的案件不一定是竞争法的案件，比如2006年美国内华达州地区法院的Blake.Field诉Google侵犯著作权一案，因为涉案当事人之间不存在竞争关系，这个案件就不是不正当竞争案件。有些涉及Robots协议的案件，例如奇虎360和百度之间的争议，因为这两个企业都从事搜索引擎业务，双方存在竞争关系，这样的Robots协议案件就可能涉及不正当竞争的问题。