“九·一八事变”以前，关东军宪兵队分为奉天分队、大连分队、旅顺分队、辽阳分队、铁岭分队、公主岭分队、安东分队等。大连分队，地处东北海上门户，以出入大连港的船舶为目标，搜集中国各地和世界各国在东北的经济活动情报，并以前苏联总领事馆为重点，搜集前苏联的情报。奉天分队，因为地处东北政权所在地，以搜集军政要人的行动，东北政权的方针、政策为主。而长春支队，由于设在“满铁”的最北端，与前苏联势力范围“北满”接壤，因此，负责监视前苏联的动向，尤其是军队的动向。同时，长春分队还负责监视南岭和宽城子两地的中国驻军，搜集其活动的情报。
关东军宪兵队的情报活动，范围十分广泛，但是主要集中在政治情报、经济情报、军事情报等方面。关东军宪兵队搜集的不仅有东北政权的内外方针、政策，东北重要人物的谈话，对日本的态度，甚至有重要人物之间的亲疏关系、矛盾，还包括东北的财政、金融情况，市场行情，各地物价，工业生产，农业年收成，抵制日货的情况等，以及东北军在各地的部署情况，各地东北军的编制、番号、人员、装备、官长、姓名、出身、部队调换情况、军队士气、军风军纪等等军事情报。日本关东军宪兵队不仅是日本帝国主义设在东北进行特务活动的据点，从某种意义上说，关东军宪兵队在日本侵华的过程中，尤其是在侵略中国东北的过程中发挥的作用比正规军队更加重要。没有关东军宪兵队搜集到的情报，日本军方就无法准确地判断东北的局势，也就无从决定侵略中国东北的最佳时机和最佳方案。
1931年“九·一八事变”之后，关东军在日本军部的支持下，在短短几个月里，不仅占领了东北三省和热河，也把战火烧到了北平和天津。日本宪兵司令部就不断地抽调宪兵，以补充关东宪兵队，使其能够适应对迅速扩大的占领区的统治的需要。
随着关东军对中国东北的占领，关东军在日本国内的地位也日益显赫。1932年8月，日本帝国主义为了统一日本在东北的多头政治，在派武藤信义接替本庄繁出任关东军司令官的同时，还任命他兼任驻满全权大使及“关东厅”长官。这样他就把日本在满洲的军权、政权、外交代表权集于一身了，形成了以关东军为中心的统一政治局面。
1932年12月，关东军宪兵队司令部根据关东军制订的《东满警务机关业务统制要领》，制订了《在满警务机关业务统制规程》，在“要领”的基础上，详细地规定了宪兵对日本警察统治的具体办法，主要有以下三项：
(一)有关在满的治安警察业务，各宪兵队长区处管内的领事馆警察部长、关东厅警察署长；宪兵分队长区处领事馆及关东厅的警察署长、分署长。
(二)宪兵分遣队长以下之宪兵，有关治安业务，在事态紧急的情况下，可与当地警察机关协议，随机采取处置措施。
(三)间岛、珲春地区，有关治安警察业务，由朝鲜军派遣宪兵长区处当地警察部长、署长、分署长。
这一“统制规程”，进一步确定了关东军宪兵队在东北的警察权，并且使其在警务方面具有了指导权。1934年底，关东厅和日本驻满大使馆同时制订了“特别职员任用令”。关东军岩佐禄郎宪兵队司令官就是根据此令，而兼任关东厅和日本驻满大使馆两个警察部长。关东军宪兵队就正式地统管了日本在中国东北的警察权。
1935年，东条英机被任命为关东军宪兵司令官，并兼任关东军警务部长。
东条英机到达东北之后，立即对关东军宪兵队进行了改编。不断地调入大批宪兵干部，如关东军宪兵队司令部警务部长、宪兵大佐狄根丈之助，他来东北之前是日本名古屋宪兵队长，来东北之后成为东条英机的“得力助手”；又如关东军宪兵队司令部高级部员、第二课课长兼治安课课长、后来的关东宪兵队警务部长，宪兵中佐齐藤美夫，他在1929年之前任长春宪兵分队长，1935年左右又再次来到东北，在关东军宪兵司令部内专门负责政治镇压工作；再如延吉宪兵队长、宪兵大佐加藤泊治郎，他是第一任延吉宪兵队队长，他在1936年日伪政权在东边道利用伪军进行大讨伐期间，调任奉天宪兵队队长，后来此人还担任了关东军宪兵队司令官、日本宪兵司令、华北宪兵司令等职。
东条英机还对关东军宪兵队司令部的建制进行了调整。东条任关东军宪兵司令之前，关东军宪兵队司令部内没有部、课的建制；东条英机到任后，为了提高司令部的工作效率，就把司令部的机构改为“二部四课制”。二部四课就是总务部、警务部、庶务经理课、第一课、第二课、第三课。
1935年秋天，关东军在制订讨伐计划之时，第一次向日伪警务机关提出了“思想对策”的要求。当时制订的目标是整治“企图扰乱满洲国治安的非法分子”和“企图妨碍满洲国五道政治的分子”。关东军宪兵队把“思想对策”的目标具体分为以下三类：一是反满抗日分子及其团体，包括南京政府、东北军阀的特务人员和向前苏联、中国提供情报者、政治犯等；二是思想方面的团体，包括红军、人民革命军、反日联合军、受中国或前苏联共产党的指令，企图在思想上扰乱满洲国治安者，中国共产党满洲省委，驻满洲的前苏联共产党及国际工作班；三是土匪及通匪者等其他人员。
可是在1935年的秋季讨伐后，东条英机就认识到，“思想对策”的工作目标过于庞大，过于杂乱，根本不能收到预期的效果。于是东条等人开始反思过去的工作失误，并且考虑将来的计划和目标。最后，关东军宪兵队司令部提出，1935年以后的“思想对策”工作的重点是消灭反满抗日分子、党团及思想上的党团。并提出，要对转化成秘密党团的思想匪和政治匪，进行周密的侦察，掌握其组织的分布情况及背后的联系。并告诫日伪警务机关，要使思想对策工作进行得深刻、彻底，就必须对转化成秘密党团的思想匪和政治匪进行周密的侦察。
如吉林地区警务联络委员会于1935年11月制订了一个“思想对策”的工作计划，该计划显示了当时满洲统治者、日本军队进行“思想对策”工作的详细情况。
该工作计划列出的工作重点是：为消除思想上、政治上匪势猖獗的根源，要将其重点放在内侦、密查方面。要将警察重点放置在可能是反满抗日地下工作分子领取资金或成为联络机关的南方系银行、大商店等，以及经常出入这些商店的人身上。同时也要密切注意可能成为此等分子潜伏地的外国(含中国)系宗教及类似团体。然后，以其余力搜查逮捕因讨伐而潜伏在管内都市及各村庄的匪首，及协助匪贼活动的通匪者和隐匿的武器。
这个吉林地区警务联络委员会制订的“思想对策”工作计划中还包括其他一些具体的工作方法。该设计规定，各机关的高等警察勤务人员，除对上述重点对象进行工作外，对特殊旅馆、剧场等进行视察时，要作好周密的准备，待看准特殊对象时进行。同时，对视察圈以外的不法分子及外国谍报网，也应努力搜索破获。还规定，在吉林各警务机关，按其所属系统在预定分工的范围内，向其重点对象派遣秘密工作员深入其内部。为了保险，此等密探之间要相互保密，以此构成二重以上之侦缉网。同时各机关要排除竞争等弊端，为大局要虚心、坦怀。
不仅要有上述的视察和密探网，对所有的通信都要进行检察监督。无论是电报、普通信件、挂号信件，还是秘密电台，都要进行检察，如果发现可疑之人，可对其住所进行搜查。而对秘密电台，各机关要相互协力进行搜查。
