日本“特定活动”签证算不算永住年限的一部分？

原则上不算。
在日本，“特定活动”签证是一种用途非常广泛的临时在留资格，比如语言学校毕业等待转职、技能实习结束后等待转签等。在申请永住时，日本入管局不会把这类签证期间的在留时间计入10年要求中。
所以如果你在申请“特定技能1号”或“特定技能2号”之前，曾短暂持有“特定活动”签证，那段时间是不会被纳入永住资格判断年限的。