xss检测

Posted on 2023-02-26 Edited on 2023-04-09 In 机器学习

xss检测

怎么说好呢主要是需求驱动吧要多多学习啊

source

webber师傅的文章

https://www.secpulse.com/archives/74179.html

start

从哪里入手好呢其实国内没几个人公开自己的研究找到的资料相当匮乏但这也表明了机会这边还没那么卷

首先完善一下这个 NLP系列之run哥带你手撕Word2Vec

完善了这个以后就去看看webber师傅的文章

首先入门的话现从kaggle上的数据集开始做吧

NLP肯定要先考虑分词

ok 来看看数据集长什么样子

分词&泛化

扫了一眼发现xss数据集有这些特征（怎么感觉alert筛一遍就差不多了嘻嘻嘻

仔细想一下平时xss测试中都有哪些特征

不过是 alert() http://hook地址 <script>等恶意标签最常见

所以分词要怎么考虑呢

分词的技巧

参考资料

为什么要分词?

将复杂问题转化为数学问题。而 NLP 也是相同的思路，文本都是一些「非结构化数据」，我们需要先将这些数据转化为「结构化数据」，结构化数据就可以转化为数学问题了，而分词就是转化的第一步。
词是一个比较合适的粒度。词是表达完整含义的最小单位。字的粒度太小，无法表达完整含义，比如”树“可以是”大树“，也可以是”茂凯“。而句子的粒度太大，承载的信息量多，很难复用。比如”传统方法要分词，一个重要原因是传统方法对远距离依赖的建模能力较弱。”

所以我们回到现在的数据集我们想要把 alert() <script> 这种给他提出来这样的话我们就可以把它们当做特征

大佬的分词方式

单双引号包含的内容 ‘xss’

http/https链接

<>标签 < script>

<>开头 < h1

参数名 topic=

函数体 alert(

字符数字组成的单词另外，为了减小分词数量，需要把数字和超链接范化，将数字替换为”0”,超链接替换为http://u。实现的代码如下：

def GeneSeg(payload):
    payload=payload.lower()
    payload=unquote(unquote(payload))
    payload,num=re.subn(r'\d+',"0",payload)
    payload,num=re.subn(r'(http|https)://[a-zA-Z0-9\.@&/#!#\?]+', "http://u", payload)
    r = '''
        (?x)[\w\.]+?\(
        |\)
        |"\w+?"
        |'\w+?'
        |http://\w
        |</\w+>
        |<\w+>
        |<\w+
        |\w+=
        |>
        |[\w\.]+
    '''
    return nltk.regexp_tokenize(payload, r)