搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

蚕蛹开水煮5分钟能熟不蚕蛹开水煮5分钟能熟不

#战略观察员#但却也是千载难逢的机会，巴官员称美入侵将是21世纪大事件

|爆爆爆！南宁这两个新开的电影院简直要逆天

澎湃新闻|63岁保安救火致残求赔偿遭拒法院判物业赔12万余元

虎扑|大比分4-1淘汰对手，时隔10年再进总决赛，湖人战胜掘金

上班族早餐喝茶会加快饥饿感

电脑突然不“睡眠”了试试这个办法吧

北青网综合|19.8万拍药品广告？76岁老人为赚"代言费"结果…

电饭锅工作原理及维修电饭锅原理

广西警方打掉一跨省电信诈骗团伙 20名犯罪嫌疑人落网

描写森林景色的古诗?关于森林的古诗有哪些

海峡消费报|网购5斤猪大排，到货后傻了眼，店家：她就花60块钱

【】14日6时起澳门出发客船飞机乘客须出示核酸阴性证明

单霁翔|北京中轴线有哪些故事？单霁翔、李梓萌讲述历史

该咋面对周围的人不时的负面小情绪

智通财经|净亏损同比扩大至1.35亿美元，传奇生物(LEGN.US)Q2营收1160万美元

家电|潍坊寿光市与海尔卡奥斯平台达成战略合作

4天卖出11亿单！秋天的第一杯奶茶，能火到冬天吗？

合资车|为什么预算10万，我劝你买合资车？看完这4款车你就明白了

张译|原创陈思诚觊觎许三多，张译写3千字自荐，为何康导最后选了王宝强？