iwencai_select_A_stock似乎有点问题

[Dclpwos]

iwencai_select_A_stock
报错如下：
2025-12-27 08:07:47.977 | ERROR | fnewscrawler.utils.logger:error:40 - Length mismatch: Expected axis has 24 elements, new values have 20 elements
似乎是pandas给出的error。

[noimank]

这个函数确实对查询结果的适配性不是很好，查询条件不同，可能导致表结构变化而导致无法解析，目前只能改进查询语句临时解决，后期再修正加强结果解析，感谢反馈！

[Dclpwos]

我检查了一下，是因为有子表头，比如这种，

在fnewscrawler/spiders/iwencai/A_stock_selection.py，57行开始把子表头拆了一下。 # 在循环之前先提取一次表头，因为表头不会改变，问财的表头有点特殊，由固定表头和变化表头组成 newheaders = [] target = r"\n" for headerd in headers: pattern = re.compile(target) result = re.findall(pattern, headerd) c = len(result) if c<2: newheaders.append(headerd) else: hs = re.split(pattern,headerd) l = len(hs) for k in range(1,l): nh = hs[0]+hs[k] newheaders.append(nh) headers = newheaders

改了一下，可以了。

[Dclpwos]

另外还发现了一个问题，探讨一下，看你上面这个似乎能正常返回，但我这边工具执行完毕，服务端已经完成，但客户端一直在等待返回，我不知道什么原因，但我在mcp加了中间件后就能正常返回了。

。暂时不知道什么原因。

[Dclpwos]

代码不是很规范，昨晚搞到半夜，随手写的

[noimank]

@Dclpwos 好的，确实是我没有考虑到太多情况，测试样本太少了，另外可以贴出你的查询条件吗，我方便复现和测试

[Dclpwos]

@noimank 查询的时候有”前5日量比小于1”就会出现子表头。然后你在爬虫的时候header就是“量比 \n20251226\n20251225\n20251224”这样的格式

[noimank]

mcp我这边测试没问题

测试结果：

mcp问题，可能是fastmcp版本的原因？你需要看一下

[Dclpwos]

iwencai_news_query，这个新闻爬虫的质量不是很好，信息很杂乱。
调用参数是：
client.call_tool(name="iwencai_news_query", arguments={"query":"300393","page_no":5})
结果是：

content里面简直没欲望看。

2.似乎有一定的失败几率，同样的调用，第一次出现，服务端日志出现：
从URL https://www.iwencai.com/goto?id=&dtype=news&duid=6f175ec080fcd5a6&w=300393&rw=300393 爬取新闻内容时发生错误: Page.reload: net::ERR_CONNECTION_CLOSED
Call log:

• waiting for navigation until "load"
  第二次就是上面的结果，正常返回，只是质量没眼看

[Dclpwos]

mcp我这边测试没问题

测试结果： mcp问题，可能是fastmcp版本的原因？你需要看一下

好的，我用Insepector就必须加中间件才行，不然就根本连不上。

[noimank]

因为多了一层获取对应网址详细信息的步骤，如果只是获取搜索页面的内容，又显得太少

[Dclpwos]

因为多了一层获取对应网址详细信息的步骤，如果只是获取搜索页面的内容，又显得太少
1.太杂乱的信息，对大模型处理起来是个负担，精简一点好，不管是从算力还是语义。

[noimank]

下个版本改进，感谢建议

[Dclpwos]

下个版本改进，感谢建议

我个人感觉新闻查询这个信息返回格式就是【{title：，content：}】这种格式就行，另外就是要处理一下中间的一些转义符比如\t,\n之类的，content只要正文内容即可，
”返回列表 | 加入收藏 | 打印本页 】\n我要存档：\t 将本文以PDF形式 打开 | 下载\n我要分享：\t\t分享到新浪微博\t\t分享到QQ空间\n我要收听：\t新能源网官方微博 @新浪”这些就不要了吧。
感觉你目前这个版本是把整个网页扒拉下来了，连tag都在。

[noimank]

返回列表 | 加入收藏 | 打印本页 】\n我要存档：\t 将本文以PDF形式 打开 | 下载\n我要分享：\t\t分享到新浪微博\t\t分享到QQ空间\n我要收听：\t新能源网官方微博 @新浪”这些就不要了吧。 这个是因为没有对应网站的解析器，就会粗暴的返回网页content，当然也没有数据清理，如果去掉获取详细信息的步骤，就在搜索页面提取内容，大概也就1、2百字，类似于新闻短讯的效果